Apache Flink 漫谈系列(13) - Table API 概述

(c) Result(Bounded RANGE OVER Window)

• 特别说明

OverWindow最重要是要理解每一行数据都确定一个窗口，同时目前在Apache Flink中只支持按时间字段排序。并且OverWindow开窗与GroupBy方式数据分组最大的不同在于，GroupBy数据分组统计时候，在SELECT中除了GROUP BY的key，不能直接选择其他非key的字段，但是OverWindow没有这个限制，SELECT可以选择任何字段。比如一张表table(a,b,c,d)4个字段，如果按d分组求c的最大值，两种写完如下:

• GROUP BY - tab.groupBy('d).select(d, MAX(c))
• OVER Window = tab.window(Over.. as 'w).select('a, 'b, 'c, 'd, c.max over 'w)

如上 OVER Window 虽然PARTITION BY d,但SELECT 中仍然可以选择 a,b,c字段。但在GROUPBY中，SELECT 只能选择 d 字段。

(2) Group Window

根据窗口数据划分的不同，目前Apache Flink有如下3种Bounded Winodw：

• Tumble - 滚动窗口，窗口数据有固定的大小，窗口数据无叠加;
• Hop - 滑动窗口，窗口数据有固定大小，并且有固定的窗口重建频率，窗口数据有叠加;
• Session - 会话窗口，窗口数据没有固定的大小，根据窗口数据活跃程度划分窗口，窗口数据无叠加。

说明： Aapche Flink 还支持UnBounded的 Group Window，也就是全局Window，流上所有数据都在一个窗口里面，语义非常简单，这里不做详细介绍了。

(a) Tumble

• 语义

Tumble 滚动窗口有固定size，窗口数据不重叠,具体语义如下：

• Table API 示例

利用pageAccess_tab测试数据，我们需要按不同地域统计每2分钟的淘宝首页的访问量(PV)。

val result = pageAccess 
.window(Tumble over 2.minute on 'rowtime as 'w) 
.groupBy('w, 'region) 
.select('region, 'w.start, 'w.end, 'region.count as 'pv) 

• Result

(b) Hop

（编辑：宁波网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!