FlinkSql系列7之Temporal Join
前言
本次记录一下Temporal Join的具体实践用法
一、Temporal Join是什么?
Temporal Join又可以叫快照Join ,在实时的场景里面,比如说对于一本书的价格可能在一小时前是10,但是一小时后面的时间变成了16,那么对于这种动态改变的时候,我们就要有一种时态表的概念,根据时间的不同可以动态的改变当前的值,这个时候就会用到Temporal Join。
二、测试步骤
1.使用flinkcdc建立要Temporal Join的表
注意点:
1.在msyql里面的这个表并没有设置主键,但是在flinksql里面建时态表的时候,需要指定主键,并且要能根据你的connector来判断让flink自动推断出主键的选择,否则报错,其次在flinksql里面我们可以这样指定主键
PRIMARY KEY(bookname) NOT ENFORCED
2.注意这个表需要定义watermark,是随着时间推移的。
2.建立kafka数据源表
注意:
这里这个表也要指定watermark,用于watermark推移
3.关联查询测试
开始没有结果
mysql表中的数据
kafka 输入数据
可以看到已经匹配上结果:
再次输入kafka数据
可以看到再次关联到
总结
以上就是使用kafka搭配flinkcdc的方式来测试temporal join的方式,我们这里把时间作为数据来输入的,其实效果是一样的,而且测试的时候如果把上面两条kafka的数据反着输入,会发现,第二条八点五十的就关联不到了,因为整个流是随着watermark推移的,保证两个表都要是watermark表来实现。