FlinkSql系列7之Temporal Join

  • Post author:
  • Post category:其他




FlinkSql系列7之Temporal Join




前言

本次记录一下Temporal Join的具体实践用法



一、Temporal Join是什么?

Temporal Join又可以叫快照Join ,在实时的场景里面,比如说对于一本书的价格可能在一小时前是10,但是一小时后面的时间变成了16,那么对于这种动态改变的时候,我们就要有一种时态表的概念,根据时间的不同可以动态的改变当前的值,这个时候就会用到Temporal Join。



二、测试步骤



1.使用flinkcdc建立要Temporal Join的表

在这里插入图片描述

注意点:

1.在msyql里面的这个表并没有设置主键,但是在flinksql里面建时态表的时候,需要指定主键,并且要能根据你的connector来判断让flink自动推断出主键的选择,否则报错,其次在flinksql里面我们可以这样指定主键

PRIMARY KEY(bookname) NOT ENFORCED

2.注意这个表需要定义watermark,是随着时间推移的。

在这里插入图片描述



2.建立kafka数据源表

在这里插入图片描述

注意:

这里这个表也要指定watermark,用于watermark推移



3.关联查询测试

在这里插入图片描述

开始没有结果

在这里插入图片描述

mysql表中的数据

kafka 输入数据

在这里插入图片描述

可以看到已经匹配上结果:

在这里插入图片描述

再次输入kafka数据

在这里插入图片描述

可以看到再次关联到

在这里插入图片描述



总结

以上就是使用kafka搭配flinkcdc的方式来测试temporal join的方式,我们这里把时间作为数据来输入的,其实效果是一样的,而且测试的时候如果把上面两条kafka的数据反着输入,会发现,第二条八点五十的就关联不到了,因为整个流是随着watermark推移的,保证两个表都要是watermark表来实现。



版权声明:本文为feiyangailing原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。