Flink之watermark(水印)讲解

  • Post author:
  • Post category:其他


flink中watermark的详细介绍




使用前提:

处理数据开窗,处理数据的时间语义是事件时间,也就是每条数据产生的时间。



使用场景(解决问题):

处理乱序数据:flink中是实时处理数据,但是在处理数据的时候会出现因为网络传输的问题,所以数据先产生的反而到后面才到达,在被处理时候就会出现数据混乱,而且因为开窗,窗口关闭但是本窗口的数据来迟,导致数据丢失;

理想转态,数据按照顺序到达

理想状态

则对应窗口可以获得的数据就是

在这里插入图片描述

每一个窗口都可以得到对应的数据

但实际数据到来的顺序可能会出现乱序:

在这里插入图片描述

则没有watermark会每个窗口数据会出现的情况:

在这里插入图片描述

可以看到第一个来的4这个数据会导致[0,3)窗口关闭,而后来的数据1,2都无法在进入这个窗口中,也就导致了数据丢失,同样的道理6号数据,会导致[3,6)窗口关闭,3,5数据丢失



问题解决:

通过watermark来解决,简单来说就是延迟窗口关闭的时间,等一会迟到的数据,窗口关闭不在依据数据的时间,而是到达的watermark的时间。

看数据知道最大的乱序时间是4s(假设每个编号代表数据本省产生的时间),所以可以将窗口延迟等待的时间设置为4s;

在这里插入图片描述

watermark的生成就是每来一条数据生成一次,但是生成的计算公式是到最新到达的一条数据时间为止,数据最大的时间-4,

当前已经到达的数据的最大时间,也就是说watermark的生成是只能不断变大,或者不变,而不可能减小的。

(这里为方便没有再减一,实际代码运行时会在-1的)

watermark= maxTimestamp - outOfOrdernessMillis -1

所以生成的watermark依次为:

在这里插入图片描述

这样就是4数据到来后,产生watermark为0,1数据到来后产生的watermark还是0,因为到1号数据为止最大的时间是4,依次类推就如上图。

因为现在窗口关闭是依据watermark的时间,而不是数据本身时间了,所以4号数据到达[3,6)窗口时,产生的watermark为0不会导致[0,3)窗口关闭,只有等到watermark为3才会关闭,也就是等到7号数据到达产生3的watermark的时候,所以每个窗口的数据就为:

在这里插入图片描述

所有的数据都可以到原本的窗口。



多平行度下的watermark

一个子任务中watermark会发往所有下一算子中的子任务,也就是一发多,

同样一个子任务会接收上一个算子中所有子任务的watermark,这时起作用的就是最小的哪一个watermark。

watermark可以理解为一个特殊的数据,这个数据不参与计算,仅仅是对窗口的触发关闭起作用;



总结:

1)衡量事件时间的进展

2) 单调不减的(保持不变,或 增加)

3) 是一个特殊时间戳,生成之后插入到流里,随着流的流动传递

4)解决 乱序 的问题

5)认为,在它之前的数据都处理过了(如果还有,说明该数据迟到了)

6)触发 窗口等 的 计算、关闭1



版权声明:本文为HD0do原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。