要理解flink如何实现恰好一次，恰好一次的反例是重复或丢失，checkpoint和kafka等可重放的数据源保证不丢失，支持事务的sink保证数据不重复
实现恰好一次需要在数据源+计算引擎+sink端都做处理，其中各部分需要满足的条件如下：
1、数据源
- 可记录消费位点
- 可重放数据流(当下游计算失败重启时可以重新消费某些数据)
2、计算引擎
- 有checkpoint来保存状态(当任务失败时从检查点重新启动任务即可，需要保存的状态有当前计算得到的值和数据流的消费位点)
详细的讲，flink计算引擎保证恰好一次的主要工具是barrier，flink处理数据大致可以分为两种场景
1、单一数据流
2、多条数据流
单一数据流的恰好一次实现起来比较简单，只要数据源在数据流中插入barrier，然后下游接到barrier就做checkpoint就可以了
多条数据流的恰好一次实现起来稍微复杂一些，比单条数据流多了一个barrier对齐的操作，一个operator接到来自两个流的数据，两个流不同步的话，就需要将进度比较快的流先放到buffer中，知道另一个比较慢的流的barrier到达时，才开始处理数据，并做checkpoint。
3、sink端
- 可以实现二段提交，如果上游任务失败，之前写入的数据需要回滚
版权声明：本文为u011624157原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。