flink的Watermark生成策略
Flink的Watermark生成策略有以下几种:
-
周期性生成Watermark:在固定时间间隔内生成Watermark,常用的时间间隔有1秒、5秒、10秒等。
-
事件数量触发生成Watermark:在接收到一定数量的事件后生成Watermark,通常用于高吞吐量场景。
-
窗口关闭时生成Watermark:在窗口关闭时,使用窗口结束时间作为Watermark。
-
自定义生成Watermark:用户可以根据业务需求自定义Watermark生成策略,比如根据事件的时间戳和业务逻辑来生成Watermark。
无论采用哪种Watermark生成策略,都需要保证生成的Watermark具有递增性。这样才能保证事件按照事件时间顺序被正确处理。
原文地址: https://www.cveoy.top/t/topic/5Qu 著作权归作者所有。请勿转载和采集!