什么是flink水位线
Flink水位线(Watermark)是一种机制,用于确定数据流中的事件时间(Event Time)进展到哪个时间点。它是由数据流中的事件时间戳(Event Timestamp)和延迟因素(Lateness)决定的。
水位线的作用是告诉Flink哪些事件时间已经到达,哪些事件时间还没有到达。水位线的生成由Flink TaskManager节点上的Assigner函数负责,一般情况下,Assigner会将事件时间戳作为水位线。
当Flink任务处理数据时,会考虑水位线,只有当一个时间戳对应的水位线已经到达,才会触发窗口计算。这样可以避免因为数据延迟而导致的计算错误。同时,水位线还可以用来设置延迟时间,以容忍数据流中的延迟。
原文地址: https://www.cveoy.top/t/topic/hp99 著作权归作者所有。请勿转载和采集!