Flink 时间戳和单调递增水位线设置指南

在 Flink 中，我们可以通过实现 AssignerWithPeriodicWatermarks 接口来设置时间戳和单调递增水位线。具体步骤如下：

实现 AssignerWithPeriodicWatermarks 接口，并重写两个方法：getCurrentWatermark 和 extractTimestamp。
在 extractTimestamp 方法中，从数据中提取时间戳，并返回。如果数据中没有时间戳，则可以使用系统当前时间作为时间戳。
在 getCurrentWatermark 方法中，计算单调递增的水位线，并返回。计算水位线的方式可以有多种，常见的方式是在每个周期内，找到所有事件中最大的时间戳，然后减去一个固定的延迟值作为水位线。
将 AssignerWithPeriodicWatermarks 对象传递给 DataStream 的 assignTimestampsAndWatermarks 方法中，即可完成时间戳和水位线的设置。

以下是一个简单的示例代码：

public class MyAssigner implements AssignerWithPeriodicWatermarks<String> {

    private long currentTimestamp = Long.MIN_VALUE;
    private final long maxDelay = 5000; // 最大延迟时间5秒

    @Override
    public long extractTimestamp(String element, long previousElementTimestamp) {
        // 从数据中提取时间戳
        // 如果数据中没有时间戳，则使用系统当前时间作为时间戳
        long timestamp = System.currentTimeMillis();
        currentTimestamp = Math.max(currentTimestamp, timestamp);
        return timestamp;
    }

    @Override
    public Watermark getCurrentWatermark() {
        // 计算水位线
        long watermark = currentTimestamp - maxDelay;
        return new Watermark(watermark);
    }
}

// 使用AssignerWithPeriodicWatermarks对象设置时间戳和水位线
DataStream<String> dataStream = env.addSource(new FlinkKafkaConsumer<'my-topic', new SimpleStringSchema(), properties>)
    .assignTimestampsAndWatermarks(new MyAssigner());