flink实时处理 广播流数据变更业务上历史数据应该怎么处理
当广播流数据发生变更时,需要及时更新所有相关的实时处理任务,保证数据的准确性。对于历史数据的处理,可以考虑以下几种方式:
-
重新处理历史数据:对于一些比较重要的业务场景,可以考虑重新处理历史数据,以确保数据的准确性。这种方式需要考虑到数据量和处理时间的问题。
-
忽略历史数据:对于一些无关紧要的业务场景,可以忽略历史数据,只处理实时数据。这种方式可以减少处理时间和资源消耗。
-
根据业务需求进行选择:根据业务场景和需求,选择适合的处理方式。比如,对于一些需要高实时性的业务场景,可以忽略历史数据;对于一些需要高准确性的业务场景,可以重新处理历史数据。
原文地址: https://www.cveoy.top/t/topic/frkE 著作权归作者所有。请勿转载和采集!