实时数仓架构:数据传输、路由和查询
如图4-6所示,风控系统的风控网关模块通过Kafka消息队列向实时数仓发送所有数据。实时数仓模块应该事先在Kafka消息队列中订阅相应的主题。当数据传输过来时,实时数仓模块根据数据的消息类型分配到不同的数据转换服务中处理,主要承担数据转发的功能。根据路由规则,将数据转发到对应的Kafka主题上,为下游计算引擎提供合理的数据源。为了确保交易数据能够存储在实时数仓模块内,在数据分发后,实时数仓模块要向外界提供Http和RPC两大协议接口。数据查询界面的作用是使风控系统内其他需要使用交易数据进行查询的模块可以通过界面进行数据抽取。
原文地址: https://www.cveoy.top/t/topic/kT4q 著作权归作者所有。请勿转载和采集!