交易数据采集与解析：风控网关高效数据获取方案

数据采集部署在上游交易系统，用于采集交易系统中的交易数据并解析成具体的交易指令和交易回报。这些数据通过消息中间件Kafka消息路由发送到数据仓库，供后续风控平台使用。

为了避免频繁升级，采集交易数据的组件应该部署在交易系统数据网关，但是如果直接从交易系统数据网关机器发出数据，数据流量会很大，尤其是在镜像模式下。因此，采集模式需要支持风控网关采集解析一体模式和采集解析分开模式。在采集解析分开模式下，会产生很多无效的查询请求，造成流量浪费和对交易系统机器带宽的影响，需要对无效数据进行过滤。

风控网关使用采集库集交易系统数据网关的交易数据流，通过标准TCP协议转发到风控网关。风控网关采用新增解析协议库的方式，由框架统一调用。由于存在大量的无效查询数据，需要先进行协议解析，将其转换为数据库表对应的结构体，然后再发送给风控网关。风控网关可以接收风控网关转发的数据包或自己采集数据，并根据交易所数据协议解析成具体的交易指令和交易回报。风控网关可使用框架发送交易数据到消息路由数据仓库，也可以通过发送交易数据到聚合器，由聚合器转发到消息路由数据仓库。风控网关组件本身具备采集功能，可通过配置项打开。如果打开采集功能，风控网关将采用自己采集自己解析模式。