基于Flink的实时风控系统设计与实现
本文以证券交易所发布的证券异常交易实时监测细则为依据,通过分析证券交易各业务指标和风险控制关键工作内容,归纳证券交易过程中风险控制具体的业务,并提出实时风险监测的方法,以得到实时风控系统的功能需求。根据证券公司对风控系统时效性要求,本文对风控系统进行了实时性、扩展性、可靠性需求分析。
本文详细设计了证券交易数据的大数据采集以及存储落地方案,并基于交易数据、行情数据、证券数据、账户数据等数据设计了数据采集模块,大幅度提高存储效率。同时,构建了基于Kafka的实时数据仓库,以供风控系统各项服务使用。根据数据量以及时效性的差别,本文分别将数据存储到MySQL和HBase数据库,以满足不同业务需求。
本文提出采用Flink流式计算框架来开发规则引擎,以解决证券交易过程中复杂交易的规则问题,并详细描述了规则逻辑与特定业务能力之间的关系。风控的规则引擎沿用微内核插件式设计内核,以确保计算规则与框架相分离,从而使风控规则引擎在规则计算上更具拓展性。最后,在此基础上设计并开发了风控运营平台,便于相关业务人员对规则进行配置以及及时变更,为实时风控系统提供了便捷的可视化平台操作界面。
本文采用面向服务的体系结构,既能满足业务上的需求,又能保证系统的安全性。采用分布式框架进行风控系统的架构设计,从数据采集、数据存储、数据计算等角度出发,划分风控线上系统模块,增强系统扩展性、可靠性以及快速迭代能力。针对数据存储以及实时计算,本文经过对比分析了Flink流式计算框架在批处理和实时处理上的优越性,展现了Flink流式计算框架在批处理和实时处理的强大计算力,使得基于Flink的风控系统相比传统风控系统具备高吞吐、低延迟、高性能的优势。
原文地址: https://www.cveoy.top/t/topic/nGVo 著作权归作者所有。请勿转载和采集!