阳光财产保险股份有限公司:实时计算平台

项目背景

大数据在保险领域应用越来越广泛，传统的实时计算与离线数据处理已经无法满足业务多样化的场景需求，精细化运营对复杂数据的时效性要求越来越重要，本项目通过实时计算平台的搭建、融合、贯通离线计算大数据平台，实现了实时计算数据与复杂计算数据融合的数据响应从T+1天到秒级的突破；通用配置化程序设计的计算引擎，实现应用极速对接，为数字化销售、数字化营销、数字化风控等提供更快速高效的基础数据保障，从而实现保费增长及成本节约的目标。

项目方案

架构方案分为三层：数据采集层，数据计算层及数据存储层。架构图如下：

1、数据采集：数据采集分为实时采集和批量采集，批量采集采用传统的ETL方案，采集一些码表性的数据，实时采集使用OGG for Bigdata组件采集Oracle日志数据，使用Canal组件采集Mysql日志数据，将数据采集到Kafka，供实时计算引擎使用。

2、数据计算：实时计算引擎使用Spark Streaming流计算框架，对接Kafka，对多个表的数据使用Redis缓存后，拼接为一条或多条数据，再经过一些必要的加工和转换后，发送到数据存储层。

3、数据存储：数据存储支持存储到传统的数据库（Mysql，MongoDB等），Web API接口，消息队列（Kafka，RabbitMQ等），其中Web API接口的存储方式实现了请求参数和接口返回正确性判断的参数化配置，接口容错性使用MongoDB存储错误数据，通过运维监控程序进行再发送或报警，实现数据的完整性。

创新点

一、流式架构设计，结合离线数据运用缓存技术，突破传统实时计算模式，实现实时数据轻量计算+离线数据复杂计算相融合的实时计算能力，全面支持业务大数据实时复杂计算需求；

二、高效参数化、配置化、模块化的独立实时分布式计算引擎设计，全面的配置化代替传统的开发，极简配置高效、快速实现数据需求，极大提高业务响应速度，实现“即配即用”模式。

三、实时数据应用通过配置一键上线或下线，减少操作失误，打破传统上下线操作对生产系统带来的操作风险。

四、全天候可视化实时数据监控预警，监控服务、应用数据处理情况，对任务异常、积压等发出预警实时推送，快速响应处理异常情况。

技术实现特点

1、标准化，高交付

规范数据处理流程，缓存机制，离线数据获取机制，数据转换机制和数据存储机制，提高了数据交付的效率和质量。

2、配置化，轻开发

使用配置方式代替传统的代码开发，使初级程序员无需了解具体的技术细节，即可完成一个实时数据需求的开发。对于需要加工转换的数据需求，通过灵活的自定义函数框架即可实现，隔离了主体程序。

项目过程管理

1、技术验证

此阶段时间段为2020年1月2日至2020年1月23日，期间主要完成了Kafka、Redis集群的搭建和调优，CDH计算资源的申请，Spark Streaming流计算框架的测试及整体方案的技术验证。

2、需求分析和架构设计

此阶段时间段为2020年4月01日至2020年4月30日，期间主要完成了通用实时计算配置架构需求分析和整体架构设计，提交了整体架构设计方案文档。

3、详细设计

此阶段时间段为2020年5月6日至2020年5月15日，期间主要完成了通用实时计算配置程序详细设计文档。

4、研发、测试

此阶段时间段为2020年5月18日至2020年6月5日，期间主要完成了通用实时计算配置程序功能的研发与测试。

5、上线

此阶段为2020年6月8日至2020年6月16日，期间主要完成了通用实时计算配置程序上线、运行监控及程序调优。

运营情况

自2020年6月16日上线以来，共上线了29个实时计算任务，实时接入27张数据表，每天处理数据3400万条，支持了营销中台全国实时卡券发放的运营需求。

项目成效

配置化程序框架上线后，预计提升开发效率约90%，节约开发成本约90%；

以营销中台实时需求为例，共涉及29个业务场景，通过参数配置化，平均每个事件配置约4人时，传统开发平均需要40人时，合计节约人力成本：148152万

计算规则：事件个数（29）*单个节约人时（36）/工作时长（8）/月工作日（21.75）*人员月单价（24692）=148152元。

按照以上数据估算2020年07月-12月预计节省306521元

计算规则：事件个数（6个月*10个）*单个节约人时（36）/工作时长（8）/月工作日（21.75）*人员月单价（24692）=306521元。

2020年合计节约开发成本约45万。

经验总结

通过实时计算配置化开发框架，有效的简化了实时计算开发的难度，提高了数据交付的效率和质量。