世界今日报丨软通金科寿险领域高性能计算实践 有效打破继续率提升掣肘
2023-03-02 16:53:59 来源:软通动力
继续率作为寿险领域中一个重要的业务质量评价指标,在日常业务管理中被广泛使用。不仅涉及到机构评价,更是会扩展到产品、业务线、代理人等不同的维度。同时,同比、环比、跨业务、跨机构的横向对比等常用分析方法也经常被使用。在实际业务环境中,因为统计对象(保单)数据体量大,跨周期条件组合多样,叠加犹豫期、续保因素等等关联因素,相关分析过程往往会面对比较大的计算压力,即使是低频查询,也存在系统响应周期长、资源占用高的诸多挑战。在业务分析、绩效考核时的高并发背景下,系统面对的访问压力更大。所以,传统上,为了满足日常管理的需求,一方面是提高系统硬件配置水平,提升系统运算能力,另一方面,也会采用日终批量方式进行“提前计算”,采用与计算或准中间结果的方式,支持在线查询,减少在线计算压力。但是,系统算力的提升并不能线性的有效改善这种局面,而“预计算”模式下也存在诸多局限。一是继续率口径上,3、4、5、6、7、13、25月的继续率等等常用的继续率口径都需要做穷举计算,以备查询;二是批量计算周期均为预制的确定统计周期,无法灵活选择起止时间,做动态的灵活分析;三是分析维度受限,对于分支机构、险种、代理人、渠道等等分析维度很难做到全部口径穷举的“提前计算”;四是在标签画像等客群管理背景下,很难实现“特定客群”的继续率计算和分析,影响精细化运营和精准营销的实施。在寿险业务领域的大规模数据统计和查询场景中,还有产品业绩合并、渠道承保统计、客户累计风险保额等类似的诸多场景,同样面临数据运算和查询响应问题。
(资料图)
在某寿险公司的数据中台系统建设过程中,我们通过引入国产高性能计算引擎,有效的解决了这一问题。经过实际验证,系统的高效计算,有效缩短了继续率等指标的计算时间,在满足业务人员即席在线快速查询的同时,实现了各种组合条件、统计期动态组合的灵活查询,取得了良好的应用效果。本文将就主要的背景和实现方式进行简要的说明。
以继续率为代表的计算效率问题说明:
某寿险公司拥有千万级的历史保单数据,数十个产品,众多的分支机构及大规模的保险代理人。随着数据中台的建设和部署,相关数据完成了逻辑建模和数据整合后,装载到MySQL进行批量处理、或在线查询。面对这样一个数据样本,在穷尽SQL语句优化和数据库索引等手段后,单用户查询13月继续率仍然需要数分钟才能返回统计结果,并发访问的情况下甚至需要十多分钟才会输出统计结果。不仅如此,在数据查询期间,应用系统对CPU、内存的资源占用非常大,系统的响应效率制约业务分析场景的正常运转,无法满足管理要求。
基于QDBase的系统优化方案
面对这种情况,我们对常规关系型数据库作为基础分析引擎的应用架构进行了优化,在Hadoop构成的数据湖基础上,引入国产高性能计算引擎(开源QDBase)作为继续率、客户累计风险保额等关键指标的计算引擎。
QDBase是国内著名的报表工具开发商——润乾的数据运算产品“集算器”的商用版。这是一款脱离了SQL生态体系的全国产化非关系型数据运算引擎,其开源和商用版本已经广泛应用于银行、保险、证券等诸多领域。QDBase通过自身特有的数据文件管理机制,基于SPL(Structured Process Language)——QDBase专门用于结构化数据计算的程序语言实现对关系型数据的查询、统计相关处理,在承担SQL所有查询和计算的功能基础上,跳出SQL体系的关系代数理论基础,基于自身特有的离散数据集理论,构建起离散与聚合的充分组合体,实现了超强有序运算和灵活的分布计算。将数据的遍历、统计、计算过程进行了理论体系层的彻底重构。并由此实现了诸多在SQL场景下无法解决的查询和计算效率问题。系统实施逻辑架构图如下所示:
基于MySQL的传统解决方案进行测试时,查询响应时间在数分钟以上,且并发超过5个后,系统响应周期显著增加,耗时超过10分钟,已不具实质性对比意义,因此,在此不再罗列MySQL的测试报告。系统在引入QDBase后,单一独立服务器状况下(服务器配置:4C*8Core,512G RAM),以千万级以上保单数量13月继续率在线查询,在不同压力场景下的测试结果如下所示:
从整个测试结果可以看出,系统响应时间从数分钟压缩到1秒以内,CPU、内存等系统资源占用也极大降低。并且,当并发显著增加时,系统的响应效率没有明显衰减,同时,系统在高并发情况下对于内存、CPU及磁盘IO的占用也没有线性或大规模提升。
方案总结
1、应用改造难度及对原系统架构的侵入少,使用方便。系统实现上,QDBase以轻量级组件模式进行部署,对原有的Hadoop生态+MySQL体系没有直接的影响,只是作为关系型数据高性能计算的一个旁路机制融入到数据中台架构中。向上游,其数据装载等调度机制与其他调度作业一样,可以方便的纳入总体调度体系,向下游,运算结果可以以与SQL体系类似的结果集方式与各类前端应用有机融合,或基于润乾报表的透明便捷输出。
2、运算高效,有效拓展统计维度。在采用了QDBase的在线实时计算后,可以对继续率、客户累计风险保额等各类统计指标的高效实时计算,并且,依托QDBase强大的高性能计算引擎支撑,将不同时间周期、不同口径、不同部门、不同产品、甚至不同客群、不同渠道的各类管理口径进行组合,实现实时的在线业务统计和分析。
3、系统资源占用率低,投入小。因为QDBase的低资源消耗特性及组件式嵌入部署模式,使得整个应用架构的调整成本变得可以忽略不计。无论是硬件资源,还是既有的软件系统架构和基础支持环境,都不需要进行额外的特别设计和调整,可以实现关键效率瓶颈的“点穴式”快速升级。
在寿险数据中台体系建设和运营过程中,面对寿险行业大规模基础数据背景下,常见的复杂统计和灵活查询,迫切需要采取针对性的技术方案,以更低成本、更低代价、更高效率解决业务分析和管理场景所面对的响应时效长、分析口径限制多、系统资源消耗大的性能瓶颈。QDBase作为一个高性能计算引擎的引入,在处理海量数据关联查询、多层数据遍历、预处理排序汇总、复杂指标计算和统计等场景时提供了一种全新的解决方案,可以有效提升系统性能,降低基础设施投入,推动数据价值的有效释放,助力企业数字化转型。
相关阅读
- (2023-03-02)世界今日报丨软通金科寿险领域高性能计算实践 有效打破继续率提升掣肘
- (2023-03-02)履行社会责任 软通动力再获CHIRC“中国区最佳雇主”奖项-全球视点
- (2023-03-02)科翔股份:合资子公司的钠离子电池可应用于储能、电动二轮车等场景_世界头条
- (2023-03-02)景旺电子:公司的高频PCB板可用于77Ghz及79Ghz的毫米波雷达
- (2023-03-02)个人能不能自己交医保?医疗保险缴费比例2023年是多少-世界速讯
- (2023-03-02)奇精机械:公司有几款工业机器人零部件尚处于打样阶段 暂未有量产的相关产品
热点推荐
- (2023-03-02)世界今日报丨软通金科寿险领域高性能计算实践 有效打破继续率提升掣肘
- (2023-03-02)履行社会责任 软通动力再获CHIRC“中国区最佳雇主”奖项-全球视点
- (2023-03-02)科翔股份:合资子公司的钠离子电池可应用于储能、电动二轮车等场景_世界头条
- (2023-03-02)景旺电子:公司的高频PCB板可用于77Ghz及79Ghz的毫米波雷达
- (2023-03-02)个人能不能自己交医保?医疗保险缴费比例2023年是多少-世界速讯
- (2023-03-02)世界快报:康斯特(300445)3月2日主力资金净卖出160.99万元
- (2023-03-02)奇精机械:公司有几款工业机器人零部件尚处于打样阶段 暂未有量产的相关产品
- (2023-03-02)香飘飘:Meco果汁茶的产品线 乳酸菌风味果茶已经进行了调整汰换
- (2023-03-02)环球快资讯:东方集团:东方安颐酒店网页问题已做相关处理并查询原因解决
- (2023-03-02)【全球快播报】高新发展:森未研发的IGBT已应用于新能源车市场
- (2023-03-02)万润股份:2021年度公司大健康产品的毛利率为26.50%
- (2023-03-02)环球信息:12款清爽小菜解救你的胃
- (2023-03-02)永顺泰:公司的发展战略是深耕麦芽主业 巩固公司在行业内的领先地位
- (2023-03-02)新和成:目前公司牛磺酸项目在试产中
- (2023-03-02)神州信息金融市场风险管理系统助力银行风险管理能力提升|环球播报
- (2023-03-02)山高环能:天津德丰是公司财务并表资产 项目设计规模餐厨400吨/日、粪便100吨/日
- (2023-03-02)安信证券给予中手游“买入”评级 仙剑元宇宙有望呈现较大盈利潜力 世界快看
- (2023-03-02)金融机构亟待升级的IT与业务合作模式
- (2023-03-02)第五届全球金融科技创业大赛绍兴分赛区决赛圆满落幕 独家焦点
- (2023-03-02)最新资讯:天玑科技:公司已使用NLP相关技术在对话聊天等语音语意分析场景中进行了试点使用
- (2023-03-02)东方时尚:公司武汉校区已达到可开业状态 重庆校区将在今年完工 天天速看料
- (2023-03-02)焦点热门:办问协同优体验 “陇税雷锋”解疑难
- (2023-03-02)税惠春风如约至 惠企利民助发展 全球新要闻
- (2023-03-02)返乡创业的“晓虎书记”
- (2023-03-02)安徽泗县公安局推行“交所合一”警务改革
- (2023-03-02)环球热议:镇村企拧成“一股绳”唱响“一部曲”
- (2023-03-02)天天通讯!增强型ETF成权益基金发行市场黑马:交易便利+配置灵活,多家公募积极布局
- (2023-03-02)7325台!腾势D9稳坐2月份35万以上新能源豪华MPV销量榜首
- (2023-03-02)爱博医疗:公司位于山东蓬莱的生产基地已于2022年10月投产-全球新消息
- (2023-03-02)官方:会适时调整个人养老金缴费上限 个人退休养老金计算器
- (2023-03-02)环球播报:县域高质量发展巡礼 || 辽阳“劲”足
- (2023-03-02)千万个雷锋在成长_当前热议
- (2023-03-02)当前短讯!格林美:2023年动力电池回收业务计划销售20亿元以上
- (2023-03-02)蓝帆医疗:2023年公司已接待3次机构调研
- (2023-03-02)上海农商银行“百园万企”园区直通车驶入“启迪漕河泾”站
- (2023-03-02)世界快看:中国海诚:公司轻工行业大中型项目全国市占率超70%
- (2023-03-02)世界看点:国光股份:公司目前有超过40个原药登记证 原药产能2万多吨
- (2023-03-02)世界滚动:重庆开始执行新版国家医保药品目录
- (2023-03-02)互联网彩票概念股有哪些?彩票概念股排行
- (2023-03-02)世界百事通!3月1日起江苏民政领域社会救助实行“省内通办”
- (2023-03-02)韩国人喝什么酒?韩国真露酒是勾兑酒吗?
- (2023-03-02)世界快资讯丨东南网架:公司参与承建了"中国天眼"等国家重大科学装置
- (2023-03-02)头条焦点:保龄宝:公司目前现有赤藓糖醇产能3万吨
- (2023-03-02)浙农股份:公司目前已建设杭白菊基地近500亩
- (2023-03-02)长光华芯:公司致力国产替代 核心设备完全是自主研发的
- (2023-03-02)通富微电:公司2022年已为国际知名汽车电子客户开发第三代半导体碳化硅产品
- (2023-03-02)特斯拉目标每45秒造一辆车 特斯拉充电一次要多久?
- (2023-03-02)水痘进入高发期 专家提醒 学校爆发水痘有责任吗?
- (2023-03-02)上海市普陀区东白莲岛油品储运工程建设提速
- (2023-03-02)震有科技:公司在MWC2023大会展示的产品有核心网、光接入网和传送网 全球报道
- (2023-03-02)东方雨虹300自修复型防水涂料:自修复,更安心
- (2023-03-02)信用卡逾期了扣钱怎么办?信用卡逾期会从本行储蓄卡扣钱吗?
- (2023-03-02)信用卡逾期资金收不回来怎么办?信用卡逾期15天有事吗?
- (2023-03-02)抵押人逾期了怎么办信用卡?有多少人信用卡逾期还不起了?
- (2023-03-02)奥地利油气公司OMV拟出售亚太地区勘探和生产资产
- (2023-03-02)新一轮油价调整 大概率“搁浅”
- (2023-03-02)美国汽油需求回升,油价延续上涨-世界今亮点
- (2023-03-02)天天报道:油价强势收涨!沙特阿美CEO:来自中国、美国和欧洲的石油需 “非常强劲”
- (2023-03-02)原油短期多空胶着中震荡延续
- (2023-03-02)2月新势力交付榜:蔚来重回前三,岚图环比跌近3成
- (2023-03-02)信科移动:大唐联仪自主开发的5G协议一致性等测试系统可实现国产替代 当前视点
- (2023-03-02)万科H股增发 创近14个月港股新股配售折扣最小的项目-当前快讯
- (2023-03-02)4000亿独角兽SHEIN海外大杀四方 转做平台还能从容吗?
- (2023-03-02)信用卡逾期了很多张怎么办?十几个信用卡全部逾期了怎么办?
- (2023-03-02)一小学按父母职业排座?教育局通报 要对所有的学生一视同仁
- (2023-03-02)当前简讯:曼联本赛季41战获30胜,球队此前仅2次做到更快30胜且都夺得英超
- (2023-03-02)等位分查询系统2021安徽_等位分查询系统2021
- (2023-03-02)全球今日报丨抖S什么意思网络上_抖s什么意思网络用语
- (2023-03-02)一英尺等于多少米啊怎么算_一英尺等于多少米啊_焦点简讯
- (2023-03-02)logistic回归分析_logistic
- (2023-03-02)这条街原唱_说一说这条街原唱的简介 当前观察
- (2023-03-01)天天观天下!五菱宏光mini是几座的?
- (2023-03-01)焦点日报:韩国“抗日独立运动”纪念仪式上,尹锡悦致辞:日本已从侵略者转变为伙伴!
- (2023-03-01)天娱数科:公司旗下数字人KiKo在京东物流直播间与真人主播互动直播带货平谷大桃 成绩斐然 焦点速读
- (2023-03-01)长安汽车:长安汽车已形成长安品牌、深蓝、阿维塔三大品牌 掌握三大新能源动力技术 环球热闻
- (2023-03-01)今日要闻!京东(泸州)数字经济示范园开园
- (2023-03-01)【全球速看料】“三个聚力”推动非公党建高质量发展
- (2023-03-01)党建引领聚合力 贷款营销见实效
- (2023-03-01)“四提四强”提振县域经济发展“动能”|天天速看料
- (2023-03-01)聚焦“三个年”持续发力谱写现代化美好篇章-快播
- (2023-03-01)久其软件:公司主要为各级政府部门和大型企业集团提供有竞争力的管理软件产品和服务
- (2023-03-01)盛视科技:公司智慧口岸事业部的区域团队2022年所签订单金额超10亿元
- (2023-03-01)天虹股份:公司目前与美团主要在无人机配送方面合作 未销售美团无人机无人车 焦点短讯
- (2023-03-01)看热讯:聚焦IPO | 宇隆光电严重依赖京东方独立性待考,与莱特光电“同业竞争”疑点仍存
- (2023-03-01)京东宠物健康联合七大宠物健康品牌发布《2023中国宠物健康消费白皮书》_环球信息
- (2023-03-01)喜报 | 亿道数码再度荣登“深圳行业领袖企业百强”榜单_时快讯
- (2023-03-01)每日简讯:凤雏是谁卧龙是谁_凤雏是谁
- (2023-03-01)环球资讯:蓝海华腾实控人及其一致行动人合计减持1.42%股份
- (2023-03-01)32岁女子,每天光吃菜不吃米饭,减肥瘦身,半年后,效果如何?_每日信息
- (2023-03-01)3月金股名单曝光!“超级牛散”陈发树、葛卫东持仓股被调入,这只“狂飙”的ChatGPT股最被关注
- (2023-03-01)全球视点!TPW杰伊:做长线游戏,对中国股票给出“超配”评级
- (2023-03-01)当前观察:诺基亚800怎么插卡_诺基亚800c怎么连接电脑
- (2023-03-01)积成电子:公司产品已出口到新加坡、泰国等东南亚国家
- (2023-03-01)【全球速看料】阿石创:公司有多款PVD镀膜材料产品可供钙钛矿电池生产商予以选择
- (2023-03-01)亿道信息:积极拥抱国产化、智能化浪潮 新型消费电子定制化解决方案服务商登陆A股|全球快资讯
- (2023-03-01)万东医疗:CBCT-DR已完成样机系统集成测试 准备临床验证|微动态
- (2023-03-01)金健米业:湖南金健从事的国际出口业务中的主要产品为鲜湿米粉
- (2023-03-01)2023宁波余姚春季民生车展消费补贴时间持续多久
- (2023-03-01)南非去年第四季度失业率达32.7% 近1600万人失业
- (2023-03-01)华昌达:公司为隆基提供的设备为硅棒包装自动化线-焦点快播