2021年是引入 Kyligence 引擎能力的元年,我们聚焦于平台的搭建集成和部分重点应用的落地,很好的完成了目标。在双方项目组成员的共同努力下,我们完成了平台建设、集成对接、投产保障、人员培训等各项准备工作;归纳出了 Kyligence Enterprise 在我们公司的使用规范和最佳实践;完成了多个应用的上线;保障了团体业务数据分析项目成功汇报,获得业务团队的信任与一致好评。1. 行业现状及痛点 随着宏观经济、行业、市场及客户需求的不断变化,叠加疫情因素,保险代理人规模自 2019 年冲上 912 万人高位后便进入下行通道,以往粗放的“人海战术”难以为继。财产保险尤其是车险,综合成本率长期居高不下,2021 年上半年财产险全行业的车险综合成本率一度高达 99.9%。对于保险企业而言,建设以指标为核心的经营分析系统、以数据驱动业务增长成了数字化转型的关键。指标对于指导经营决策至关重要,Kyligence 服务的这家保险企业早期就自建了指标平台,目标是从经营全景视角,来统一指标管理、统一定义口径、统一数据服务等,其指标平台底层引擎最初基于 Druid 创建,但随着指标平台的多轮迭代,逐渐衍生出以下问题:
引用
—— 世界 500 强保险企业
- 指标定制化开发,大量重复工作:指标定义需要与业务反复沟通后,再由数据开发团队进行定制化开发;每个指标烟囱式开发,定制化配置,开发组之间存在大量重复;
- 非标准 SQL:Druid 对表关联支持度较低,对于维度模型查询不友好,增加了开发难度;
- 支持场景有限,运维成本高:数据集市为了满足查询性能要求需要加工宽表,产生大量中间表,后期运维成本高;不支持高基维维度的加入,无法支持精确去重场景。
文章图片
应用场景 1: 业务实现自助式分析
保险企业为控制和优化成本、提高人效,业务员成本分析等工作必不可少。该险企现有业绩贡献的业务人员就有上万人,他们隶属于不同的组织机构,从不同来源为企业带来保费收入。以往,业务分析师是通过「人工取数 + Excel 制作报表」的方式进行数据分析并向领导层汇报。大致确定分析思路后,需要进行以下工作:
- 数据分析师需要和数据开发工程师进行往复的大量沟通;
- 数据开发工程师进行人工取数;
- 数据分析师使用 Excel 进行报表的制作。
- 分析师常因沟通和等待取数而被打断分析思路;
- 受限于 Excel 数据处理能力以及取数周期,分析时不得不对维度做裁剪,只能看到小部分数据,难以在大数据集上进行多维分析和展示;
- 数据分析汇报展示效果差强人意,无法实现自助分析。
基于海量数据的交互查询:该险企年均保单数量超几十亿,分析师期望可以在数百亿的数据上做快速分析,保持分析思路的连贯;同时希望在完成分析后直接基于此数据做成灵活报表,供汇报使用;
进行多维度的交叉分析:在汇报数据分析结果时,常由总到分进行说明,要求分析工具可以支持产品、队伍类型、机构等多维度组合下的灵活切片、切块、下钻等分析能力;
进行灵活的数据处理:人员归属、类别归属等需根据不同报表目的进行调整,分析师希望可以自助完成。
文章图片
采用 Kyligence 产品及解决方案后,该产险企业能够实现整合成本分析所需维度和度量数据,在 Kyligence 上落地为多维模型,从而实现从产品、队伍、机构、业务来源等多个维度对百亿级保单的明细数据进行自助分析,并完成报表制作,提升业务分析决策效率:
- 整合数据模型:整合各方数据,得到一个包含有产品、队伍、机构及时间等关键分析视角的多维星型模型,提供更丰富的分析角度;
- 极简智能建模:通过 Kyligence 接入数据,快速可视化建模,开发全程无代码,大幅缩短需求交付周期;借助 Kyligence AI 增强引擎,智能加速关键查询,无需繁琐的模型设计优化;
- BI 直连分析:借助 Kyligence Enterprise 的 Model as View 功能,分析用户无需在 BI 工具上重复建模,可直接对维度、度量执行拖拽分析,并支持在 BI 工具中进行二次计算加工出业务来源。
指标中台用于管理指标的定义、查找、开发、发布等重要功能,同时也为车险经营分析等业务前端应用提供 API 服务。指标中台建设目标是保证全司口径和指标的统一管理、统一出口,底层依赖于数据集市加工的宽表作为数据源进行开发,开发的流程较长。
文章图片
选用 Kyligence 产品及解决方案后,该产险企业逐步实现了指标体系的标准化管理和统一指标服务,显著提升了业务自助分析能力:
- 无缝对接业务前端应用:在指标查询层面,利用 Model as View 能力,将在 Kyligence 中创建好的复杂模型,以一张宽表的形式展现,减少宽表开发,应用端 SQL 无需引入复杂的表关联关系,即可满足;
- 精准推荐、查询响应更快、自优化:利用 AI 智能推荐引擎,收集业务人员的查询行为,后续推荐更为精准的索引,同时支持高性能和高并发的查询。
数据集市作为各分析系统的对接层,为了满足应用层的查询性能需求,需要加工大量的大宽表。在该险企,以往维度都是按需进行的烟囱式加工模式,业务部门的需求有任何变更,都需要通过修改代码、走正式发版流程实现,存在以下痛点:
- IT 部门维护成本高,开发周期长,数据的加工链路长,依赖关系复杂;
- 数据烟囱多,导致数据冗余;
- 集市组之间互相引用,没有完整设计规范。
文章图片
选用 Kyligence 产品及解决方案后,企业可实现直接对接数仓明细层、集市明细层、和轻度汇总层,同时支持表之间关联、以及标准的星型结构和雪花结构,之后由 Kyligence 模型统一提供服务,完成对各类 BI 的对接。
文章图片
通过对集市层的改造,减少大量中间表和宽表的开发,缩短数据处理链路,大约可以节约 30% 的开发成本。此外,由 Kyligence 模型提供查询服务,可以达到秒级甚至亚秒级的查询响应;统一了数据模型,实现一套模型对接多种服务,完成了数据口径的统一。
3. 收获的成效 自 2021 年引入 Kyligence 后,该世界 500 强保险企业实现了多个场景和重点应用的落地,实现了:
- 支撑海量数据的自助分析:业务自助分析数据从原来的十几万条扩展到 120亿+ 条明细数据,满足了业务人员和分析师对海量数据的自助分析需求;
- 提升 IT 部门的工作效率:针对已改造的集市主题统计,减少了 30% 数据集市临时表和宽表的开发量,减少 IT 人员的定制开发工作量,实现 IT 与业务的新协作模式;
- 改善数据分析体验:65% 查询在 1s 内响应,91% 查询在 3s 内完成,同时支持精确去重等场景,在不影响业务人员使用习惯的前提下,大大提升了查询分析效率。
关于 Kyligence 上海跬智信息技术有限公司 (Kyligence) 由 Apache Kylin 创始团队于 2016 年创办,致力于打造下一代企业级智能多维数据库,为企业简化数据湖上的多维数据分析(OLAP)。通过 AI 增强的高性能分析引擎、统一 SQL 服务接口、业务语义层等功能,Kyligence 提供成本最优的多维数据分析能力,支撑企业商务智能(BI)分析、灵活查询和互联网级数据服务等多类应用场景,助力企业构建更可靠的指标体系,释放业务自助分析潜力。
【行业案例|世界 500 强险企如何建设指标驱动的经营分析系统】Kyligence 已服务中国、美国、欧洲及亚太的多个银行、证券、保险、制造、零售等行业客户,包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、Costa、UBS、MetLife 等全球知名企业,并和微软、亚马逊、华为、Tableau 等技术领导者达成全球合作伙伴关系。目前公司已经在上海、北京、深圳、厦门、武汉及美国的硅谷、纽约、西雅图等开设分公司或办事机构。
推荐阅读
- 深度学习|基于tensorflow2+textCNN的中文垃圾邮件分类
- 数据分析|pandas学习(三) grouping
- 职场|三类6种地图可视化软件测评,最好用的工具居然是它
- 大数据|24张最新可视化大屏模板,各行业数据直接套用
- 报表开发|周报、月报有多折磨人(万能报表模板建议收藏!(附模板))
- 大数据|做报表5年,被批Excel毫无新意,能开发的可视化报表让我重获新生
- 大数据|超越Excel,这才是报表的正确打开方式,可惜90%的人都没用过
- #|数据分析——RFM模型
- 数据分析系列|数据分析系列之matplotlib库的使用