MobTech观察 | CSDN（企业数字化转型如何提升段位（杨冠军畅谈企业数字化前世今生））数据挖掘程序员

近日，MobTech袤博科技合伙人、首席数据官杨冠军受邀撰写的文章《企业数字化转型的前世今生》登刊CSDN最新一期《新程序员 003：云原生和全面数字化实践》。该杂志由 50 余位技术专家共同创作，专注于为所有关注云原生和数字化的开发者们提供技术内容既有发展趋势及方法论结构，更包含了华为、阿里、字节跳动等 30 多家知名公司的云原生和数字化一手实战经验。

文章图片

《新程序员》的前身是《程序员》，创刊于2001 年的《程序员》曾陪伴了无数开发者成长，影响了一代又一代的中国技术人，成为了众多技术人的必备读物、从业指南。在20年的技术变革间，全行业的数字化进程也不断加速，《新程序员》应运而生。
文章中，杨冠军从数字化的根本「大数据」和「人工智能」两种技术的发展出发，对数字化发展的底层逻辑进行了细致的梳理，并深入分享了企业数字化转型的「三步走」方案：数据打通与数据接入、数据处理、数据可视化。

文章图片

以下是《企业数字化转型的前世今生》原文：
现在，直到现在，还有老板问我：“老杨，企业数字化转型到底是什么？”
我说：“老板，你这个问题很深奥，我来试着回答一下，所谓企业数字化转型就是把数据贯穿到整个企业营运过程的始终，帮助企业做到一切业务数据化，一切数据业务化。”
细心的同学会说：“老杨，你这不是正确的废话么，这叫哪门子回答，这和没说有什么区别么？啥叫一切业务数据化？”
这事儿它确实不是一句两句能说清楚的，且听我慢慢道来。
从“青铜”到“王者”，企业数字化也有段位我先梳理下企业数字化的阶段吧，其实各个企业都一直行走在数字化的道路上，即使荆棘遍布，也从未停歇过，大抵可以分为以下四步。我先梳理下企业数字化的阶段
一、企业数字化第一步——青铜
通常认知下的企业数字化包括人事管理系统和财务管理系统，这是把之前的一些人、财的管理动作，通过流程规范固化到系统中。但这样就够了么？显然是不够的。这只是企业数字化的第一步罢了，这样只是做到企业基本的管理动作可记录、可追溯、可衡量，大抵是“青铜”级别，离真正的企业数字化还差十条街的距离。
二、企业数字化第二步——白银
但也有一些企业发现只进行人财的信息化管理还不够，还需要把身为“衣食父母”的客户和用户也管起来，于是“客户管理系统”和“用户管理系统”也登上了舞台。稍微有点心的企业就会发现：诶，这些个系统都是单独存在呀，不能串联呀，那是时候让“办公自动化”粉墨登场了。但这就完事了么？显然并没有。这也只是企业数字化的第二步，这样只是把企业赖以生存的东西在系统上管理起来了，大抵是“白银”级别吧，离企业数字化还差五条街的距离吧。
三、企业数字化第三步——钻石
上面两步充其量可以归属在企业信息化的范畴，整体上更偏重过程，主要目的还是过程中降本增效。降本增效到一定程度之后，自然就会有创收的需求，这是人性使然。老板所追求的“更高、更快、更强”其实是新的增长点，当一家企业主营业务步入正轨之后，老板就会不遗余力地去思考新的增长点，无一例外。因为大部分老板都深谙“生于忧患”之道。没有新的增长点就慌了。于是思考来思考去增长点无外乎两种：
1. 扩充主营业务的新路径 2. 开辟新业务那通过什么手段呢？在这个数据、技术爆炸的时代下，除了数字化真的别无他法了，所以企业数字化也就出现了。其中扩充主营业务的新路径的代表者就是苏宁，把线下零售直接搬到线上；而开辟新业务的代表者就是万达，不是改造自己的购物中心，而是做支付，做收单，做营销等软件系统。这两者没有优劣之分，只是投入和风险大小的却别（回过头去看，的确苏宁相对稳健点）。
但这就是企业数字化的完全体了么？显然也不尽然。这也只是企业数字化的第三步，但却是具有划时代意义的一步。这是企业一号位从意识形态上已经认定了数字化这件事儿，奠定了数字化成败的基础，大抵是钻石级别了，离“王者”只差一丢丢。
四、企业数字化第四步——王者
从数字化生长出来的新路径或新业务，从生产环节，到生产者，到生产方法，到生产要素，到生产物品都发生了翻天覆地的变化。这些都是传统的企业经营方式无法企及的。它需要从企业管理、企业营运、企业决策等多方面进行根本性的数字化变革，这既需要一小撮能通过 “加减乘除”和“统计分析”等基础数学知识去经营的事儿持续进行，也需要大多数必须通过“机器学习”和“深度学习”算法才能分析出来的结论作为支持。从而让企业管理、企业营运和企业决策更加数字化。
当然这一切的前提是传输、存储、算力、算法等基础技术的长足进步。没有这些技术的进步，什么机器学习、深度学习都是空谈。这就实打实地走到了企业数字化的王者阶段。坦白讲，能达到这个水准的企业少之又少，简直是“此企只应天上有，人间能得几回闻”的节奏。
细心的同学会说：“咦，老杨，你说的一六八开的，那企业数字化到底是什么定义呀？”
嗯，孺子可教也，没被我给带偏。
你搞清楚“数字化”和“企业数字化”的区别了吗？
要搞清楚什么是“企业数字化”，首先要明白什么是“数字化”。
“数字化”是通过计算机技术，将现实世界发生的各种事情与虚拟数字的表达连接起来，进而通过数据和算法推导出现实世界的深层次规律——各种靠常识和逻辑认知不到的规律。
那什么又是“企业数字化”？
企业数字化就是将企业管理、营运和决策中的经验、方法用数字表达出来，再通过数据和算法重构企业的商业模式/服务模式，使得企业经营全过程可描述、可衡量、可追溯、可预测，实现企业的变革式成长，形成全新的核心竞争力。
企业数字化是一个庞大的系统工程，它是把数据贯穿到整个企业经营的始终，以客户和资产为中心，以生产环节和生产者为基础，通过数字化管理成长为数字化营运，并达到数字化决策的这一过程。最终达到一切业务数据化，一切数据业务化的结果（如图1所示）。

文章图片

图1：企业数字化逻辑

数字化管理：最容易忽略的部分
数字化管理是最容易被忽视的部分，一来数字化管理练得是“内功”，别人看不到的东西往往没啥动力去做；二来数字化管理是个长线的事儿，短期内很难看到成绩。但从过往的数据看，决定企业成败的关键往往却在数字化管理上，“修身齐家”之后才能“治国平天下”，自己都还没玩明白谈何其它呢？
数字化营运：最能产生效果的部分
数字化营运是最能产生效果的部分：一来营运占据了整家企业日常工作的八成——销售报表、销量预测、成本分析、转化率分析等环节，都可以通过数字化系统来实现，而且比人力来做更加全面、科学和准确；二来只要在营运数字化上投入精力，一张报表，一条曲线都可以映射到生产环节中，并得到验证，效果体现会非常快。
效果体现又多又快的事情上，自然会是资源聚集的地方。因此，一时间营销管理、商品管理、库存管理、仓储管理、供应链管理等平台如雨后春笋一般的出现了。它们都是在数字化营运上发力，也确实拿到了很“爆炸”的成绩。
数字化决策：最难的部分
数字化决策是最难的部分，一来很多大的决策都是管理者那一瞬间的灵光乍现，没有逻辑可言，所以很难去把它数字化或公式化；二来大部分决策都依赖于很多影响因子，但这些影响因子的数据又很难收集到，而通过数据和算法推导出来的结论，又大多是不可解释的，而不可解释的结论又很难去让人下决策，更难去说服团队贯彻执行。
但是，大伙儿逐渐认识到数据本身就是资产，除了能够指导现有业务的发展之外，数据还可以给企业提供更多的创新，甚至是商业模式的变革。所以你会发现，虽然数据目前只是决策中的辅助手段，但数字化决策这件事儿是势在必行的。必须说一句：前途是光明的，但道路绝对是曲折的。
从“可选项”到“必选项” 古往今来，某个事物的出现和发展一定要兼具天时地利人和。互联网的大规模发展是因为个人电脑的普及；移动互联网的大规模发展是因为智能手机的普及；云计算的大规模发展是伴随着芯片、存储、机器、网络等硬件的普及；大数据的大规模发展是伴随着计算、存储等资源的普及；人工智能的大规模发展是伴随着算力、数据、算法的普及。
那么企业数字化转型呢？当然也不会例外，它也有自身的“天时地利人和”。
企业数字化的“天时”说白了就是大数据和人工智能这两大技术的发展，看懂了它们的发展历程，也就明白了“天时”。

MobTech观察 | CSDN（企业数字化转型如何提升段位（杨冠军畅谈企业数字化前世今生））

文章图片

图2 ：大数据发展史

请看图2的时间轴， 2003年、2004年、2006年，伟大的Google分别输出了GFS、MapReduce、BigTable三篇论文，被称为大数据的三驾马车，也不负众望地成为大数据的奠基之作。Hadoop就是在三驾马车的启发下诞生的。Hadoop具有以下3个特点：
1、 Hadoop参照GFS打造出HDFS，它是一个运行在普通机器上的、可供大规模存储和访问的分布式文件系统，是大数据存储的基石。使得大数据这件事情变得可行，在硬件成本上可控，在软件技术上可实现。
2、 Hadoop参照MapReduce打造出Hadoop MapReduce，它是大数据分布式计算的一种方式，将大数据的计算任务先分解到多台普通机器上，然后进行合并得到计算结果。它是大数据计算的基石，使得大数据计算这件事情变得可行，在硬件成本上可控，在软件技术上可实现。
3、 Hadoop参照BigTable打造出HBase，它是对底层的大规模存储和计算去进行使用的一个大表，毕竟表格是更符合人性的一种存在，可以认为它是NoSQL数据库的基石。
2006年Hadoop翅膀逐渐硬了，从Nutch中分离出来成为Apache顶级开源项目。从此以后，大数据相关的技术就如雨后春笋一样迸发出来，2008年数据仓库Hive；2010年列数据库HBase；2012年资源管理器Yarn；2013年流式计算框架Spark、Storm；2014年实时计算框架Flink。这些东东都让大数据产业得到长足进步。
这边厢大数据日新月异，那边厢人工智能也不甘示弱。

文章图片

图3：人工智能发展

众所周知人工智能缘起于1956年达特茅斯大会，发展至今也有五十多年了，可以说是经历了三起三落（如图3所示）。
第一阶段，20世纪50年代到60年代是第一个高潮期，主要是以逻辑学为主导的定理证明。然而由于计算机能力的不足，以及当时的人工智能本身并不具备学习能力，20世纪70年代迎来了人工智能的第一个低谷期，那么自然各种压力和经费问题也接踵而至，人工智能的前景也顿时蒙上了一层阴影。
第二阶段，好在总有那么一小撮不按常理出牌的人继续坚持研究，大概蛰伏了10年之后，终于在1980年，卡内基·梅隆大学的第一套专家系统XCON诞生了。XCON系统到底每年能为企业节省多少钱一直是个谜（最高的说法是四千万美元，最低的说法也有几百万美元），XCON专家系统经历了近10年的黄金期，也是人工智能的第二个高潮期。然而随着第五代计算机的幻灭，人工智能嘴里哼唱着“为什么受伤的总是我”，走进了第二个寒冬。
第三阶段，经历了两次高潮两次低谷，人们对人工智能的认知也回归理性和客观，同时大数据存储和计算能力也得到大幅提升，人工智能技术也随之有了突破性发展。于是乎，在1997年，终于有一个“像样”的人工智能产品问世了——IBM的“深蓝”。其以摧枯拉朽之势战胜国际象棋世界冠军卡斯帕罗夫更是一个重要的里程碑，经历了两次高潮两次低谷两次蛰伏，人工智能终于进入了平稳发展阶段。
今天，可以毫不夸张的说，一个不了解人工智能的程序员绝不是好程序员。为什么？下面来看一些事实：2006年之后以神经网络主导的深度学习得到很大突破；2016年Google机器翻译准确率达到87%；2016-2017年，Google的AlphaGO的惊艳表现；人工智能全球市场规模达2.43万亿美金，而且以每年近30%的增长率在提升；各大科技企业与人工智能藕断丝连的关系。这些事实无不表明人工智能基本上已经熬出头了，未来要么做人工智能，要么被人工智能“做”。
大数据和人工智能经过30年的沉淀积累，基础理论和技术都已进入成熟期。整体上，大数据和人工智能行业也随之进入了高速发展期。伴随着大数据、人工智能的发展，之前肉眼凡胎完全识别不了的数据体量和数据维度，现在可以分分钟看懂。所以企业数字化转型这件事情也真的由不可能变成了可能，企业数字化也可以不再停留在简单的数据报表和统计分析了。
所谓“地利”，某种程度上可以认为企业数字化与“大数据、人工智能”划等号。据不完全统计，从2015年到现在，国家颁布了不少于20项大数据和人工智能类的政策（如图4所示）。2015年8月颁布了《促进大数据发展行动纲要》，2017年1月颁布了《大数据产业发展规划2016-2020》，2018年4月颁布了《科学数据管理办法》，2020年2月颁布了《关于工业数据分级分类指南》，2020年5月颁布了《关于工业大数据发展的指导意见》，国家层面对大数据和人工智能的支持已经非常明显了。

文章图片

图4：大数据类国家政策

国外也是如此，Yahoo、IBM、EMC、微软先后投入大量的资源去研究及使用大数据和人工智能，也产出了诸多Apache顶级开源项目。国内的BAT们起步相对较晚，其中B呢比较浪漫，走的是先技术后场景的思路，网罗了世界顶尖的大数据、人工智能人才，基本上形成了自己的大数据人工智能生态。A比较实际，主要把大数据和人工智能应用于电商、物流等零售服务为业务赋能。同时，还开启动了NASA计划。T不紧不慢，主要聚焦在人才储备、算力、算法上。当然还有一些试图逆袭的有为青年，如语音识别的讯飞，计算机视觉的商汤和旷视，以及智适应教育的松鼠教育等。的确称得上百花齐放，此处不得不感慨一番，要想追上大数据人工智能的脚步，的确得有两把刷子。
所谓“人和”，在与这次疫情爆发的背景下，各大企业都纷纷亮出数字化的能力，也做出了重大的贡献，但同时也发现了诸多问题。包括数据采集、数据处理、数据分析、数据应用等各个层面的问题。侧面验证了当下的企业数字化转型还远远不够看，需要大破大立，无论是企业的决策层，管理层和执行层也都意识到数字化转型的急迫性和重要性。
瞧瞧，在“天时地利人和”的背景下，企业数字化转型再也不是企业的“可选项”了，而是“必选项”。通过数字化转型，企业在管理上、营运上、决策上都将告别“拍脑袋”的日子，用数据来进行企业经营可保企业在竞争中立于不败。
企业数字化转型三步走讲执行路径之前需要再次强调下，企业数字化转型绝对是“一号位工程”。毫不夸张地讲，一切非一号位来负责的企业数字化转型都是“纸老虎”。
企业数字化转型的执行路径无外乎三步：数据打通与数据接入、数据处理、数据可视化。
数据打通与数据接入
为什么要把数据打通作为企业数字化转型的第一步？所有企业都是从信息化走过来的，信息化通常都是不同供应商提供的系统，而这些系统必然会形成一个一个的“烟囱”，这些烟囱中的数据都只是局限在某一维度上，不打通就没有办法进行多维数据分析，更不用说更为高大上的数字化营运了。
举个例子，某商业地产开发商的客流、车流、会员、店铺、商品等数据分别来自于不同的供应商。现在我想知道哪些人喜欢去哪些商场买哪些商品，这个需求对于任何供应商来讲基本上都是不可能完成的任务，这时候数据打通就是必须的了。但千万不要以为数据打通就是简单地把各个供应商的数据集中到一个数据库中，这就太初级了。数据打通最为关键的是，用唯一的ID来标识数据，只有这个唯一ID准了，才能够知道进场了多少人，以及每个人到底喜欢什么店铺和商品。
【MobTech观察 | CSDN（企业数字化转型如何提升段位（杨冠军畅谈企业数字化前世今生））】你可能会问：这个只是使用企业一方数据，多数情况下企业一方数据都不够用，必须与三方数据进行场景化融合，才能有更多的标签进行更深的分析和结论输出，这咋办呢？总不至于用唯一ID去广阔的数据海洋里捞吧？
这是个特别好的问题，而且其实是属于数据接入的范畴了。数据接入的前提就是必须保障隐私及安全。这就要依赖于隐私求交、联邦学习等隐私计算的技术，来完成多方数据的联合分析、训练、建模、预测。从而实现数据价值的流通，达到数据“可用不可拥”。联邦学习是个单独的课题，此处就不赘述了，附上一张逻辑图供参考吧（如图5所示）。

文章图片

图5：联邦学习逻辑图

数据处理
数据处理是企业数字化转型最核心的一步，各企业的数据量级（Volume）越来越大，格式及内容（Variety）越来越多样，而各企业在数据挖掘的深度上、分析的维度上、计算的速度上的要求都日益提升。要想在如此庞杂的数据下挖掘/分析出价值，靠传统的数据分析方式基本上是天方夜谭。这要求企业必须在数据采集、数据存储、数据计算、数据挖掘/分析等数据处理的各个层面都有稳定、高效的技术工具。而这些技术工具的产出又需要百人团队三到五年的积累。对于大部分企业来讲，养个百人团队是不可能的，再积累个三到五年，基本上“黄花菜都凉了”。咋办呢？这就需要专业做数据平台和工具的大数据公司来提供这方面的技术能力了。以MobTech为例，这四个层面形成完整的产品矩阵经历了9年（如图6所示）。