锐客网

  1. 首页 > 睿知 > >

5种常用的分析方法 评价模型有哪些( 三 )

睿知生活知识


3.一个好的模型有时需要更好的可解释性 。
一般来说，在用数据训练机器学习模型时，这个机器学习模型可以看作是一个“黑箱” 。当使用这个模型时 ， 只需要输入和输出 。但是在很多场景中 ， 输入和输出的关系也是导致输出结果的原因 。例如，建立医学智能诊断模型 。当一个人的身体机能指标被输入时 ， 就会输出身体的健康状况，身体不健康最容易患上什么样的疾病 。如果有参与者，使用这个模型后，被诊断为身体状况不佳，近期最有可能感冒 。这个时候，参与者自我感觉良好，想知道自己身体状况差的原因和位置 。这时，如果模型的解释力不强 ， 就无法得到相应的推导结论 。
模型的可解释性也可以为下一步的业务推广和改进提供非常有意义的指导和参考 。例如，如果使用金融风险控制模型来准确、高效地识别具有金融欺诈意图的用户，则该模型的可解释性可以为如何进一步确保服务安全、从何处入手以及采取措施后预计会产生什么后果提供非常可靠的指导和评估 。
有些模型有表达特征重要性的因素，比如很多树状模型(决策树、随机森林、GBDT等) 。)，线性模型(特征参数的绝对值)，LR模型等等 。这些表示重要性的因素可以提供一定的模型解释能力 。
虽然有些模型不包含表示重要性的因素 ， 但它们的结构是透明的 ， 输出的可解释原因可以通过分析模型结构来提炼 。比如KNN，很多聚类模型等 。
对于人工神经网络这样的模型，很难从结构上获得模型的可解释基础，其可解释性很差 。这也是制约人工神经网络在结构化数据业务中进一步应用的一大原因 。
03有通用的模型吗？
这样的问题很难给出肯定的答案 。因为通用模型肯定会照顾到世界上几乎所有的数据、所有的特性和所有的业务知识 。这是一件非常困难的事情 。
但是对于特定的业务场景和一定的约束条件，也不是没有思考就能找到最适合的模式 。奥卡姆剃刀是最重要的指导思想之一 。
“非必要则不加实体”，这是奥卡姆剃刀的全部原理 。
试想，从获取数据，到根据数据训练模型并输出结果 ， 模型输出具体结果的原因可能是什么？这一原因无疑将来自数据所承载的信息、特征工程中所做的处理以及模型本身的归纳偏差 。
如果一个不太懂数据科学和数据处理原理的人，或者是一些模型的探索者或者业务的从业者，看到模型的运行机制，强行修改模型，这就相当于在数据信息处理过程中加入了除数据规则、特征工程提取、模型归纳偏差之外的其他信息 。例如，在CART决策树模型中 ， 建模者根据基尼系数排列缩减最大的决策特征，强行改变两个中间节点的特征位置，人为增加了特征重要性的判断 。当然，如果建模者非常非常确定，修改后的模型也可能表现出更好的泛化能力 。然而 ， 考虑到许多情况，人们无法忍受拍脑袋做决定的冲动 。强制转换模型是一种商业尝试，转换后的模型基本上是不可重用的 。其实不如研究如何选择样本，如何进行特征工程，来提升整体的业务成果和业绩 。
奥卡姆剃刀原理对在底层逻辑没有任何基础的情况下任意修改模型的行为说“不”，即使是为了尝试 。但是，这并不是说我们不应该尝试选择模型，而是可以尝试各种模型中隐含的假设的合理性和某个特征工程环节的有效性，而不是尝试“任意变换模型”的可行性 。
数据科学实际上是一场信息游戏 。
虽然很难通过一个通用的模型来集成世界上所有数据所承载的信息 ， 但是通过迁移来集成现场的信息，并将其应用到更多相关的业务场景中，是一种非常有效的折中方案 。近年来 ， 在NLP领域流行的BERT等带有预训练机制的模型，充分融合了自然语言中的先验信息，使得模型在很多场景下都能获得“杀单”的商业效果 。还有另一种神奇的模式——GPT 3 。它可以帮助人们完成原型设计、制作资产负债表、找出一些名人的社交账号等等，以1750亿个参数空整合和调整了海量的互联网数据和信息 。
通用模型很难建立 ， 但我们难道还看不到吗？
今天的分享就到这里 。谢谢你 。
作者:图索阿里巴巴算法专家
【5种常用的分析方法 评价模型有哪些】内容:数据分析常识

推荐阅读


上一篇：环牛变压器的绕法

下一篇：稻田养什么鱼最好养