策略产品的工作全流程策略产品的工作全流程

作者：hooly
微信公众号：一口袋星光

策略产品的职责：

之前看到一个人总结的：

策略产品=数据分析+推动产品+为产品的数据指标负责

我改了下：

策略产品 = 数据分析+策略设计+推动落地+指标负责

我开始做策略PM至今，做的最多的还是推荐策略。从刚开始规则居多，到后面使用到一些Machine Learning、DeepLearning的模型。最近得一点空总结下策略PM的工作全流程，以及各个节点应该注意的一些点，多是工作中的积累以及遇到问题之后的反思。写下来，也好以后提醒自己。
策略产品的工作流程
1.业务调研
业务调研有3点：
用户使用该产品/业务的核心诉求是什么？
也就是说这个业务服务于用户的什么场景，调研这一点的目的在于你要对于业务、产品进行深入的了解。
产品使用的主观感受是什么？
用户在使用这个产品的主观感受，好用还是不好用？有什么建议和意见，都应该收集过来。有时候用户的建议可能会作为你制定策略增加一点可参考的经验。
用户当前的核心痛点是什么？
仔细想想，我们既然要做这个项目，用户在使用该产品过程中肯定会遇到需求没有被满足，或者是满足的不好的情况。所以找到当前的需求痛点，是做好该项目的前提。
2.数据探查
探查该产品使用的过程数据指标
包括page的pv/uv；重点功能模块的点击情况；最好还能结合业务制作成相应的数据漏斗，分析页面/功能的流失情况。这可以让你对整体的产品数据有更直观的感受，也有助于和功能的产品交流如何设计界面、功能的对产品的效果（流量、转化）等更好。
探查该产品/业务的KPI指标
了解功能产品的KPI或者说产品的评估指标。有共同的指标，你们才能更好的配合，一起为结果指标负责。
3.评估指标
确定你要做的项目的评估指标，这是整个工作任务中最重要的一环。指标一旦确定，所有的产品设计，包括策略和功能都要围绕这个评估指标来设计。
评估的指标可以只有一个，也可以有多个，多个的时候，为了指标聚焦，建议你给每个指标一个权重，然后计算一个综合的指标值。
这个综合的评估指标就是评估该项目效果的唯一指标。
4.策略设计
【策略产品的工作全流程】当以上业务调研和数据探查阶段都结束，这时候你要开始着手具体规则的设计了。在这个节点，你要在宏观和微观两个方向考虑。
宏观上：
把握整体的节奏，因为项目周期很大程度上是由策略设计的难易决定的。在项目初始，建议摸清问题之后小步迭代，所以规则尽量简单易行。在这个阶段的几个关键词是：快上线、高准确、低覆盖、小流量、大埋点。
微观上：
当1.0版本验证有效后，你就要更多考虑策略的细节，分析特征数据的分布、准确率和覆盖率。设计区分等级的兜底策略。另外你还要在准确率和覆盖率之间权衡。逐渐增加多的兜底策略可能意味着准确率的降低，但是同时会大大提升策略的覆盖。
另外一点就是当1.0版本的规则验证后，是否要开始引入算法模型来精细化你的策略？下面对比一下人工规则和机器模型在不同方面的表现。

文章图片
规则or模型此处希望你能对机器模型可以解决的各种问题、以及模型的种类、基本原理有比较清晰的理解。
如果你选择的是使用模型来进替代规则，那么要完成以下几点：
特征数据探查：模型可能用到成百上千的特征，作为PM你不需要对所有的特征都进行探查，最好是能对其中你站在业务角度主观认为结果会对其敏感的topN（N<=10）个特征进行数据的探查。
模型设计：此处可能更多是RD需要考虑事情
训练集评估、测试集评估：这两部分你不懂担心，RD会给出准确的评估结果
交叉抽样评估：这里的交叉，我认为是第一点是策略PM首先需要抽取一定的测试集，进行效果的评估，第二点是如果有业务方的话，建议能把抽样的数据以及模型给出的结果，给到业务方评估一下，业务方或许能会根据比较丰富的经验，给出一些问题或者建议。
5.策略效果评估
当你在离线上针对各种测试集进行过评估之后，你就要拿评估的结果和上线的要求做对比，当前的离线效果是否能达到业务方/产品要求的上线标准。
6.埋点
埋点在涉及策略的产品涉及中，是非常重要的节点。前端、后端、策略三处的埋点都要梳理清楚。策略PM要关心埋点表的结构、每个字段的含义以及所有可能值的枚举，取数方式（sql是必备技能）。埋点要尽可能的要细，因为一旦事后发现没埋全，重新升级埋点，就会浪费很多时间，极大的影响策略的迭代速度。
7.开发、测试、验收
这个点就不说了，大家应该都很熟悉
8.数据监控
数据监控包括2部分：
关键页面访问、转化、核心指标报表：
在上线后第一天，建议数据监控日维度的数据报表就开始发。把关键页面的流量、功能的转化、以及重点观测指标，统统展现在日报中。PM和算法的RD要和数据的同学准确的核实业务逻辑、数据获取方式和口径。保证报表准确万无一失。
数据不光要监控，建议每周组织数据解读，对比上周的数据变化，Q1的指标结果、Q2的指标目标等，时刻提醒项目组成员重视数据、理解数据。
特征数据监控
不管是规则还是模型，其实都会用到一些特征，特征数据是否平稳、正常直接影响模型/策略的输出效果。所以对特征数据的监控也十分重要。这里建议监控特征数据的分布以及关键特征异常值的检测。因为我们可以直观的认为模型/策略结果是对关键特征敏感的，如果关键特征的值出现较大异常，对模型/策略的结果影响无疑是最大的。
9.迭代流程建设
1.0版本策略拿到反馈后，我们就要进行不同策略的实验，以持续迭代，效果优化。需要搭建整个可支持策略/模型实验的体系。
ABtest（流量分发）
ABtest是最原始的实验方法，这里主要两点：1.AB组是否控制了单一变量 2.流量按照什么维度进行分发。
模型/策略自动配置
搭建的系统应支持快速的模型配置，策略配置。这时候系统可能需要建设一个统一的特征库。AB两个模型配置上之后，功能的同学直接从一个统一的特征库中获取到所有的特征，然后输出。