计算广告基础知识（二）计算广告

计算广告基础知识（二）

刘鹏老师《计算广告：互联网商业变现的市场与技术》读书笔记

计算广告基础知识二
- 重点名词
- 合约广告
  - 受众定向
  - 流量预测traffic forecasting
  - 流量塑形traffic shaping
  - 在线流量分配
- 搜索广告和竞价广告
  - 搜索广告sponsor search
    - 位置拍卖与机制设计
  - 竞价广告竞价网络广告网络竞价展示广告网络
  - 竞价广告需求方产品
- 程序化交易广告产品
  - 实时竞价RTB
    - 实时竞价流程
  - 其它程序化交易
- 原生广告产品

重点名词

商业产品：面向商业客户而非一般用户的产品，如互联网广告产品。

另一类产品是用户产品。用户产品的设计原则是向着更简单，更直观，更快捷。

商业产品的目标是为了优化商业目标。为了优化商业目标，是可以牺牲产品的简单易用性的。这也是为什么广告产品相对复杂的原因。
CPT（cost per time）：某个广告位以独占方式交给某广告主，按独占时间段收费。通常针对大品牌广告主特定的广告活动。门户网站中，这是主流方式。
ADN（AD Network）：广告网络。
eCPM（expected cost per mille）：千次展示期望收入。
SSP（supply side platform）：供给方平台。

合约广告基本分为两种形式，一是按CPT结算的广告位合约，二是按CPM计费的展示量合约广告。售卖对象，前者是“广告位”，后者是“广告位+人群”。

广告位合约

对于广告位（使用独占式售卖）库存不够，可以使用**轮播售卖**，即同一个用户对同一个广告位的一系列访问，认为是虚拟不同广告位，售卖给广告主。需要注意要保证各个轮播分配到的流量一致。

展示量合约

俗称“CPM广告”，为了在受众定向的基础上提高单位流量的变现能力。这种合约已经反映了互联网广告计算的本质：分析得到用户和上下文的属性，并由服务端根据这些属性及广告库情况动态决定广告候选。有以下几种关键技术：

受众定向

流量预测（traffic forecasting）

担保式投放（traffic shaping）

受众定向
**受众定向是展示量合约中非常核心的技术**。受众定向需要考虑定向的效果（准确率）和覆盖率。效果是指符合定向的流量比平均eCPM高，覆盖率是指定向的流量占整体广告库存流量的比例。这两者经常需要平衡。

地域定向（geo-targeting）

很多广告主的业务都有地区特性，在线广告系统必须支持的定向方式。

人口属性定向（demographical targeting）

人口属性包括——年龄、性别、教育程度、职业、收入水平等。人口属性大量应用在传统广告中，接受度较广。

频道定向（channel targeting）

按照供应方的内容分类体系将库存按照频道划分，对各频道的流量投送相应类别的广告。**适用于垂直类的媒体（离转化比较近）**。

上下文定向（contextual targeting）

**ADN的首选定向方法**，可以认为是频道定向的推广。通过网页的具体内容来匹配广告。网页的具体内容即上下文，可以表现为关键词、主题词等。**优点在于覆盖率高，可以根据当前用户浏览的页面推测用户的即时兴趣**。

行为定向（behaviorial targeting）

上下文定向是用户的一次访问，行为定向可以认为是一系列的上下文。行为定向提供了一种一般性的思路，即用户的行为数据可以分析用户的兴趣，并且可以变现。

精确位置定向（hyper-local targeting）

基于GPS/蜂窝信息的室外定位，基于wifi/蓝牙的室内定位，可以支持大量区域性非常强的小广告主，如小餐馆，理发店等。

重定向（retargeting）

即对过去一段时间、去过广告主网站的访客重新投放广告。**重定向被公认为是精准度最高、效果最突出的定向方式，缺点是量太小，无法起到广告可以挖掘潜在客户的效果**。

新客推荐定向（look-alike targeting）

根据**广告主提供的种子访客用户**，结合广告平台的数据，找到行为上相似的潜在客户。这种方式与使用通用兴趣标签相比、能够达到更好的效果，也体现了广告主数据的核心价值。

团购（group-purchase）

使用价格工具，对价格敏感的用户转化效果提升明显。流量预测（traffic forecasting）
展示量合约售卖的是**某特定人群上的广告曝光次数**，而人群不同于确定的广告位，因此必须在合约中约定投放的量。**流量预测**就是用来解决**售前指导**这个问题，即在展示量合约广告中，由于要约定曝光总数，事前要尽可能准确的预测各个人群的流量。低估会导致资源售卖量不足，浪费；高估会导致合约无法达成，影响整个系统收入。此外，流量预测还能够辅助**在线流量分配**和**出价指导**。流量塑形（traffic shaping）
流量预测是被动的统计流量情况，有些情况下还可以主动影响流量，以利于合约的达成。这种策略就是**流量塑形**。流量塑形的典型场景是综合性门户网站上售卖的展示量合约广告，网站子频道依赖于**首页关键位置的导流**，如果是某个大型车展期间，可以在首页进行设计，帮助汽车频道导流。在线（流量）分配
当一次广告曝光满足两个或以上合约的要求时，需要决策这个流量分配给哪个合约、从而达到整体满足所有合约的目的。需要在每次曝光是做出相应的分配决策，因此称为在线流量分配。这个问题可以使用二部图（bipartite graph）匹配来描述，一方是**具有相同人群标签的广告流量的集合**（可以视为供给节点），一方是符合广告合约的人群标签（可以视为广告需求节点）。供给节点会随着标签数量的增加、以指数速度上升，节点代表的流量也迅速收缩。当节点流量过小时，相对准确的对流量进行预测就会变得困难。 **因此，展示量合约的广告产品在人群标签非常丰富时是无法有效运作的，这也是竞价类广告产品的原动力之一**。搜索广告和竞价广告竞价广告本质是“价高者得”，将展示量的约束从交易过程中去除。竞价广告可以认为是定向广告精细化发展的趋势，同时，对于无法用合约售卖的大量剩余流量，也可以进行变现。搜索广告和竞价广告关系非常紧密，竞价广告中的一些非常核心的产品策略和技术方案都来自于搜索广告。
搜索广告（sponsor search）
广告主就竞价关键词（bid term）竞拍，根据结果确定广告展示的位置。用户输入的查询通过与关键词相匹配来确定是否可以出发该条广告。匹配的方式有多种，称为查询扩展，是搜索广告的一项关键产品策略。

搜索广告有综合搜索引擎广告和垂直搜索引擎广告，是在线广告中份额最大的。
查询扩展有以下几种扩展方式：

精确匹配，对广告主提供的关键词不做任何形式的扩展。再对用户的查询词分词后，若能完全匹配广告主关键词集合，则匹配成功。

短语匹配和广泛匹配，匹配要求逐步放宽，准确些逐步降低。

否定匹配，在放宽匹配后，允许广告主制定哪些关键词不能被匹配。

搜索广告的整个决策过程可分为几个阶段：查询扩展，检索，排序，放置，定价。
查询扩展是搜索广告独有的策略，目的是给广告主自动的扩展相关查询词，扩大采买流量。
检索和排序（如根据eCPM排序）是广告系统通用的决策
搜索广告的产品和技术特点如下：

搜索广告eCPM通常远高于一般的展示广告，最关键的原因是用户主动输入的查询直接反映了用户的意图。
可以根据搜索词对用户意图做精准定向。
广告的展现形式和自然结果非常接近，类似于原生广告。

位置拍卖与机制设计搜索广告根据广告主的出价、计算出eCPM决定哪个广告主可以得到某次展示的广告位。
位置拍卖（position auction）的定义是：
广告位S=1,2,…,s （广告位按经验价值排名）
（某次广告请求）一组广告A=1,2,…,a
系统将前S个高出价的广告一次放到前面排序好的S个广告位上。
每个广告位的预期收入eCPM计算公式如下：

eCPM = μ*ν

μ表示点击率（这里我们认为只和位置s有关），ν表示点击价值（这里我们认为只和广告a有关）。
位置拍卖中的机制设计非常重要，具体有：

定价问题

最重要的问题。常见的有两种定价策略——广义第二高价（GSP，general second price）和VCG（Cickrey-Clarke-Groves）。GSP用的更广泛，但VCG是多位置拍卖最优策略。

第二高价（second price）
一个简单的例子：如果按照最高价收费（记为甲），那么第二次报价时，甲就会尝试下调报价，直到比第二高价者稍高。如果按第二高价收费，那么甲就没有动力下调报价的动力。如果其他人要中标，就需要按超过甲的报价竞标，市场按甲的报价收费，这样就能保证市场价格稳定向上。

市场保留价（market reserve price, MRP）

起价或底价，广告主的出价只有在高于市场保留价时才能获得竞价机会。

Yahoo! 曾对不同关键词设置不同的起价，并且可以动态调整，对收入提升了很高。

竞价广告（竞价网络、广告网络、竞价展示广告网络）
合约式售卖无法消耗所有流量，剩余的部分称为剩余流量（remnant inventory）。广告网络（竞价网络）的超功能就是批量聚合各媒体的剩余流量，按照人群或者上下文标签的浏览切割方式售卖给广告主。
广告网络的投放决策对媒体透明，只需调用广告网络的投放代码或SDK。广告网络主要售卖人群，淡化广告位。通常具有如下特点：

与合约广告不同，广告网络不向广告主做展示量的约定，每次广告展示的分配完全根据eCPM来决定。
按人群售卖，淡化广告位。（竞价广告网络也很难拿到品牌溢价高的广告位，通常也不适合广告主的品牌需求）
使用CPC结算方式。广告网络负责点击率估计，需求方根据点击价值的估计来出价。

有一种叫“联盟（affiliate）”的运营模式——对于一些特殊业务需求的媒体（组合），有时候希望能够直接从广告网络的广告库存中挑选广告，能够创造比广告网络自动挑选更多的价值。

广告网络产品的决策过程有：（根据受众标签进行）广告检索，（候选）广告排序，定价。

广告检索
可以采用常规的倒排索引。由于不是使用用户输入的关键字检索，用户意图常常不明确，实践中往往使用更多的关键字（兴趣标签）。
【计算广告基础知识（二）】广告排序
竞价广告排序是eCPM，在CPC结算下，转化为对点击率（CTR）的估计。广告网络的CRT估计主要有两方面困难：首先数据稀疏，冷启动问题严重；其次广告位差异巨大，点击率变动范围很大。

竞价广告需求方产品
产品的功能：可以按照广告主预算跨媒体一站式采买人群，机器决策的ROI优化功能。
面临的问题：

如何挑选合适的目标人群；
对目标人群合理出价；

由于竞价广告平台的决策过程对需求方是个黑盒，所以这2个问题并不好解决。

常见的产品有：

搜索引擎营销（SEM），通过竞价采买搜索引擎关键词来做推广。
媒体购买平台，或交易终端（trading desk，TD）。

程序化交易广告产品实时竞价（RTB）
广告市场的发展方向是向需求方彻底开放，即除了允许广告主按照已经定义好的用户划分来购买（竞价广告网络），还进一步为广告主提供自行选择流量和每次展示独立出价。因此产生了以实时竞价（RTB）为核心的程序化交易市场。

程序化交易广告（RTB）和竞价广告的区别，在于需求方的参与程度。
竞价广告网络，人群的定义是由广告平台决定的，需求方基本没有加工自由，无法使用广告主的第一方数据定制化的建立用户标签。
RTB广告，使用需求方的定制化标签指导广告投放，是一个核心。在RTB广告中，需求方对流量的选择和控制能力达到了极致（需要面对技术和算法的巨大挑战），供给方则变成了简单的比较平台。

实时竞价广告的几个核心参与者：

广告交易平台（ADX）：用RTB的方式实时得到广告候选，并按照其出价简单完成投放决策。
ADX一般按CPM收费，因为实时竞价中广告决策是由DSP完成的，DSP在获得ADX提供的广告位信息后，可以自行估计CTR，并实时计算出当前展示的合理eCPM。
需求方平台（DSP）：广告交易平台的采买方。需要具备点击率预测，点击价值估计，流量预测，站外推荐等多种能力。

DSP还需要的一个重要功能，根据广告主提供的种子用户，利用海量媒体数据为广告主找到行为相似的潜在用户。
出价策略和受众定向，是两个核心问题。
出价策略上，RTB需要DSP对eCPM精确估计（因为需要按CPM向ADX报价，这里和广告网络不通，广告网络中只需要根据eCPM对广告进行排序，不需要精确值），ADX按GSP（广义第二高价）计费。由于预算限制等隐私，竞价市场的成交价格是剧烈波动的，这里就会有很多优化的策略可以提升DSP的利润，如将预算分配至较低市价的流量上。
受众定向的两种方法：重定向和新客推荐（look-alike）。

供给方平台（SSP）：媒体有多种变现选择——担保式的合约，自营广告网络，托管给其它广告网络，RTB。供给方平台，就是可以动态的在多种模式下变现价值最高的，以实现媒体收益最大化。
例如，当广告请求到达时，首先检查CPT/CPM的合约，如果有，按优先级和在线分配方案完成投放；如果没有，则进入竞价流程。竞价可以从自运营和外部可对接的广告网络，分别估算出eCPM，找出较高的广告候选，再以此作为MRP，通过RTB接口向各DSP实时询价。
数据交易平台（data exchange）和数据管理平台（DMP）：分别从第三方和第一方数据入手，为市场提供有价值的数据源或数据加工服务。

第一方和第二方分别指广告主和广告平台，第三方指不参与广告交易的其它。以第一方数据为基础，用好第二方和第三方数据，是RTB的重要方法论。

实时竞价流程

用户浏览媒体网站。
媒体网站通过JavaScript或SDK向ADX发起广告请求。
ADX向各DSP传送URL和本域名cookie，发起询价请求。
ADX等待一个固定的时间后，选出出价最高的DSP返回给媒体网站。
媒体网站从胜出的DSP拿到广告创意并展示。

在投放广告前，广告主-DSP-ADX要将用户标识对应起来（如Web环境下的cookie映射）。
为了减少时延，DSP可以在向ADX报价时，也带上要投放的广告创意地址。这样做的缺点在于，ADX会知道DSP的某个广告商的相关受众，存在信息泄露的风险，不符合ADX中立市场的地位。
这种流程有一些缺陷：首先，ADX带宽压力极大，广告请求要发给所以DSP；其次，流程环节多，延迟高，对用户体验、CTR有负面影响；最后，DSP可以廉价获得媒体网站的用户行为数据。

其它程序化交易