3分钟全面了解广告技术广告技术有哪些 _生活知识

技术背景许多大数据驱动的产品，在技术架构上往往落地成一个个性化系统，即根据用户、上下文信息投送个性化内容，千人千面。在线广告也是典型的个性化系统，由于其业务的特殊性，在具体规模的设置上会比一般的个性化系统更复杂
个性化系统框架不同产品的个性化系统之间存在着许多共同点，一般的个性化系统由4个主体部分相互配合，完成数据挖掘和在线决策任务

在线投放引擎(online serving engine) 用于实时响应请求，完成决策
离线分布式计算(distributed computing) 数据处理平台
在线实时流式计算(stream computing)平台
数据总线(data bus) 连接和传输以上三部分数据流

个性化系统一般框架
协作流程为：在线投放系统的日志接入数据总线，由数据总线快速传输到离线数据处理平台和在线流式计算平台；离线数据处理平台周期性地以批处理方式加工过去一段时间的数据，得到人群标签和其他参数模型，存放在缓存中，供在线投放系统决策时使用；在线流式计算平台负责处理最近一小段时间的数据，得到准实时的用户标签和其他参数模型，作为对离线处理结果的补充和调整，也存放于缓存系统中供在线投放系统决策时使用。整个系统形成一个有效全量利用大数据且基本依靠机器运算来完成决策的闭环
除上述共性外，不同个性化系统其数据来源、产品形态、优化目标不同，系统架构的细节也会呈现出很大的差别。以最典型的两种个性化系统广告和推荐以及不需要深度个性化的搜索系统为例，将规模问题做简单对比
规模问题比较
广告系统优化目标广告系统的优化目标是提高广告产品的利润，任何一个具体的计算广告系统，都为优化式(1)这个目标而设计
(1)
在广告系统中，每次展示的r是由在线投放引擎来决策的，在线流计算平台和离线计算平台所做的，都是为了准备ai, ui, ci 这三个变量或其他组合特征。不同广告系统中，上述优化目标的具体表现形式可能会有所不同，也可能会有额外约束。几种主要广告产品的优化目标如下表
几种主要广告产品优化目标
在线广告系统架构广告系统属于大数据产品的一种形态，在一个完整的广告系统架构中数据的记录、交易、流转、建模和使用，是最核心的驱动力，从本质上决定了广告产品的变现能力和利润空间
广告投放引擎实时响应广告请求并从全局收益最优的角度出发决策广告投放，采用检索加排序的两阶段决策过程，由以下几个模块组成

广告投放机(ad server) 接受广告前端Web服务器请求，完成广告投放决策并返回页面片段的主逻辑
广告检索(ad retrieval) 根据用户标签(user attribute)与页面标签(page attribute)从广告索引(ad index)中查找符合条件的广告候选
广告排序(ad ranking) 在线计算eCPM并进行广告排序，eCPM的计算主要依赖于点击率估计，需要用到离线CTR模型和特征(CTR model & feature)、流式实时点击率特征(real-time feature) ，在需要估计点击价值的广告产品中还需要点击价值估计模型
收益管理(yield management) 以全局最优为目的调整局部广告排序，需要用到离线计算好的某种分配计划来完成在线实时决策
广告请求接口
定制化用户划分(customized audience segmentation) 从广告主处收集用户信息的产品接口

数据总线将在线投放的数据准实时传输到离线计算平台与实时流计算平台上，供后续处理和建模使用

离线数据处理两个主要输出目标是统计日志得到报表、Dashboard等以及利用数据挖掘、机器学习技术进行受众定向、点击率预估、分配决策规划等，为在线机器决策提供支持。主要构成模块有：用户会话日志生成、行为定向、上下文定向、点击率建模、分配规划、商业智能系统、广告管理系统
在线数据处理为满足广告系统对实时数据反馈的要求，解决离线平台无法快速响应的计算问题，主要包括几个模块：在线反作弊、计费、在线行为反馈、实时索引

在线广告在解决工业界问题过程中需要大量用到相关学科的一些基本技术和算法，涉及信息检索、机器学习、最优化及大数据工程等领域
核心技术合约广告
广告排期系统对于按CPT结算的广告位合约，媒体一般采用广告排期系统来管理和执行。广告排期系统的一般技术方案是将广告素材按照预先确定的排期直接插入媒体页面，并通过内容分发网络(Content Delivery Network, CDN)加速访问。需要注意的环节是与其他动态广告混合投放时的调度策略，对一个广告位合约与动态广告混合投放的系统来说，需要同时考虑CPT广告和方天窗广告的投放逻辑