「札记」计算广告
《计算广告》
《当代广告学》中给出的定义：广告是由已确定的出资人通过各种媒介进行的有关产品（商品、服务和观点）的，通常是有偿的、有组织的、综合的、劝服性的非人员的信息传播活动。
在数字广告这样更加复杂的市场结构中，我们可以用一般性的术语来描述它们：需求方（ demand）和供给方（supply）。这里的需求方可以是广告主（advertiser）、代表广告主利益的代理商（agency）或其他技术形态的采买方；这里的供给方可以是媒体，也可以是其他技术形态的变现平台。另外，要特别注意的是，广告还有一个被动的参与方，即受众（audience）。请大家从现在开始就牢牢建立起这样的概念：出资人、媒体和受众这三者的利益博弈关系是广告活动永远的主线，这一主线将贯穿于商业和产品形态的整个演化过程。
广告的根本目的是广告主通过媒体达到低成本的用户接触。
要确定是否真的成本较低，需要用到投入产出比（ Return On Investment，ROI）这一评价指标，即某次广告活动的总产出与总投入的比例。
一切付费的信息、产品或服务的传播渠道，都是广告。
有效性模型把广告的信息接收过程分为选择（ selection）、解释（interpretation）与态度（attitude）三个大阶段，或者进一步分解为曝光（exposure）、关注（attention）、理解（comprehension）、接受（acceptence）、保持（retention）与决策（decision） 6个子阶段。
实际的广告实践中，曝光的有效性对最终结果的影响往往远远高于其他技术性因素，所以才会有传统广告中 “位置为王”的说法。
强曝光并不能等同于用户实际有效的关注。那么如何使得关注阶段的效率提高呢？有几个重要的原则。首先，尽量不要打断用户的任务。这一点是上下文相关的广告投送的原理基础，也是当今讨论原生广告产品的出发点之一。
广告的上下文环境对于广告的接受程度有着很大的影响，同一个品牌广告出现在某游戏社区上和门户网站首页上，用户会倾向于认为后者更具说服力，这也就是优质媒体的品牌价值。
计算广告的核心问题，是为一系列用户与环境的组合找到最合适的广告投放策略以优化整体广告活动的利润。
当用户在媒体页面的广告位上看到广告以后，如果产生兴趣，首先产生的是点击行为，广告点击与广告展现的比率称为点击率（ Click Through Rate，CTR）；点击行为成功以后，将会打开广告主的落地页（landing page），落地页成功打开次数与点击次数的比例称为到达率，这是在广告主网站上发生的；如果用户从落地页开始，进一步完成下单等操作，则称为转化，转化次数与到达次数的比例称为转化率（Conversion Rate，CVR），这是在广告主网站上或线下发生的。
CPM结算，即按照千次展示结算。这种方式是供给方与需求方约定好千次展示的计费标准，至于这些展示是否能够带来相应的收益，由需求方来估计和控制其中的风险。对于品牌广告，由于目标是较长时期内的利益，很难通过对短期数据进行分析的方式直接计算点击价值，而点击率也因为对于用户接触的核心要求变得不是唯一重要的因素。在这种情况下，由需求方根据其市场策略与预算控制流量的单价并按CPM方式结算是比较合理的交易模式。实际上，在大多数互联网品牌广告，特别是视频广告中，CPM都是主流的结算方式。
CPC 结算，即按点击结算。这种方式最早产生于搜索广告，并很快为大多数效果类广告产品所普遍采用。在这种方式结算方式下，点击率的估计是由交给供给方（或者中间市场）完成的。点击价值的估计则由需求方完成，并通过点击出价的方式向市场通知自己的估价。这样的分工对于互联网广告，特别是以效果为导向的互联网广告而言，有着清晰的合理性：供给方通过其收集的大量用户行为数据可以相对准确地估计点击率；而转化效果是广告商站内的行为，当然他们自己的数据分析体系也就能更准确地对其作出评估。因此，以CPC方式结算，在效果类广告市场中具有接近垄断的地位。
CPS（cost per sale）/CPA（cost per action）/ROI结算，即按照销售订单数、转化行为数或投入产出比来结算。这些都是按照转化付费的一些变种。这是一种比较极端的结算方式，即需求方只按照最后的转化收益来结算，从而在最大程度上规避了风险。在这种结算方式下，供给方或中间市场除了估计点击率还要对点击价值作出估计，这样才能合理地决定流量分配。这里存在两个很明显的问题。一是转化行为为用户在广告商站内的行为，并非供给方能够直接监测和控制，因此无法进行准确的估计和优化。只有那些转化流程和用户体验类似的广告商组成的广告平台按转化付费才比较可行，典型的例子就是淘宝客广告。二是实际执行中，存在广告主故意扣单以降低转化率，从而低成本赚取大量品牌曝光的可能。因此，我们认为这种方式主要适合于一些垂直广告网络（vertical ad network）。另外在DSP中，由于需要完全代表广告主利益出价和优化，因此也会出现一些跟广告主之间按照CPS计费的情形。总体而言，对于那些与广告主收益直接挂钩的需求方广告产品来说，CPS在一定条件下是可行的；但是对于普通的中间市场广告产品来说，CPS并不是一种趋势性的结算方式。而 CPA 广告在移动应用下载的场景下，由于转化流程统一在 Apple Store 或 Google Play中，且存在较完善的第三方转化监测，因而市场较为成熟。
CPT（cost per time）结算，这是针对大品牌广告主特定的广告活动，将某个广告位以独占式方式交给某广告主，并按独占的时间段收取费用的方式。严格来说，这是一种销售方式而非一种计费模式，因为价格是双方事先约定，无需计量。这种方式主要适用于一些强曝光属性，有一定定制性的广告位。在一般的展示广告中，这种方式在欧美市场市场并不经常采用，但在中国的门户网站广告中，CPT仍然是一种主流模式。CPT这样独占式的售卖虽然有一些额外的品牌效果和橱窗效应产生，但是非常不利于受众定向和程序交易的发展，因而从长期的角度来看，其比例会有下降的趋势。
（1） 合约广告产品：它由线下广告的交易形式衍生而来，又可以分为按照时段售卖的 CPT广告和按照约定展示量售卖的 CPM广告。这类广告产品主要服务于后续效果不宜直接衡量的品牌类广告主，在门户网站和视频网站较为常见。 （2）竞价广告产品：其最重要的形式是搜索广告，其产品形式为对搜索关键词的竞价。这种广告在拓展到站外展示广告流量时，演进成了对页面关键词或者用户标签竞价的产品形式，也就是 ADN。竞价广告的商业逻辑与合约广告完全不同，也是解决效果类广告需求的关键产品形式。 （3）程序化交易广告产品：竞价广告的进一步发展催生了实时竞价的交易形式。实时竞价使得需求方可以更灵活地划分和选择自己的目标受众，也使得更广泛的数据使用和交易迅速发展起来。以实时竞价为核心的一系列交易方式逐渐演变为机器之间以程序化的方式完成广告交易决策，因此，这类产品称为程序化交易广告产品。 （4）原生广告产品：广告的产品体系除了自身的演进，另一个重要课题是如何处理与非商业化内容的关系，让广告与内容尽可能以“原生”的方式共存。搜索广告和社交网络信息流广告对此作了非常有价值的探索，不过这样的原生广告在规模化和交易化方面也遇到了很多的问题。然而，随着近年来移动设备对于原生广告的强烈渴求，像标准ADN那样的原生广告平台正在快速发展中。
对于每一种广告的产品形态来说，都可能会有三个主要的组成部分：面向需求方的接口、面向供给方的接口、中间的投放系统及匹配策略。根据产品的不同，其中接口的形式可以是面向人工操作的界面，也可以是机器间通信的接口。
广告位合约是最早产生的在线广告售卖方式。它是指媒体和广告主约定在某一时间段内、在某些广告位上固定投送该广告主的广告，相应的结算方式为 CPT。这是一种典型的线下媒体广告投放模式，在互联网广告早期也很自然地被采用。这种方式的缺点非常明显，即无法做到按受众类型投放广告，因而也无法进行深入的效果优化。可以说，广告位并不是目前互联网广告的主流模式。 不过，这种方式在一些特定的场景下也有一定的好处：首先，在一些强曝光属性的广告位上采用这种独占式的广告投放，往往可以有效地给用户带来品牌冲击；而在其他一些横幅位置长期独占式的购买有利于形成“橱窗效应”，塑造不断攀升的品牌价值和转化效果；还有一点，这种销售模式由于可以向广告主提供一些额外的附加服务，比如同一个页面上的竞品互斥，使得高溢价的流量变现成为可能。
在考察某种定向方法时，主要有两个方面的性能需要关注：一是定向的效果，即符合该定向方式的流量上高出平均 eCPM 的水平；二是定向的规模，即这部分流量占整体广告库存流量的比例。当然，效果好、覆盖率又高的定向方法是我们追求的目标，不过往往难以两全。因此，广告系统有必要同时提供多种定向方法的支持，以达到整体流量上质的最优化。
重定向（ retargeting）。这是一种最简单的定制化标签，其原理是对某个广告主过去一段时间的访客投放广告以提升效果。显然，某个广告主的访客是其独有的信息，因此这属于定制化标签。重定向被公认为精准程度最高、效果最突出的定向方式，不过其人群覆盖量往往较小。这是因为，重定向的覆盖投放量是由广告主固有用户的量和与媒体的重合比例共同决定的。
新客推荐定向（ look-alike targeting ）。由于重定向的量太小，而且无法满足广告主接触潜在用户的需求，因此不能仅仅依靠它来投送广告。新客推荐定向的思路是根据广告主提供的种子访客信息，结合广告平台更丰富的数据，为广告主找到行为上相似的潜在客户。这一方法的目的是希望在同等用户覆盖比率的情况下，达到比一些通用的兴趣标签更好的效果，这也从实质上体现了广告主数据的核心价值。
在搜索广告中，排序的依据，即 eCPM，可以简单地表示成r（a，c）=µ（a，c）·bidCPC（a）。不过在实际产品中，点击率 µ 这一项会被质量度（quality score）所替代，而后者除了考虑点击率，还需要综合诸如落地页质量等其他因素，得到更全面的对广告质量的评价，其目的是为了避免广告主的恶意行为、促进市场长期发展等。
从供给方或广告市场方来看，合约广告和竞价广告的对比可以类比于计划经济和市场经济的区别。在合约广告的情况下，所有量的保证和质的优化都是由媒体方的广告投放机来统一完成，而在竞价广告的情况下，市场只负责制定竞价和收费的规则，而各广告主量的保证完全采用市场竞争的方式来完成。
RTB 的产生，使得广告市场向着透明的比价平台的方向发展，这样的平台就是广告交易平台，即ADX，其主要特征即是用RTB的方式实时得到广告候选，并按照其出价简单完成投放决策。与广告交易平台对应的采买方，我们称为需求方平台即DSP。
到现在为止，媒体至少有四种常用的广告变现选择：担保式投送的合约售卖方式、自营广告网络、托管给其他广告网络、通过 RTB变现。如何动态地选择这四种模式中变现价值最高的那种，以最大化媒体收益，这是供给方面临的市场需求。
在实时竞价产生以后，广告交易越来越多地依赖机器间在线的协商而非事先约定或人工操作完成，这样的交易方式称为程序化交易。程序化交易的核心目的是让需求方能够自由地选择流量和出价。
重定向是在线广告中最早产生，也最广泛使用的一种定制化标签。它的概念很简单，即把那些曾经对广告主服务发生明确兴趣的用户找出来，向他们投放该广告主的广告。在不同的广告类型上，重定向主要有两种目的。 （ 1）用于品牌广告。当用户已经选择过某品牌的服务或产品后，如果在比较高质量的媒体上看到该品牌的广告，他会进一步肯定自己决策的正确性，从而对该品牌的认知度也大大加强。这种用途下，应当以宣传品牌而不是具体产品为主要诉求。 （2）用于效果广告。当用户曾经考虑过某种产品，但没有完成最终转化，通过在线广告将这个用户找回，点击率和转化率都会明显高于平均水平。如果用户已经选择了该产品，那么可以利用推荐技术为他推送相关的产品广告。 重定向可以从信息来源和使用信息的精细程度上区分为网站重定向、个性化重定向和搜索重定向。
网站重定向（ site retargeting），即将在一段时间内到达过广告主网站的用户作为重定向集合。这样的重定向流量其 eCPM 一般来说要比无定向流量高出一个数量级，因此需要尽可能扩大投放量。在媒体上采买这种重定向流量时，能够得到的量有两个主要影响因素，一是广告主网站本身的独立访客量水平，二是这些访客与媒体的重合程度。前一个因素没有办法通过广告手段扩大，而后一个因素则要求尽可能多地通过各种渠道采买重定向流量，显然DSP是合适的方式。
个性化重定向（ personalized retargeting）是网站重定向的一种特例。对重定向流量进行深入加工，按照品类和购买阶段等因素进行创意上的深度个性化，就是个性化重定向。具体来说，个性化重定向可以在两个方面深入挖掘：一是对于处于不同购买阶段的用户，采用合适的创意推动他尽快完成转化行为，这里的购买阶段包括浏览、搜索、加入购物车等；二是对于已经有过一些购买记录的用户，使用推荐技术向其展示相关的商品以提升二次购买率。从这两层意义上看，这一方法与推荐有非常多的共通之处：以广告产品的视角看，我们称之为个性化重定向；而从推荐产品的视角看，则可以认为是一种站外推荐（off-site recommendation），换句话说，是将原来广告主网站上的推荐模块搬到了站外。
由广告主根据自己的第一方数据提供一部分种子用户，再由拥有更丰富数据的第二方数据的广告平台分析这些用户网络行为的特征，并根据这些特征找到具有相似特征的拓展人群。很显然，这也是一种定制化用户标签。这样的标签加工策略称为新客推荐，即 look-alike。
用户行为。业界通常认为，转化（ conversion）、预转化（pre-conversion）、搜索广告点击（sponsored search click）、展示广告点击（ad click）、搜索点击（search click）、搜索（search）、分享（share）、页面浏览（page view）、广告浏览（ad view）等在线行为是可以被广泛采集并且对于受众定向或广告决策有明确作用。按照对效果广告的有效性分类，这些行为可以分为决策行为、主动行为、半主动行为和被动行为。 决策行为主要包括转化和预转化。这些都是在广告主的网站中发生的行为，往往对应着非常明确的用户兴趣。例如在电商网站上，转化就对应着最后的下单，而预转化对应下单前的搜索、浏览、比价、加入购物车等多种准备工作。这类行为的价值是最高的，但是也是供给方或广告平台最难得到的。根据广告主端的数据进行重定向或者个性化重定向是对此类行为最直接的利用。在行为定向中，这类数据虽然量不大，但却不能忽视。 主动行为主要包括广告点击、搜索和搜索点击。这一组行为都是用户在网络上在明确意图支配下主动产生的行为，因而也有比较丰富的信息量。其中的广告点击行为一般来说量不大，并不能作为定向的主要数据来源。而搜索行为是能够大量获得的最主要的主动行为，需要特别注意挖掘利用。 半主动行为主要包括分享和网页浏览。这两类行为都是用户在目的比较弱的网上冲浪过程中产生的，因此，其所涉及的兴趣领域对把握用户信息有价值，但是非常细节的内容其精准程度有限。半主动行为的指导意义虽然有限，但是其数据量却是各种行为中最大的。 被动行为主要是指广告浏览。广告浏览严格来说不能算作定向的行为依据，但是由于其频次与相应类别的广告点击负相关，因而在行为定向的建模中也可以使用。
广告中用到的用户数据，根据其来源的不同可以分为第一方数据、第二方数据和第三方数据。一般我们说的第一方和第二方分别是指广告主和广告平台，而不直接参与广告交易的其他数据提供方统称为第三方。在广告网络中，主要使用第二方数据指导广告投放；而在实时竞价环境下，不仅第一方数据可以被利用，大量第三方数据的加工和交易也逐渐发展起来。虽然，一般情况下第一方数据的量较小，却是所有数据的灵魂。以第一方数据为基础，用好第二方数据和第三方数据，是实时竞价时代重要的方法论。
数据交易平台（ data exchange）的主要产品功能是聚合各种来源的在线的用户行为数据，加工成有价值的用户标签，然后在广告市场上通过售卖这些标签来变现。数据交易平台与数据管理平台的产品边界并不是泾渭分明。一般来说，数据交易平台除了聚合成型的用户标签，也都会提供聚合原始行为数据自行加工标签的功能，也就是兼具 DMP的产品功能。不过，数据交易平台往往是按照自己的逻辑而非媒体的需求来制定标签体系和加工数据，因此，可以认为DMP是站在第一方数据的角度提供产品，而数据交易平台主要是站在第三方数据的角度提供产品。
迄今为止，原生广告没有一个清晰的定义。实际上，从软文、搜索广告到社交网络中的信息流广告都有一些原生广告的意味，但也都只反映了原生广告的一个侧面。应该说所有将商业化内容与非商业化内容统一生产或混合排序的产品都可以认为与原生广告有关系，这样的产品方向经常被称为内容即广告（ content as ad）。
在互联网市场上主要有三种资产能够变成钱，分别是数据、流量和品牌属性。后两项是媒体的专属，而第一项既可能来自于媒体，也可能来自于第三方的数据拥有者。
媒体利用广告手段来变现，要兼顾短期收益和长期品牌价值提升的双重目的。
坚持利用高质量的广告变现有利于媒体长期保持和提升自己的品牌价值，从而在优先销售的广告上获得更高的品牌溢价。
一般的个性化系统由四个主体部分构成：用于实时响应请求，完成决策的在线投放（ online serving）引擎；离线的分布式计算（distributed computing）数据处理平台；用于在线实时反馈的流计算（stream computing）平台；连接和转运以上三部分数据流的数据高速公路（data highway）。这几部分互相配合，完成个性化系统的数据挖掘和在线决策任务。
这几部分的协作流程是：在线投放系统的日志接入数据高速公路，再由数据高速公路快速转运到离线数据处理平台和在线流计算平台；离线数据处理平台周期性地以批处理方式加工过去一段时间的数据，得到人群标签和其他模型参数，存放在高速缓存中，供在线投放系统决策时使用；与此相对应，在线流计算平台则负责处理最近一小段时间的数据，得到准实时的用户标签和其他模型参数，也存放在高速缓存中，供在线投放系统决策时使用，这些是对离线处理结果的及时补充和调整。可以看出，整个系统形成了一个闭环的决策流程，而这个闭环在搭建完成后，基本依靠机器的运算来运转，人的作用只是进行策略上的调整和控制。实践证明，这样的闭环系统是有效全量利用大数据的关键。
在展示量合约的 GD 系统中，只要各合约达成，系统的收益是确定的，因此这一系统的主要优化在于满足各合约带来的约束，而成本由于是媒体静态产生，与广告优化过程无关，可以认为是常数；ADN需要估计点击率µ（a，u，c），并与广告主出的点击单价bidCPC（a）相乘得到期望收入，而成本是与收入成正比的媒体分成；ADX 直接用广告主出的展示单价 bidCPM（a）作为期望收入，成本也是与收入成正比的媒体分成；只有在 DSP中，点击率µ（a，u，c）、点击价值 ν（a，u） 和成本 q（a，u，c） 都可能是需要预估和优化的，因此算法的挑战较大。
广告投放引擎主要有以下几个模块。（1）广告投放机（ad server）。这是接受广告前端Web服务器发来的请求，完成广告投放决策并返回最后页面片段的主逻辑。广告投放机的主要任务是与其他各个功能模块打交道，并将它们串联起来完成在线广告投放决策。一般来说，为了扩展性的考虑，我们都采用类搜索的投放机架构，即先通过倒排索引从大量的广告候选中得到少量符合条件的或相关的候选，再在这个小的候选集上应用复杂而精确的排序方法找到综合收益最高的若干个广告。对广告投放机来说，最重要的指标是每秒查询数（Query per Second，QPS）以及广告决策的延迟（latency）。 （2）广告检索（ad retrieval）。这部分的主要功能在线时根据用户标签（user attributes）与页面标签（page attributes）从广告索引（ad index）中查找符合条件的广告候选。实际上，倒排索引技术的重要性体现在所有Web规模的技术挑战上，也同样是大规模计算广告系统的基础。广告检索得到的候选将被送入广告排序模块。 （3）广告排序（ad ranking）。这部分是在线高效地计算广告的 eCPM，并进行排序的模块。eCPM 的计算主要依赖于点击率估计，这需要用到离线计算得到的 CTR模型和特征（CTR Model&Features），有时还会用到流计算得到的实时点击率特征（real-time features）。在需要估计点击价值的广告产品（如按效果结算的DSP）中，还需要一个点击价值估计的模型。 （4）收益管理（yield management）。我们用这部分来统一代表在各种广告系统中将局部广告排序的结果进一步调整，以全局收益最优为目的做调整的功能，如GD系统中的在线分配、DSP 中的出价策略等。这部分一般都需要用到离线计算好的某种分配计划来完成在线时的决策。 （5）广告请求接口。实际系统中，根据前端接口形式的不同，广告请求可能来自于基于HTTP的 Web服务器，也可能来自于移动 App内的 SDK，或者其他类型的 API接口。不论哪种接口，只要能够提供用户唯一的身份标识ID以及其他一些上下文信息，从逻辑上讲与标准的HTTP请求就没有本质区别，因此我们都用Web服务器来表示。 程序化交易市场中的广告请求接口与上面有所不同，它包括作为需求方时使用的RTBS以及作为供给方时使用的 RTBD。这一接口可以采用 IAB建议的 OpenRTB协议或者其他主要ADX规定的接口形式。 （6）定制化用户划分（customized audience segmentation）。由于广告是媒体替广告主完成用户接触，那么有时需要根据广告主的逻辑来划分用户群，这部分也是具有鲜明广告特色的模块。这个部分指的是从广告主处收集用户信息的产品接口，而收集到的数据如果需要较复杂的加工，也将经过数据高速公路导入受众定向模块来完成。
