XX易购广告数据平台需求说明书V0.1
[
]
XX易购 版权所有
目录
1 关于本文档... 5
1.1 内容说明... 5
1.2 目标... 5
1.3 适用范围... 5
1.4 术语... 5
2 广告数据平台概述... 5
3 数据指标的定义... 6
3.1 数据指标的分类... 6
3.2 数据指标的数据层级... 7
3.3 数据指标的时间维度... 7
3.4 客户/广告主的指标... 7
3.5 推广账户的指标... 7
3.6 推广计划的指标... 7
3.7 搜索广告关键词的指标... 7
3.8 广告位流量、广告展示和点击的指标... 7
3.9 广告定向和受众的指标... 7
3.10 广告效果的指标... 7
3.11 产品功能运营的指标... 7
4 数据采集... 7
4.1 概述... 7
4.2 7
5 数据平台架构规划... 8
5.1 架构概述... 8
5.2 8
5.3 其它需求说明... 8
6 数据平台产品设计... 8
6.1 运营报表... 8
6.1.1 概述... 8
6.1.2 关键指标... 8
6.1.3 图表... 8
6.2 商家报表... 8
7 数据平台产品版本规划... 9
1 关于本文档
1.1 内容说明
本文档规划和细化广告数据平台的产品需求。
广告数据平台是管理和应用广告相关数据的系统平台。
1.2 目标
作为指导设计和开发广告数据平台的依据。
1.3 适用范围
本文档使用跟广告平台相关的人员，包括：产品经理，架构师，开发人员，测试人员。
对于其他关联项目人员如需查阅此文档，则应通过管理层的批准。由于本文档包含业务的详细定义，业务处理逻辑等内容，因此禁止将文档发送给与业务无关的人员。
1.4 术语
2 广告数据平台概述
广告数据平台整合了广告营销平台的广告客户和销售数据、广告投放平台的广告投放和点击数据、易购网站的流量和跟踪数据、站外媒体流量和跟踪数据等数据来源，建立统一的广告数据仓库，用以提供运营数据支撑、商家数据工具等产品形式提供广告数据服务。
文档包括数据采集、各项数据指标定义、图表类产品定义等产品需求，以及广告数据平台产品化的规划。
以下分别从数据指标的定义、原始数据采集、数据平台架构设计、数据平台产品化规划等几个方面来说明。
2.1 广告平台的数据场景
搜索广告数据流场景：
3 数据指标的定义
3.1 数据指标的分类
客户/广告主:
跟客户/广告主相关的数据指标，用以表征客户参与度、活跃度以及一些CRM相关指标。
账户:
推广账户的充值、消费等指标。
推广计划：
推广计划的创建、推广等指标。
关键词：
关键词搜索广告相关的数据指标，用以表征关键词的竞价水平、竞争度、收入能力等。
流量、展示和点击：
不同媒体资源位的广告投放、展示、点击等指标。
广告定向和受众：
广告投放定向、受众分析、创意分析等指标。
广告效果：
广告主通过广告营销平台购买投放的广告一般都是效果广告（direct response），衡量广告的效果相关指标，包括：收藏、购买等转化数据，用以衡量广告投入产出比ROI。
产品功能：
用以衡量广告营销平台相关产品功能的使用情况，功能改进对广告平台其他数据指标的影响情况等。
3.2 数据指标的数据层级
广告主进行广告营销活动。
数据层级包括：
所有广告
所有在广告营销平台售卖的广告产品。
广告产品级
广告营销平台将广告资源打包成不同的产品进行售卖，目前包括：生意通、大聚惠、聚客宝等。
广告主层级
按照广告主来划分广告数据，按广告主来统计数据指标。
广告账户层级
一个广告主（代理）可能管理多个不同的广告账户。
推广计划层级
按照推广计划来划分广告数据，按推广计划来统计数据指标。
推广单元层级
按照推广单元来划分广告数据，按照广告单元来统计数据指标。
创意层级
按照创意来划分广告数据，按照创意来统计数据指标。
3.3 数据指标的时间维度
数据指标的时间维度，依据对数据的使用来划分界定，并充分考虑可扩展性。
数据指标的时间维度包括：
按5分钟（准实时）*
按小时/按时段
按天
按周
按月
按指定时间段*
3.4 客户/广告主的指标
1. 总客户数：
营销平台上客户的合计。
2. 有交易客户数：
在营销平台上进行过广告推广的客户数。
3. 近1个月活跃客户数：
最近1个月内进行过广告推广的客户数。
4. 睡眠客户数：
超过3个月没有进行过广告推广的客户数。
5. 客户活跃率：
当日产生消耗客户数/库内客户数。
6. 客均消耗额>=80的比例：
(客均消耗额>=80客户数/当日产生消耗客户数)*100
7. 待充值客户数 ：
没有充值且账户余额剩余可用天数<=30的客户数
3.5 推广账户的指标
1. 现金帐户消耗:
在指定的时期内，客户现金账户的消耗
2. 累积财务消耗：
在指定的时点，客户广告帐户累计财务消耗金额（现金账户消耗+红包账户消耗）
3. 财务消耗:
在有效消耗的基础上，去除超过客户日消耗上限后产生的点击扣费
4. 有效消耗:
在指定的时期内，客户在广告广告上的有效点击消耗金额
5. 预算利用率
预算利用率=消费/预算，针对设置预算的客户，该值可以是计划级别，也可以是账户级别的。
6. 帐户余额：
在指定的时点，客户推广账户余额，包括现金账户和红包账户
7. 现金余额/现金帐户余额：
在指定的时点，客户现金账户中的余额
8. 有消耗的天数/有现金消耗的天数：
从客户首次现金到帐开始到某一时间，现金财务消耗大于0的天数
9. 有消耗关键词数/产生消耗的关键词数：
在指定时期内，客户所有关键词中有过点击消耗的词的数量
10.有消耗的产品数/产生消耗的产品数：
在指定时期内，客户由于推广广告被点击而产生消耗的产品数量
11.第一次消耗时间/第一次有消耗的日期：
客户广告账户第一次有消耗(=红包+现金消耗)的日期，格式为"yyyy-mm-dd"
12.第一次现金消耗时间/第一次有现金消耗的日期：
客户广告账户第一次有现金消耗的日期，格式为"yyyy-mm-dd"
13.第一次充值时间/第一次现金充值日期：
客户第一次向广告账户充入现金的日期，格式为"yyyy-mm-dd"
14.上线天数：
从现金到帐那天开始累计客户广告帐户上线的天数
15.累积现金充值次数：
在指定的时期内，客户在广告账户累计的充入现金的次数
3.6 关键词的指标
下面是关于搜索广告的场景和数据采集。
1) 一个用户（User）因为达到某个目的会进行若干次搜索，用户根据搜索结果尝试不同关键词进行搜索的这段时间称之为“查询会话”（Query Session）；
2) 用户在使用一个关键词查询后，搜索系统会根据这个关键词检索相关的商品（search results），广告检索系统会根据该查询关键词（query word）匹配相关的竞价关键词（bid phrase）并返回相关的广告结果（ads）；
3) 用户可能会点击搜索的结果，也可能点击展示的广告（clicks）。
需要统计的数据：
用户一个会话期内发生的若干次查询；
用户对广告的点击（User-click）
查询词匹配的竞价广告（query-bid phrase-ad）
查询词检索出来的广告的点击（query-ad-click）
查询词跟广告的相似度（query-ad）
目前基于用户端的数据还无法获取，根据用户标识在BI中应该可以获取到整个用户的搜索会话期间的浏览和点击数据流。
1. 搜索热度：
搜索热度反应在过去7天内，关键词被用户搜索次数的多少。 分为6档，各档阈值分别为5.42、1.42、0.85、0.42、0.28、<0.28。
数据采集来源：
搜索系统或者广告系统也可以基于搜索页面传递来的关键词进行统计分析。
2. 竞争度 ：
指针对某关键词参与竞价的客户数多少，定期清理不展示关键词。竞争度划档标准如下：6格（>=15） ，5个格（7-14 ），4个格（3-6 ），3个格（2），2个格（1），1个格（0）。
3. 系统推荐关键词：
指推荐引擎根据被选的产品标题，类目ID，产品描述依据相关度规则推荐的词。
4. 系统推荐相关词：
指依据用户自行输入词所关联出来的词。
5. 实惠词 ：
指满足搜索量超过一定下限档位，且竞争人数低于一定上限档位的关键词。
6. 长尾词：
搜索次数
7. 热门词：
指满足搜索量超过一定下限档位的关键词。具体分档规则尚在制定。
8. 最高价格/推广产品的词最高出价：
客户当前推广产品的出价关键词中的最高出价
9. 关键词最低价格/推广产品的词的最低出价：
客户当前推广产品的出价关键词的最低出价
10.有效关键词数：
在指定时点，客户过MLR的推广信息对应的去重词数
11.购买关键词数：
在指定时点，客户有效推广产品对应出价的去重关键词数量
3.7 广告位流量、广告展示、点击和收入的指标
如下图是搜索结果页和类表页面的“云台热卖”产品。
1) 云台热卖在搜索结果页和列表页有13个广告展示位置。
2) 因为广告主竞拍的搜索关键词不同，有些关键词或类目不会有“云台热卖”的推广商品展示，有些关键词或类目的“云台热卖”13个广告展示位置也不一定完全都填满推广商品；
3) 所以13个不同的广告展示位置的出现推广商品的次数不尽相同，13个广告位置上推广商品的点击次数也不会相同，13个广告位置上推广商品的点击率也不会相同。
1. 页面PV：
page view，可以展示广告的页面PV。区分页面PV和关键词搜索量的关系。
2. 广告PV Adpv/EPV：
advertisement page view，有广告产品展现的页面PV。
3. 广告曝光量/展示量 AdShow：
表示一共的广告展现量，比如一个页面中有多个广告展现，就算是多次AdShow
4. 原始点击：
未经过过滤系统得到的点击
5. 有效点击：
经过过滤系统得到的点击
6. 财务点击：
经过结算系统校正后的点击
7. 无效点击：
无效点击是与正常点击相对而言的，指经系统确认的、不会为带来有效访问的点击。无效点击包括以下类别：1.以消耗其他客户的推广费用为目的的，由人工或作 弊软件产生的点击2.其他公司抓取百度网页等产生的机器点击，尽管这类机器点击没有作弊企图，属于无意点击，百度也会将之过滤3.人工点击中，由于人为原 因或浏览器原因导致的连续多次点击，例如，双击推广结果、浏览器自动多次刷新推广网页产生的点击，系统会自动将第一次以后的点击过滤
8. 点击率CTR1
页面点击率，pageCTR = 财务点击clicks/pv ---用于衡量整体流量的点击获取能力，Coverage，ASN等策略主要利用该指标来衡量
9. 点击率CTR2 =
广告页面点击率，财务点击clicks / EPV ，用于衡量排序调整后变化的CTR，排序调整策略主要利用该指标来衡量
10.点击率CTR3
广告展示点击率， AdCTR 或 showCTR = 财务点击clicks / AdShows，用于衡量各广告位信息质量变化的CTR，推广质量策略主要利用该指标来衡量
11.广告覆盖度 Coverage：
=AdPV/PV
12.广告平均曝光结果数 ASN (Average Show Number):
= Show / Adpv, 用于衡量客户购买的深度
13.CPM1/RPM1：
cost/revenue per million = Charge/PV*1000, 千次检索收益，用于衡量整个系统的变现能力，为搜索付费广告系统的基础。
14.CPM2/RPM2:
cost/revenue per million = Charge/AdPV*1000, 千次有广告产品曝光检索量收益，用于衡量已经利用流量的变现能力。
15.CPM3/RPM3:
cost/revenue per million = Charge/Show*1000,千次曝光收益，用于衡量不同广告位的变现能力
以下是对广告位置的指标：
16.指定广告位置的广告展示次数PosShowNum：
表示在指定页面的指定广告位置上广告展示的次数。
指定页面指：具体的网站页面，比如xxx关键词的搜索结果页，xxx类目的列表页，xxx频道页，xxx首页等。
17.指定广告位置的广告用户有效点击次数PosUserClick：
表示在指定页面的指定广告位置上用户点击广告的次数，不是财务点击。
18.指定广告位置的广告用户有效点击率PosUserCTR：
标志在指定页面的指定广告位置上用户点击广告的次数/指定广告位置的广告展示次数。
用途：用于给定关键词在具体位置上的广告点击率预测。因为不同位置上用户点击会有自然的规律的衰减和变化。
3.8 广告定向和受众的指标
用于表征广告上下文(Context)和广告受众(audience)的相关数据
流量来源：站内、站外
受众-设备 ：访问设备（pc、手机、平板电脑）、访问应用（浏览器、移动应用）、操作系统
受众-内容：广告内容分类
受众-人群：根据用户关注和兴趣划分人群
受众-地域：国家、省份、城市
按时段分布：
0000-0100
0100-0200
0200-0300
0300-0400
0500-0600
0600-0700
…
2300-2400
3.9 广告效果的指标
1. ROI = (收入-投入)/投入*100
ROI投资回报率是指利润与推广费用的比值，具体的计算方式需视您的推广目标而定。收藏数、加入购物车、注册会员等动作总可以用等价货币金额来表示。
根据花费与成交金额计算投资回报率
花费：花费实际上代表的就是你的投资费用
成交金额：成交金额是您销售宝贝后的收入
利润=成交金额-成本
投资回报率=利润/投资费用*100%
2. 直接成交金额：
推广商品在CPC广告展示位被点击后，买家在15天有效时间内，直接在该推广商品的详情页面拍下并通过支付宝交易的成交金额(含运费)。
3. 直接成交笔数：
推广商品在CPC广告展示位被点击后，买家在15天有效时间内，直接在该推广商品的详情页面拍下并通过支付宝交易的成交笔数。
4. 间接成交金额：
推广商品在CPC广告展示位被点击后，买家在15天有效时间内，通过该推广商品的详情页面跳转至店铺内其他宝贝的详情页面拍下并通过支付宝交易的成交金额(含运费)。
5. 间接成交笔数：
推广商品在CPC广告展示位被点击后，买家在15天有效时间内，通过该推广商品的详情页面跳转至店铺内其他宝贝的详情页面拍下并通过支付宝交易的成交笔数。
6. 收藏宝贝数：
推广商品在CPC广告展示位被点击后，买家在15天有效时间内，收藏该推广商品的次数。
7. 收藏店铺数：
推广商品在CPC广告展示位被点击后，买家在15天的有效时间内，通过该推广商品收藏店铺的次数。
8. 总成交金额：
总成交金额=直接成交金额+间接成交金额，即推广商品在CPC广告展示位被点击后，买家在15天有效时间内，所有通过支付宝交易的成交金额（含运费）。
9. 总成交笔数：
总成交笔数=直接成交笔数+间接成交笔数，即推广商品在CPC广告展示位被点击后，买家在15天有效时间内，所有通过支付宝交易的成交笔数。
10.总收藏数：
总收藏数=收藏宝贝数+收藏店铺数，即推广商品在CPC广告展示位被点击后，买家在15天有效时间内，所有发生收藏的次数。
11.投入产出比：
投入产出比=总成交金额/花费，反应CPC广告点击花费在15天内带来支付宝成交金额的比例。
12.点击转化率：
点击转化率=总成交笔数/点击量，反应CPC广告点击在15天内转化支付宝成交的比例。
13.点击转化率和收藏量
一般来说，买家点击后对您的推广进行了购买、收藏等行为称为转化，点击转化率以及收藏量是衡量您推广效果的重要指标。
14.日均可投入金额：
日均可投入金额 = 单笔利润*日均成交笔数
计算出日均可投入金额以后与您现在的推广费用做比较，只要推广费用不高于这个数值，CPC广告至少不会处于亏损。
15.计算流量价值
流量价值是指一个流量（CPC广告点击）给您带来的利润值。
流量价值=单笔利润*转化率
计算出流量价值后，您可以与点击单价做比较，只要点击单价不超过您计算的流量价值，不论点击数量多少，CPC广告至少不会处于亏损。
16.具体到每个广告位的点击数。
3.10 推广计划的指标
按照推广计划为维度的相关指标数据汇总
3.11 产品功能运营的指标
产品功能运营的指标，是指一些产品功能上线后对上述数据指标的影响，用以衡量产品功能的运营水平。
关键词模板上线后的使用情况：
质量得分上线后的前后比较：
Solr一期上线后的前后比较：
4 数据采集
4.1 概述
描述需要从哪些平台和系统收集数据，通过何种方式，数据时效性等。
从广告销售系统、广告引擎系统、BI系统获取所需要的数据。
定义跟外部系统数据交换格式和交换方式。
4.2 广告主数据和账户数据
从广告营销平台中收集相关数据。
4.3 展示和点击的原始数据
投放的最基本单元：某个时刻一个具体广告位的一次展示和一次点击
展示日志：
{时间,请求服务器ID,广告位ID,广告位置ID,推广计划ID,推广单元ID,创意ID,受众sessionID}
点击日志：
{时间,广告位ID,广告位置ID,推广计划ID,推广单元ID,创意ID,受众sessionID,跳转URL,是否作弊,是否有效}
基础数据：
广告产品：生意通、大聚惠、首页等
广告主-账户：
CPC-推广计划：
CPC-推广单元：
CPC-推广关键词：
CPC-推广商品/推广商品类目：
广告位：
广告位-位置（不同排名位置的点击率，左侧第1、2、3、4、5、6、7、8，底部第9,10,11,12,13）：
广告位-素材：
4.4 广告相关SA埋码
展示广告位需要埋SA的代码
4.4.1 SA记录广告跳转的入口URL
4.4.2 收集广告AdPV的SA埋码
4.5 广告效果数据采集
从BI中获取广告相关的订单数据、收藏数据、销售额等数据。
5 数据平台数据模型设计
6 数据平台架构设计
6.1 架构概述
包括底层数据仓库建设、数据报表引擎、展示模块以及权限控制等。
广告主在广告营销平台竞价或购买广告；
用户浏览XX站内页面时，页面布置了广告代码，请求广告投放引擎系统，广告引擎系统推送相关广告内容在页面呈现；
用户点击广告后进入单品页面或店铺页面，用户在单品页面可能收藏或购买广告单品，用户在店铺浏览其他商品，也可能收藏或购买店铺其他商品；
6.2 技术选型
6.3 其它需求说明
N/A
7 数据平台产品设计
N/A。
7.1 运营报表
7.1.1 概述
7.1.2 关键指标
7.1.3 图表
7.2 商家报表
N/A
7.3 行业数据分析
7.4 广告CTR预测
7.5 广告定向分析
8 数据平台产品版本规划
版本1：
数据采集和埋点
版本2：
商家产品
运营产品
版本3：
运营产品
商家产品
版本4：