A/B平台常用名词解释

样本总量

试验周期内,按照ClientID去重规则,统计进入试验的样本之和。特别注意:A/B测试平 台中的样本总量不等同于其他⽤户⾏为分析平台所定义的样本总量。举例说明,⼀个⽤户访问到 了⽬标⻚⾯,在⽤户⾏为分析平台会⽤UV和PV来表示独⽴访客和曝光量,并进⾏计数;⽽A/B 平台需要先判断该⽤户(样本)是否已经参与到了试验(即是否已经分配了版本),如果⽬标⻚ ⾯不含试验⻚⾯,即⽤户未参与任何试验(未进⼊任何版本),则不算做⼀个样本,因为本次⻚ ⾯访问⾏为不影响A/B试验,因此不计数。

指标转化数

按照ClientID排重所统计的触发指标事件的指标总数

指标转化率

即指标转化数/样本总量。

指标总值

相应指标上报的总次数。

指标均值

即指标总值/样本总量。

复合指标

将指定的两个基础指标按照⼀定的运算规则(加、减、乘、除)⽽形成的新指标即复合指标,复 合指标参与离线计算,因此数据⽣成时间为T+1。形如:c=a-b,其中c为复合指标,a与b为基 础指标。

置信度

表示试验结果的可信程度,AB试验中通常采⽤95%的置信度作为试验标准。越⾼的置信度得出 来的结论所耗时间越⻓,流量要求也越⾼。

流量⾛势

所选⽇期内,根据天/时两种不同时间粒度,展示进⼊到各个版本的样本数(时间粒度不同,样 本的去重规则也不同)。

数据留存

数据留存体现的是,试验开始后,每天新增样本数近七天的留存表现。A/B试验的留存算法与 ⽤户⾏为分析平台的算法并不⼀致,是采⽤A/B测试专⽤的计算算法,因为这⾥体现的是参与试 验的样本⽽⾮⼈的概念,因此不要混淆。A/B平台的留存模块适⽤于移动端试验和⼩程序试验, 因此会存在样本上报不及时,超过上报时间期限的样本不再参与留存计算的情况,请留意。

results matching ""

    No results matching ""