APP功能迭代试验

试验场景

小恩爱APP即将上线“任务奖励”的新功能,这个功能的主要目的是通过奖励的方式,激励用户使用产品和相应功能,进一步促进用户活跃度。为了降低该功能上线时可能因bug造成的用户体验风险,产品部门决定通过灰度发布的方式,逐步调整新功能上线流量。

试验方案

试验方案如下: 原始版本:没有“任务奖励”功能的版本。

试验案例

试验版本1:有“任务奖励”功能的版本。

试验案例

试验目标

创建试验

试验创建分为两个部分,一部分是在代码中的集成部署,另一部分在ABT测试平台上的集成,这里先说代码集成步骤:

1.集成SDK:参考使用帮助文档—Android SDK,按照文档说明集成SDK并进行初始化。

2.集成变量:设定一个试验变量并命名“task_toggle”,并赋予原始版本变量值为“ture”,试验版本变量值“false”,在用户进入有新功能的页面时,通过Get_flags获取变量值,由此来决定用户看到哪个版本。代码逻辑示意如下:

if (AdhocTracker.getFlag("task_toggole", false)) {

//跳转至新功能页面

} else {

//跳转至没有新功能页面

}

3.集成指标:根据试验目标设置要监测的优化指标,比如某个点击事件buttonClick,数据上报原理是将指标buttonClick传入函数track实现上报指标,代码示意:

AdhocTracker.track("clickTimes", 1)

其他业务指标(如留存,路径转化率)的集成方法也是同样的原理。但是有些技术指标例如APP崩溃次数,后台服务器压力等用户也可以自行监测,不必在AB测试平台上报。</p >

代码部分的集成部署完毕,需要记下代码中的变量名称、对应版本的变量值和优化指标名称,在操作台上做同步集成,三者的命名和代码保持一致。

代码集成

  • 将sdk代码加入各个要对比的链接的源代码中;

  • 创建过程中,界面下方会有一键复制功能,把这些代码发给前端让他们更新到对应链接的代码中;

试验案例

  • 之后将链接填到引导界面,点击下一步即可

指标上报

  • 追踪元素点击; 一般的点击行为可以通过这个方式来追踪到;点击跟踪元素点击后,可以在可视化模式进入不同链接;需要在2个链接里分别追踪下CTA按钮;根据引导提示操作即可;多个界面的指标名称应当保持一致;

试验案例

试验案例

  • 编程指标; 有时想要统计的数据不是单纯的点击事件,而是“支付成功”这类需要逻辑判断的事件,您需要通过代码来定义事件并上报。选择添加编程指标,为指标命名,之在代码中触发事件的地方集成代码,其中"event_name"需要替换为您的优化指标名称: adhoc('track', 'event_name', 1) 有关编程指标的集成详情参考集成说明

集成调试

确认试验版本和优化指标内容无误,点击完成创建,将会跳转到集成调试界面。在此界面中,点击预览版本,可以直接在浏览器中预览页面的真实效果,此链接转发有效。操作后,也会获取到对应的指标数据,可以在此界面中预览。调试数据不会影响到真实试验数据。

试验案例

试验案例

开始试验

点击完成调试,将会跳转到运行控制界面。在此界面中您可以调整试验流量、运行或结束试验。

请为此次试验分配流量,访问到链接的用户将会按照您设定的百分比看到所展现的页面。未参与到试验中的用户将会看到原始页面,并且不会上报数据。 即使是试验开始运行后,也可以调整流量,所做的调整将会及时生效。 请注意100%的流量不代表所有用户都会参与试验,以及在同一层中,某试验占用的流量不能再被分配到其他试验中。 有关流量的详细说明请参考流量分配

试验案例

results matching ""

    No results matching ""