移动互联网创业笔记:留存要按同批用户比较

总活跃人数增长,可能只是不断买来新用户。

edyang · 2013-11-25

总活跃人数增长,可能只是不断买来新用户。要看产品是否留下人,需要按首次进入时间分组。

本文使用移动产品的假设案例与手工经营模型。这里讨论产品验证方法,不叙述未经记录的创业成绩。用户、订单和费用均为演算变量;商业假设需要访谈、行为数据与真实交易分别支持。

1. 从现象推到机制

同批用户留存的分母固定在该批首次使用者,分子是约定窗口再次完成关键行为的人。启动应用和完成核心任务不是同一个事件;不同渠道的人群也不能不加区分混在一起比较。

移动互联网创业笔记:留存要按同批用户比较的处理、反馈与观察关系

图中的四个节点分别表示首次使用、核心事件、时间窗口、留存比例。顺着实线检查输入如何变成输出,再沿虚线核对反馈条件。图示表达的是本文讨论的关系,不是实测曲线或现场截图。

2. 最小实现与输入条件

先定义核心行为和时间窗口,再做按周分组的小表。样本少时同时展示人数,不只给百分比,避免一个人的变化看上去像巨大改善。

1
2
3
4
cohort_size = 40
returned = 10
retention = returned / float(cohort_size)
# 仅为演算:10 / 40 = 25%

先把计算过程放入一张普通表格,保留原始分母、时间范围和渠道。改变一个变量观察结果,再用实际采样替换假设值;没有观测数据的地方应保持待验证。

3. 用对照区分原因

下表列出需要主动改变的条件。预期行为来自机制分析,复现时还需记录运行环境和原始输出,不能将预期当作已经测得的结果。

改变的条件 需要验证的行为
新增投放使总活跃上升 旧批次留存可能完全没变
把启动改为完成任务 留存口径会发生变化
一人重复操作多次 人数留存只计一次

对照 1:新增投放使总活跃上升

旧批次留存可能完全没变。观察时记录按首次进入周拆分的数据。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。

对照 2:把启动改为完成任务

留存口径会发生变化。观察时记录事件定义与去重规则。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。

对照 3:一人重复操作多次

人数留存只计一次。观察时记录用户身份与事件数量。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。

4. 适用条件与取舍

留存周期要适应任务频率。低频服务不能机械套用每日使用目标,应结合自然复购间隔判断是否产生持续价值。

一次正常运行只覆盖了这组输入。继续扩展前,应把上面的异常对照保留下来,尤其关注“一人重复操作多次”这一分支。后续方案若改变了图中任意一处依赖,原来的判断就要重新验证,不能仅凭界面相似或返回值相同沿用结论。

同月延伸

参考资料

  1. Eric Ries:精益创业方法
  2. Steve Blank:客户开发