总活跃人数增长,可能只是不断买来新用户。要看产品是否留下人,需要按首次进入时间分组。
本文使用移动产品的假设案例与手工经营模型。这里讨论产品验证方法,不叙述未经记录的创业成绩。用户、订单和费用均为演算变量;商业假设需要访谈、行为数据与真实交易分别支持。
1. 从现象推到机制
同批用户留存的分母固定在该批首次使用者,分子是约定窗口再次完成关键行为的人。启动应用和完成核心任务不是同一个事件;不同渠道的人群也不能不加区分混在一起比较。
图中的四个节点分别表示首次使用、核心事件、时间窗口、留存比例。顺着实线检查输入如何变成输出,再沿虚线核对反馈条件。图示表达的是本文讨论的关系,不是实测曲线或现场截图。
2. 最小实现与输入条件
先定义核心行为和时间窗口,再做按周分组的小表。样本少时同时展示人数,不只给百分比,避免一个人的变化看上去像巨大改善。
1
2
3
4
cohort_size = 40
returned = 10
retention = returned / float(cohort_size)
# 仅为演算:10 / 40 = 25%
先把计算过程放入一张普通表格,保留原始分母、时间范围和渠道。改变一个变量观察结果,再用实际采样替换假设值;没有观测数据的地方应保持待验证。
3. 用对照区分原因
下表列出需要主动改变的条件。预期行为来自机制分析,复现时还需记录运行环境和原始输出,不能将预期当作已经测得的结果。
| 改变的条件 | 需要验证的行为 |
|---|---|
| 新增投放使总活跃上升 | 旧批次留存可能完全没变 |
| 把启动改为完成任务 | 留存口径会发生变化 |
| 一人重复操作多次 | 人数留存只计一次 |
对照 1:新增投放使总活跃上升
旧批次留存可能完全没变。观察时记录按首次进入周拆分的数据。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。
对照 2:把启动改为完成任务
留存口径会发生变化。观察时记录事件定义与去重规则。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。
对照 3:一人重复操作多次
人数留存只计一次。观察时记录用户身份与事件数量。把这个条件与基准情形分开,有助于判断变化来自哪一层;若得到相反结果,应先核对前提,再修改实现。
4. 适用条件与取舍
留存周期要适应任务频率。低频服务不能机械套用每日使用目标,应结合自然复购间隔判断是否产生持续价值。
一次正常运行只覆盖了这组输入。继续扩展前,应把上面的异常对照保留下来,尤其关注“一人重复操作多次”这一分支。后续方案若改变了图中任意一处依赖,原来的判断就要重新验证,不能仅凭界面相似或返回值相同沿用结论。