先看分流是否发生在数据采集之前:如果实验、缓存或地域线路把访客随机送进两个页面版本,而统计工具仍按同一维度汇总,那么你看到的“问题”可能只是两组样本结构不同。识别样本污染的关键不是先怀疑算法,而是先证明同一指标在不同版本、不同入口或不同日志口径下是否具备可比性。
假设你保留旧版页面A,同时上线新版页面B,用分流规则各接一半访客。一段时间后,站内统计显示B的停留时长更高,但搜索端报告中的点击率却下降;同时服务器日志里B的抓取响应正常。三个来源给出三种印象,最容易得出的结论是“新版内容质量差”或“旧版仍有价值”。但还有另一种解释:被分到B的访客里,来自特定地区、特定设备或已登录用户的比例更高,而这些群体本来就有不同的浏览习惯。
这两种解释的区别不在结论,而在证据链:前者需要证明版本差异本身改变了行为;后者只需要证明分组构成不同,就足以让指标失去可比性。样本污染通常不是数据造假,而是分组过程把“版本”和“人群”绑在了一起。
如果同一类访客在A和B上表现不同,版本因素才成立。可核查的做法是按设备、来源渠道、新老访客、登录状态分层,再看每层内部A与B的差异是否仍然存在。若分层后差异缩小甚至反转,说明原先的总体差异主要由人群构成驱动,而不是版本本身。这一步的动作是“分层复核”,它的结果决定下一步:差异仍在,才值得继续排查页面内容、加载或交互;差异消失,就应回到分流规则和统计口径。
常见来源包括:缓存节点按地域命中不同版本;登录用户与匿名用户走了不同规则;旧链接、站内推荐和外部合作入口分别指向A或B;统计脚本在部分版本上触发条件不同。要区分这类污染,可以对比分流日志与统计事件的时间戳,看同一访客是否在会话中途被切换版本,或同一来源是否被系统性分配到某一侧。第三方估算流量、搜索引擎报告与站内统计口径不同,不能互相直接换算;它们只能用来交叉提示“哪一组样本可能不完整”,不能单独还原搜索算法或证明某个版本更受青睐。
假设某次改版后,站内统计显示新版转化率更低,但服务器日志显示新版页面返回正常,搜索端报告也没有明显异常。此时不要直接下结论。先取同一时间窗内两版的访问日志,按访客标识去重,检查是否存在同一访客先后看到两个版本的情况;再按来源渠道拆分,看新版是否承接了更多低意图入口。若发现新版流量中来自旧合作链接的比例异常高,而该链接原本就指向旧版内容,那么转化率差异更可能来自入口意图不匹配,而不是新版设计失败。
这条证据链的动作是“按访客去重后再分层”,结果是:如果污染集中在少数入口,下一步应修正分流或清理旧链接;如果污染分散且无法归因,才需要暂停实验并重建干净的对照组。
当旧内容、旧系统或旧合作关系需要退出,但其中仍有部分价值时,不要直接删除或全量切换。更稳妥的顺序是:
这些动作的结果会直接决定退出方式:如果污染只来自个别入口,清理入口即可;如果污染来自统计口径本身,则应先修正采集,再谈保留或退出。
当分层后各层内部A与B的差异方向一致、幅度接近,且分流日志显示同一访客不会跨版本重复进入统计,才可以认为样本基本可比。反过来,如果某个指标突然归零或骤降,也不能单独证明处理正确;缓存、脚本触发、日志采样或入口关闭都可能造成同样现象。此时应回到原始日志核对时间戳和访客标识,而不是用总量变化反推原因。只有在样本隔离完成、分层证据一致之后,关于旧内容是否保留、旧系统是否退出的判断才具备可复核的基础。