A5SEO诊断：访客被分配到不同版本时怎样识别样本污染，矛盾现象：两个版本数据都有差异，但差异来源说不清
📱 Mozilla/5.0 (compatible; QlyzeBot/1.0; +https://app.qlyze.io/bot)
🔗 /6cc60c9419f9.html
📄
A5SEO诊断：访客被分配到不同版本时怎样识别样本污染，矛盾现象：两个版本数据都有差异，但差异来源说不清
先给结论：不要因为某个版本的转化率或停留时间更好就立刻相信它，也不要因为两组数字接近就宣布实验有效。识别样本污染的关键，是证明“谁看到哪个版本”这件事本身是否独立于访客特征和流量来源；如果分配机制、触发条件和统计口径无法还原，任何版本差异都可能是被污染的结果，而不是版本造成的。
矛盾现象：两个版本数据都有差异，但差异来源说不清
假设一个页面同时存在旧版和新版，分流由前端脚本或边缘规则完成。诊断时常见两种相反的解释：
- 解释一：差异来自版本本身。新版文案、布局或加载路径改变了行为，所以指标不同。成立条件是分配随机、触发一致、统计口径相同，且没有其他同期改动混入。
- 解释二：差异来自样本污染。某些访客被重复计入、被错误分到另一组，或只有特定来源的人才能进入某个版本。此时版本差异只是分组差异的投影。
这两种解释在报表上可能长得一样，所以不能靠“哪组数字更好看”来选。需要找能区分它们的证据。
先确认分配单元，而不是先看汇总指标
样本污染最常见的来源，是分配单元和统计单元不一致。比如按会话分流，却按用户去重统计；或者按设备分流，却用账号维度看转化。此时同一个访客可能在不同时间进入不同版本，后续行为被归到错误的一组。
实际动作：从分流日志或实验平台导出“访客标识—版本—首次进入时间”的映射，抽一段窗口核对是否存在同一标识对应多个版本。如果存在，下一步不是继续比较转化率，而是先确定以哪个单元为准，并检查该单元是否在首次进入前就已确定。
这个动作的结果会直接影响下一步：若映射不唯一，当前实验的版本对比不可用，应先修正分配或重新定义统计单元；若映射唯一，才进入触发条件和流量来源的核对。
核对触发条件是否把不同人群送进了不同版本
分流规则里常带有条件，例如仅对登录用户生效、仅对某个地区生效、或依赖某个脚本加载成功。条件是合理的，但如果条件本身与版本相关，就会产生污染。
可区分的原因证据包括：
- 检查进入各版本的访客在来源渠道、设备类型、登录状态上的分布是否明显不同。若差异集中在某个条件上，优先怀疑触发条件而非版本效果。
- 查看是否存在“先进入旧版、满足条件后跳新版”的路径。这种路径会让同一访客的早期行为留在旧版，后期行为留在新版。
- 确认统计工具是否按页面加载、按钮点击或后端事件分别计数。不同口径下，同一批访客可能被拆成不同样本。
如果证据指向触发条件，处理方式是让条件在分配前完成判断，或把不满足条件的访客整体排除在对比之外。若证据不指向条件，再检查数据管道是否重复写入。
用一条可核查的证据链代替单指标判断
第三方估算流量、搜索引擎报告与站内统计口径不同，不能互相替代。诊断样本污染时，应建立一条从分配到行为的证据链，而不是只看一个转化率。
假设示例：某次分流按会话进行，统计按用户去重。导出后发现同一用户标识在两天内分别进入两个版本。此时可以推断，用户级转化率被两个版本的会话共同影响，不能直接归因于任一版本。这是一个假设说明，用于展示核对方法，不代表真实项目结果。
动作与结果：先固定一个观察窗口，再导出分配映射和事件日志，按访客标识合并。若合并后每组访客互斥，样本可用于对比；若存在交叉，先修正分配或改用会话级指标，再决定是否继续分析。修正后的口径会改变后续所有结论，因此这一步应在看转化差异之前完成。
取舍：修正后重跑，还是放弃当前对比
两种做法都成立，取决于污染范围和可用证据。
- 选择修正后重跑：适用于分配逻辑本身可调整、污染集中在触发条件或统计口径、且能重新获得足够样本的场景。代价是需要等待新的观察窗口，旧数据只能作为排查线索。
- 选择放弃当前对比：适用于分配映射无法还原、日志缺失、或污染与版本差异无法分离的场景。代价是失去本次对比结论，但避免了把分组差异当成版本效果。
判断依据不是污染比例的大小，而是能否证明剩余样本的分配独立于访客特征。若不能证明，继续分析只会增加误判风险。修正分配后，下一步应重新确认映射唯一性和触发条件一致性，再进入指标比较。
