构造反证问题的核心,是找到那个“如果假设为真就必然出现、如果为假就不该出现”的可观察结果,然后去检查它是否真的出现。对百度关键词分析而言,最实用的反证不是再找一个支持假设的证据,而是主动去找一个假设解释不了的现象:如果“流量下滑是因为核心词排名下降”成立,那么这些词的展现量、点击率、落地页停留时长应当有同向变化;如果只有总流量跌、词级指标没动,这个假设就站不住,下一步该转向渠道结构或统计口径,而不是继续优化那几个词。
同一个业务异常,往往能同时被三四种说法解释,比如“词选错了”“页面承接不行”“竞品抢了位置”“统计口径变了”。这几层假设需要的反证完全不同,混在一起问就会得到一堆互相不矛盾、也互相不证伪的结论。
先确定假设在哪一层,反证问题才有落点。跨层提问(比如用全站流量去验证某个词的意图漂移)几乎必然得到模糊答案。
把假设写成一句可检验的陈述,然后追问三件事:还有哪些指标应该一起动、哪些指标不该动、如果换一个对照组结果是否一致。这三问能把一个笼统假设拆成几个具体、可查的反证问题。
假设:“这次下跌是因为移动端核心词排名掉了。”
这三个问题里只要有一个答案与假设矛盾,就该考虑改写或放弃原假设,而不是补更多支持性数据。
把相关当因果。某个指标和流量同时下跌,只能说明两者共变,不能说明前者导致后者。反证要问的是“假设为真时这个指标该不该动”,而不是“它动了所以假设成立”。
用单一指标下结论。第三方估算流量、搜索引擎后台报告和站内统计三套口径本来就不一致,任何一套归零或骤降,都可能来自抓取延迟、抽样变化、埋点调整或过滤规则更新,不能单独证明“排名没了”或“需求消失了”。要交叉看至少两套口径,并确认差异是否恰好出现在变化时点。
反证问题本身不可观察。“用户是不是不喜欢这个页面”无法直接验证;“这个页面的跳出率和停留时长是否比变化前更差”可以。把不可观察的问题改写成可拉取、可对比的指标,反证才有意义。
假设某业务发现百度带来的咨询量下降,最初判断是“核心词排名下滑”。按上面的方法构造反证后,发现词级展现基本稳定、点击略降,而落地页停留时长明显缩短——这恰好与“排名下滑”矛盾,却与“页面承接变差”一致。此时决策应当分情况:
这个例子的数字只是说明比较方法,不代表任何真实项目的表现。关键动作是:先写下假设为真时必须出现的可观察结果,再去看它是否出现;出现则保留并进入下一层,不出现则改写或退出。每一次反证的结果,都应当直接决定下一步是继续深挖同一个方向,还是换一层重新提问。