INKWIRE(7) argument errors INKWIRE(7)
texas-sharpshooter
德州神枪手
先朝谷仓开枪，再围绕最密的那堆弹孔画靶心。
名称
定义
这个名字来自一位枪手：他朝谷仓侧面开完枪，然后在弹着点最集中的地方画上靶心。它涵盖所有这类情形——先是在数据里发现了一个模式，然后把它当成「数据到手之前就预测到的」来对待。
机制是事后筛选。变量足够多、子群足够细时，总会有某个簇看起来极不可能。它的「不可能」是搜索过程的属性，不是世界的属性。
隐蔽的版本比明显的版本更糟。没有人真的去画靶心，但「用一份数据生成假设、再用同一份数据检验它」是同一个动作，只是更礼貌。
信号
-
S1
模式是在数据之后定义的
问这条预测是什么时候写下来的。如果簇的边界是看着那个簇选出来的，那就什么也没有被预测。
-
S2
缺少对照组
「这十一个案例全部都具备特征 F」——若没有「不具备 F 的非案例有多少」这个数字，它就毫无意义。
-
S3
多重比较没有被计数
如果查了二十个子群、其中一个在 5% 水平上显著，那大致就是纯靠运气也会产出的结果——而另外十九个不会出现在报告里。
三步检查
- 问一共检验了多少个假设。一个被报告的阳性结果，除以一个不被说明的尝试次数，不构成结果。
- 问这个发现能否在新样本上复现。这才是唯一的解药：在一份数据里发现、在另一份里确认的模式，就不再是画上去的靶心。
- 去找预注册或原始方案。如果分析是在数据之前写好的，靶心原本就在那里。
断在哪里
| 主张 | 没被问出口的问题 |
|---|---|
| 这个子群反应异常好 | 在报告这一个之前，一共比过多少个子群？ |
| 疫情集中在这个区域 | 同样规模的随机散布，本来会落在哪里？ |
| 每一位赢家都有同一个习惯 | 没赢的人里有多少也有这个习惯？ |
例子
在预期寿命最高的十二个国家中，有九个大量食用某种蔬菜——所以这种蔬菜是长寿的关键。
为什么它不成立
这十二个国家是因为长寿而被选进来的，然后再去搜它们共有的特征。任意十二个国家的名单都会碰巧共享几十个特征。若没有「预期寿命普通的国家中该蔬菜消费率是多少」这个数字，「十二个国家里有九个」这个计数不携带任何信息。
近亲条目
- [F] survivorship 你只研究了活下来的那些，然后问它们有什么共同点。
- [F] base-rate 一个生动的新细节压过了本该用来衡量它的那个大得多的数字。
- 目录 — /zh/t/fallacy/
[+] 补充与常见疑问 3
- 这意味着所有找模式的做法都无效吗？
- 不是。探索性的模式发现正是假设的来源。当被生成的假设被呈现为「已被检验」而不是「刚被产出」时，它才变成谬误。
- 多少次比较会让结果失去意义？
- 没有固定数字，但算术很简单：在 5% 阈值下，大约每二十次独立检验就会有一次看起来显著。二十个子群足以批量制造标题。
- 它和 p 值操纵在实操上有什么区别？
- 两者高度重叠。p 值操纵是故意或草率的那一版——一直换分析方式直到显著为止。德州神枪手这个说法还覆盖无辜的情形：分析者确实没有意识到自己是在看过数据之后才划定边界的。
适用范围 — 属论证阅读的参考资料，不构成专业意见。