{OT}存活者偏差----很重要的逻辑观念

[石长江]

转帖一篇电子工程上的文章，挺有意思。


主旨: 存活者偏差----很重要的逻辑观念

 1941年，第二次世界大战正打得如火如荼。
 
 有一天，美国哥伦比亚大学著名统计学 家沃德 教授(Abraham Wald)
 遇到了一个意外的访客， 那是英国皇家空军的作战指挥官。
 他说：「 沃德教授，每次飞行员出发去执行轰炸任务，
 我们最怕听到的回报是： 『呼叫总部，我中弹了！』
 请协助我们改善这个攸关飞行员生死的难题吧！」
 
 沃德接下这个紧急研究案，他受委托分析德国地面炮火击中联军轰炸机的资料，并且
以统计专业，建议机体装甲应该如何加强，才能降低被炮火击落的机会。但依照当时的
航空技术，机体装甲只能局部加强，否则机体过重，会导致起飞困难及操控迟钝。
 沃德将联军轰炸机的弹着点资料，描绘成两张比较表，
 沃德的研究发现，机翼是最容易被击中的部位，
 而飞行员的座舱与机尾，则是最少被击中的部位。
 沃德详尽的资料分析，令英国皇家空军十分满意。
 
 但在研究成果报告的会议上，却发生一场激辩。
 
 负责该项目的作战指挥官说：「沃德 教授的研究清楚地显示，联军轰炸机的机翼，
弹孔密密麻麻，最容易中弹。因此，我们应该加强机翼的装甲。」
 沃德客气但坚定地说： 「将军，我尊敬你在飞行上的专业，
 但我有完全不同的看法，我建议加强飞行员座舱与机尾发动机部位的装甲，因为那儿
最少发现弹孔。」
 在全场错愕怀疑的眼光中，沃德解释说：「我所分析的样本中，只包含顺利返回基地
的轰炸机。
 从统计的观点来看，我认为被多次击中机翼的轰炸机， 似乎还是能够安全返航，而飞
机很少发现弹着点的部位，并非真的不会中弹，
 而是一旦中弹，根本就无法返航。」指挥官反驳说：
 「我很佩服沃德教授没有任何飞行经验，就敢做这么大胆的推论，就我个人而言，过
去在执行任务时，也曾多次机翼中弹严重受创，要不是我飞行技术老到，运气也不错，
早就机毁人亡了，所以，我依然强烈主张应该加强机翼的装甲。」这两种意见僵持不
下，皇家空军部部长陷入苦思。
 
 他到底要相信这个作战经验丰富的飞将军， 还是要相信一个独排众议的统计学家？
 由于战况紧急，无法做更进一步的研究，部长决定接受沃德的建议，立刻加强驾驶舱
与机尾发动机的防御装甲。不久之后，联军轰炸机被击落的比例，果然显著降低。为了
确认这个决策的正确性，一段时间后，英国军方动用了敌后工作人员，搜集了部份坠毁
在德国境内的联军飞机残骸，他们中弹的部位，果真如沃德所预料，主要集中在驾驶舱
与发动机的位置。
 看不见的弹痕最致命
 
 乍看之下，作战指挥官加强机翼装甲的决定十分合理， 但他忽略了一个事实：弹着点
的分布，是一种严重偏误的资料。
 因为最关键的资料，其实是在被击落的飞机身上，
 但这些飞机却无法被观察到，因此，布满了弹痕的机翼，反而是飞机最强韧的部位。
空军作战指挥官差点因为太重视「看得见」的弹痕，反而做出错误的决策。
 这个案例有两个特别值得警惕的地方。
 死掉或被俘的人无法发表意见
 第一， 搜集更多资料，并不会改善决策品质。 由于弹痕资料的来源本身就有严重的
偏误，努力搜集更多的资料，恐怕只会更加深原有的误解。
 第二，召集更多作战经验丰富的飞行员来提供专业意见，也不能改善决策品质，因为
这些飞行员，正是产生偏误资料过程中的一环。他们都是安全回航的飞行员，虽然可能
有机翼中弹的经验，但都不是驾驶舱或发动机中弹的「烈士」。
 
 简单的说， 当他们愈认真凝视那些「看得到」的弹痕，他们离真相就愈远。
 
 信息界有所谓「Garbage In, Garbage Out」，
 前提（或假设）若是错误，再漂亮的统计算式或方法、再多的资料，也不能让后面的
推论变得正确。
 在管理实务与日常生活中，许多关键的资料， 也像上述轰炸机的个案一样，会因为
「失败」而观察不到。
 
 台大 刘顺仁 教授在著作《决胜》一书中， 对「存活者偏差(survivorship
 bias)」举例说明，是我读过的书中最生动贴切又清楚的一个。如果有一位70岁的老人
在电视上说，
 他就是靠每天抽一包烟、嚼一包槟榔才能长寿， 请想起「死人没法上电视说话」这件
事。
 同样的道理，不是那个地方长寿的老人家吃或喝某东西， 某东西就是养生圣品。
 
 再看一个骗钱的例子（这已经进化到E-mail版）
 1月2日你接到一封匿名信， 向你表示，这个月市场会上涨，结果市场果然上涨，但你
不以为意，因为大家都知道有元月效应这回事
 （历年来一月间股价涨多跌少）。
 到了 2月1日，你又接到另一封信，向你表示，市场将下跌。这一次，又给那封信说中
了。
 3月1日再接到一封信，情形一样。7月，你对那位匿名人士的先见之明很感兴趣，对方
邀你投资某个海外基金。
 于是你把全部的储蓄拿出来投资, 两个月以后，那些钱有如肉包子打狗，一去不回。
 你伏在邻居的肩膀上嚎啕大哭，他告诉你，他也接过两封这种神秘信，但寄到第二封
就停了。
 他说，第一封信的预测正确，但第二封不正确。
 这是怎么一回事？
 那些骗子玩的把戏是，他们从电话簿找出一万个人名，寄出后市看涨的信给其中一半
的人， 后市看跌的信给另一半的人。
 一个月后，将有五千人接到的信预测正确， 然后再针对这五千人如法炮制。
 再一个月后，剩下二千五百人接到的信预测正确， 如此直到名单上剩下五百人，其中
会有两百人受骗上当，
 因此骗子只要花几千美元的邮资，便可赚进数百万美元。
 把手法作些改变。
 某骗子假装投顾老师招收会员，跟你说你可以先加入一般会员，等你觉得准了再加入
VIP会员。这改变更巧妙的地方在于，骗子一开始就能赚到钱，此外VIP会员还会帮骗子
建立口碑，证明骗子有多准：存活者偏差(survivorship bias)。
 
 只要信息不流通， 其它人不知道这假的投顾老师有多么（不）准。
--

Changjiang

[pongba]

这个在《How to think straight about psychology》上也被引用过，的确是很有启发的故事（但愿是真的）。

和“沉默的证据”有点相似，都属于少了证据四象限中的某一个或两个象限：

1) 一艘船在海上触礁沉没了，一些人幸存了下来，宣扬信教的人指着幸存者中的那些祷告过的人说，你看，他们祷告了，他们都幸存下来了。
问题是，祷告但死掉的人在海底喂鱼呢。

2) 有一个民间智慧，说不能生育的夫妇，在领养了之后，往往就能够生育了。
问题是，那些领养了之后仍然不能生育的不为人知。

3) 坚持到底必然能够成功。
问题是，坚持到底仍然败掉的，谁会关注呢？

2009/4/2 石长江 <changji...@gmail.com>

--
刘未鹏(pongba)
Blog | Mind Hacks
http://mindhacks.cn
TopLanguage
http://groups.google.com/group/pongba

[张沈鹏]

只见贼吃肉 不见贼挨打

[shanks]

这个问题能不能这样看：

对于指挥官而言，所作的假设是，子弹无论击中哪个部位，效果都是一样的（就像是
玩一些旧格斗游戏里面，同样的攻击无论从哪个角度打中哪个部位伤的血是一样的）。
所以，加强一些"重灾区"的装甲，就能整体减少伤害。

对于统计学家而言，其假设则是，任何部位（可能还假设了相同面积）被子弹击中的概率
是一样的，所以很少看到被击中的部位造成了结果和模型不符。从而认为环境对于结果有
了一个选择的作用（就是上面所说的生存者偏差）。

所以，是不是也可以理解为指挥官没有作出正确判断是因为缺乏统计学的知识呢。是不是
要表示要作正确的判断，还是要有些正确的模型作铺垫呢？如果没有这些知识，我们怎么能
作出正确的判断？

当然，如果退一步说，如果我的解释不成立，那么可能就不会有这些问题了

On 4月2日, 下午1时28分, 石长江 <changjiang....@gmail.com> wrote:
> 转帖一篇电子工程上的文章，挺有意思。
>
> *主旨: 存活者偏差----很重要的逻辑观念*

[阳曙光]

指挥官的思维过程应该是，即然统计上机翼被打中的次数多，说明机翼被打中的概率大，所以就应该加强机翼

但是没有考虑到，或者他根本不知道统计的只是安全飞回的飞机，所以才造成了他的错误

如果统计的是被击落的飞机，指挥官和统计学家的结论应该是一致的。

有点类似：成功的人的方法各有不同，失败的人则基本上是类似的

我们只能从失败的人中得到经验以减少自己失败的概率。

2009/4/2 shanks <yeah...@gmail.com>

--
阳曙光

[Tiny fool]

是啊，比如说你统计全国所有成功的企业家发现其中有70%信仰佛教，那么你可能会得到一个结论说，信仰佛教对生意有好处。但是，成功的企业家只是所有企业家的1%，有人统计了所有失败的企业家发现其中有90%都信仰佛教的话。那么总体说来，我们应该认为也许信仰佛教对生意没有好处。

当然我只是瞎举例子了，宗教信仰应该是跟挣钱与否不相关的。

2009/4/2 阳曙光 <iya...@gmail.com>

--
--------------
Gmail: tiny...@gmail.com
Gtalk:   tiny...@gmail.com
Phone: 13520711089
Twitter:http://twitter.com/tinyfool

银杏泰克科技有限公司-专业的站内搜索引擎提供商
http://www.ginkgotek.com/

Tinyfool的开发日记
http://www.tinydust.net/prog/diary/diary.htm

TV的Google观察
http://www.tinydust.net/tinygoogle/

[lili]

这个可以把莫老师高速路那二三事搬出来吗？

[shanks]

呵呵，其实这个表述跟我的表述意思上是一样的，只是我用了"重灾区"而没有用"概率大"
造成一些误会了。

其实关键还是如何"Asking the right question"
回到原问题来说，其实真正的问题是："如何减少飞机被击落的概率？"。回溯一下，
下一个问题应该是："飞机是如何被击落的？"。到了这步，就应该不难得到："我们要统计
被击落的飞机"的结论。而这样数据由于客观原因可能无法获得，那么就用没被击落
的飞机的数据代替。但是这样一来，有个正确的模型依然是关键。

在这里的难题是，无法（或者很难）统计失败的例子，而只能统计成功的例子，那么
如何解读依然是个问题。问："成功样本和失败样本的区别到底在哪里？"

唉，居然又绕回去了......

On 4月2日, 下午10时46分, 阳曙光 <iyan...@gmail.com> wrote:
> 指挥官的思维过程应该是，即然统计上机翼被打中的次数多，说明机翼被打中的概率大，所以就应该加强机翼但是没有考虑到，或者他根本不知道统计的只是安全飞回的飞机

> ，所以才造成了他的错误
> 如果统计的是被击落的飞机，指挥官和统计学家的结论应该是一致的。
> 有点类似：成功的人的方法各有不同，失败的人则基本上是类似的
> 我们只能从失败的人中得到经验以减少自己失败的概率。
>

> 2009/4/2 shanks <yeahq....@gmail.com>

[Zhimin Xiong]

这个在《How to think straight about psychology》上也被引用过，的确是很有启发的故事（

但愿是真的）。

和“沉默的证据”有点相似，都属于少了证据四象限中的某一个或两个象限：

1) 一艘船在海上触礁沉没了，一些人幸存了下来，宣扬信教的人指着幸存者中的那些祷告过的人说，你看，他们祷告了，他们都幸存下来了。
问题是，祷告但死掉的人在海底喂鱼呢。

2) 有一个民间智慧，说不能生育的夫妇，在领养了之后，往往就能够生育了。
问题是，那些领养了之后仍然不能生育的不为人知。

2009/4/2 Tiny fool <tiny...@gmail.com>

是啊，比如说你统计全国所有成功的企业家发现其中有70%信仰佛教，那么你可能会得到一个结论说，信仰佛教对生意有好处。但是，成功的企业家只是所有企业家的1%，有人统计了所有失败的企业家发现其中有90%都信仰佛教的话。那么总体说来，我们应该认为也许信仰佛教对生意没有好处。

当然我只是瞎举例子了，宗教信仰应该是跟挣钱与否不相关的。

呵呵，其实这个表述跟我的表述意思上是一样的，只是我用了"

重灾区"而没有用"概率大"
造成一些误会了。

其实关键还是如何"Asking the right question"
回到原问题来说，其实真正的问题是："如何减少飞机被击落的概率？"。回溯一下，
下一个问题应该是："飞机是如何被击落的？"。到了这步，就应该不难得到："我们要统计
被击落的飞机"的结论。而这样数据由于客观原因可能无法获得，那么就用没被击落
的飞机的数据代替。但是这样一来，有个正确的模型依然是关键。

在这里的难题是，无法（或者很难）统计失败的例子，而只能统计成功的例子，那么
如何解读依然是个问题。问："成功样本和失败样本的区别到底在哪里？"

唉，居然又绕回去了......

--
Zhimin Xiong

Institute of Chemistry, Chinese Academy of Sciences(ICCAS)

[Iridium]

嗯，刚刚好。都是认识的偏差。。

lili 写道:
> 这个可以把莫老师高速路那二三事搬出来吗？

[阳曙光]

个人认为这个故事的结论是正确的，但这个故事是假的，原因有以下几点：

1 要解决的问题是减少轰炸机被击落的概率，指挥官居然会想到去找一个没有什么飞行经验统计学家；

2 就算是指挥官英明，想到了要找统计学家，但这个统计学家所做的事情只是统计下飞回的飞机的中弹情况，一个普通的飞行员都能做；

3 最关键的一点，驾驶舱或发动机是飞机的关键部位，一旦中弹飞机被击落的可能性显然更大，而机翼只要不被折断就能够工作

这点不用调查都可以知道，而英明的指挥官居然提出要加强机翼，太不可思议了

这个故事如果把统计学家换成一个普通的飞行员，可信度还会高一点。
或者这个故事还可以改成如下版本：

 有一天，美国哥伦比亚大学著名统计学 家沃德 教授(Abraham Wald) 
 遇到了一个意外的访客， 那是英国皇家空军的作战指挥官。 
 他说：「 沃德教授，每次飞行员出发去执行轰炸任务， 
 我们最怕听到的回报是： 『呼叫总部，我中弹了！』 
 请协助我们改善这个攸关飞行员生死的难题吧！」
 

 沃德接下这个紧急研究案，他想到要找出飞机被击落的原因，才能够减少被击落的可能性

而要找到原因的话，就必须去分析被击落的飞机击中部位。但是被击落的飞机都在敌后，当时战况激烈

根本无法获得被击落的飞机。这让这位统计学家无可奈何。这时一名飞行员提出，也许我们可

以分析那些被击中，但是却安全飞回的飞机，这些飞机被击中少的部位不就是被击落的飞机被击中多的部位吗？

沃德大悟，然后怎样，怎样。。。。。

这个故事也可以得出一堆的让人觉得对的道理。

更多这相的故事参见：读弱智故事，享忽悠人生——如何防忽悠？

--
阳曙光

[kongkua westenwood]

卡尔·萨根 的 《魔鬼出没的世界》，看来还不错..
以前仅仅知道有这个人而已，不过，我现在发现，我看的书大多都是国外的，
国内的书都没碰过几本，感觉国内的书不如国外的有趣，现在受到的影响还是美国的最多，中文的古书籍基本没碰过，感觉就是国内人为设置的障碍太多了，没那么多时间去弄

[chaoyan ma]

我觉得因为

 

1  因为需要统计出那个部位是关键部位（即最脆弱）然后进行加强

2  一个普通的飞行员可以做 统计下中弹的情况 但是他不会知道这个有什么用 不知道概率的平均分布 不知道样本空间

3  作为一个知道结论的旁观者 请不要指责当事人的愚蠢 每个人都有自己更关注的点  也有盲点

2009/4/3 阳曙光 <iya...@gmail.com>

[Li XiaoLai]

How to think straight about psychology 哪有电子版么？

[chaoyan ma]

ls是在问我吗？如果你在考虑别人的问题的时候 能够站在那个人的角度 抛弃自己的经验和思想

加载别人的知识 经历和现状等等 就很容易理解别人的行为了

不需要专门的研读理论

2009/4/4 Li XiaoLai <lixi...@gmail.com>

[pongba]

2009/4/4 Li XiaoLai <lixi...@gmail.com>

How to think straight about psychology 哪有电子版么？

英文电子版没有。中文的（《与众不同的心理学》）有，我一直大力推荐这本书 :D

[pongba]

2009/4/4 pongba <pon...@gmail.com>

英文电子版没有。中文的（《与众不同的心理学》）有，我一直大力推荐这本书 :D

BTW. 这个译名很土，很容易引起先入之见。不知道是否影响了这本书的传播。

[世泉(raymond)]

说到佛教，让我想到一些事情。
1）我们看到的未必是真的，就像上面的统计数据问题，我们看到的数据不能真正反应事实，这时候如果根据这些数据得出结论，则很可能是错误的。而教授作了
假设，由此纠正了数据偏差，因此得到了正确推论。佛教有不妄语之说，即不说假话，广义上看就是对于非真的事情要保持警惕，对上面这个例子颇有点适合。
2）我猜测，成功的人多半多有信仰，佛教和基督教可能是最广泛的两种，需要信仰的原因在我理解，就是增加了自己的安全系数。当我们将自己寄托在信仰上而
不是具体的某个人或者某件物体上时，这个时候我们的风险要小的多。因为，除非信仰崩溃，否则我们在生命中总是有支撑点的，而信仰是很难崩溃的，比如佛
教，基督教是将会长久的存在下去的。反之，如果我们将自己寄托在事业，家庭，金钱，财产上，由于这些支撑点可能受到多种因素的影响，因此发生崩溃的几率
要大，所以，我们自己的支撑点发生问题的几率也大很多。所以，我绝对信仰对成功是有积极意义的，那就是将支撑点设置在自己心中。

On 4月2日, 下午11时09分, Tiny fool <tinyf...@gmail.com> wrote:
> 是啊，比如说你统计全国所有成功的企业家发现其中有70%信仰佛教，那么你可能会得到一个结论说，信仰佛教对生意有好处。但是，成功的企业家只是所有企业家的1%，有人统计了所有失败的企业家发现其中有90%都信仰佛教的话。那么总体说来，我们应该认为也许信仰佛教对生意没有好处。
> 当然我只是瞎举例子了，宗教信仰应该是跟挣钱与否不相关的。
>

> 2009/4/2 阳曙光 <iyan...@gmail.com>

>
>
>
> > 指挥官的思维过程应该是，即然统计上机翼被打中的次数多，说明机翼被打中的概率大，所以就应该加强机翼 但是没有考虑到，或者他根本不知道统计的只是
> > 安全飞回的飞机，所以才造成了他的错误
> > 如果统计的是被击落的飞机，指挥官和统计学家的结论应该是一致的。
> > 有点类似：成功的人的方法各有不同，失败的人则基本上是类似的
> > 我们只能从失败的人中得到经验以减少自己失败的概率。
>

> > 2009/4/2 shanks <yeahq....@gmail.com>

> Gmail: tinyf...@gmail.com
> Gtalk: tinyf...@gmail.com

[阳曙光]

现在问题归结为：飞行员座舱与机尾发动机部位中弹后飞机就很有可能坠落这个结论，是否需要统计才能得到？

飞行员座舱被击中，会影响飞行员的驾驶，而机尾发动机部位被击中，则很有可能损坏发动机，很明显当飞行员受到影响或飞机发动机

损坏，飞机就容易被击落。就像开枪击中了人的头部和心脏，人死亡的概率显然要远远大于击中了四肢。这个结论难道还要统计后才能得出？

2009/4/4 chaoyan ma <chaoyan.ma@gmail.com>

我觉得因为

 

1  因为需要统计出那个部位是关键部位（即最脆弱）然后进行加强

2  一个普通的飞行员可以做 统计下中弹的情况 但是他不会知道这个有什么用 不知道概率的平均分布 不知道样本空间

3  作为一个知道结论的旁观者 请不要指责当事人的愚蠢 每个人都有自己更关注的点  也有盲点

阳曙光

[张沈鹏]

2009/4/6 阳曙光 <iya...@gmail.com>:

> 现在问题归结为：飞行员座舱与机尾发动机部位中弹后飞机就很有可能坠落这个结论，是否需要统计才能得到？
> 飞行员座舱被击中，会影响飞行员的驾驶，而机尾发动机部位被击中，则很有可能损坏发动机，很明显当飞行员受到影响或飞机发动机
> 损坏，飞机就容易被击落。就像开枪击中了人的头部和心脏，人死亡的概率显然要远远大于击中了四肢。这个结论难道还要统计后才能得出？

滑翔机

[ShiningRay]

统计的数据很容易做假，统计局的东西最不可信

这个例子让我想起以前看到的一个例子
统计发现在核电站工作的人的平均寿命并不短，但这并不能表示在核电站工作就对健康没有危害
因为本身去核电站工作的人就是被挑选为更健康的人才去的，很有可能是他们本应该活的更长，在核电站工作了之后，寿命却缩短了

On Apr 2, 1:28 pm, 石长江 <changjiang....@gmail.com> wrote:
> 转帖一篇电子工程上的文章，挺有意思。
>
> *主旨: 存活者偏差----很重要的逻辑观念*
>