幸存者偏差
閱讀本文約花費: 17 (分鐘)
幸存者偏差(Survivorship Bias)
[编辑]
什么是幸存者偏差
幸存者偏差，另译为“生存者偏差”或“存活者偏差”，是一种常见的逻辑谬误（“谬误”而不是“偏差”），意思是只能看到经过某种筛选而产生的结果，而没有意识到筛选的过程，因此忽略了被筛选掉的关键信息。这东西的别名有很多，比如“沉默的数据”、“死人不会说话”等等。[编辑]
幸存者偏差的案例[1]
关于幸存者偏差(Survivorship Bias),有一个较知名的“飞机防护”案例。
1941年,第二次世界大战中,美国哥伦比亚大学统计学沃德教授(Abraham Wald)应军方要求,利用其在统计方面的专业知识来提供关于《飞机应该如何加强防护,才能降低被炮火击落的几率》的相关建议。沃德教授针对联军的轰炸机遭受攻击后的数据,进行研究后发现:机翼是最容易被击中的位置,机尾则是最少被击中的位置。沃德教授的结论是“我们应该强化机尾的防护”,而军方指挥官认为“应该加强机翼的防护,因为这是最容易被击中的位置”。沃德教授坚持认为:(1)统计的样本,只涵盖平安返回的轰炸机;(2)被多次击中机翼的轰炸机,似乎还是能够安全返航;(3)而在机尾的位置,很少发现弹孔的原因并非真的不会中弹,而是一旦中弹,其安全返航的概率就微乎其微。军方采用了教授的建议,并且后来证实该决策是正确的,看不见的弹痕却最致命!
这个故事有两个启示:一是战死或被俘的飞行员无法发表意见,所以弹痕数据的来源本身就有严重的偏误;二是作战经验丰富的飞行员的专业意见也不一定能提升决策的质量,因为这些飞行员大多是机翼中弹而机尾未中弹的幸存者。
俗语“死人不会说话”很好地解释了这种偏差的重要成因。当我们分析问题所依赖信息全部或者大部分来自“显著的信息”,较少利用“不显著的信息”甚至彻底忽略“沉默的信息”,得到的结论与事实情况就可能存在巨大偏差。
比如常言说“老婆都是别人的好”。这话有很多生理和心理层面的解释,读者可以参考渡边淳一的《男人这东西》。笔者认为还有几个跟生存者偏差相关的原因:一是你看到的别人老婆有很多,但你往往记住那些漂亮优雅贤惠的少数人,自觉不自觉地忽略大部分;二是你记住的别人老婆的样本信息并不完整,你看到的更多是淡妆华服而不是睡衣素颜,是温柔体贴而不是唠叨抱怨,而后者可能只是她老公下班回家后才能看到。
再比如媒体调查“喝葡萄酒的人长寿”。一般是调查了那些长寿的老人,发现其中很多饮用葡萄酒。但还有更多经常饮用葡萄酒但不长寿的人已经死了,媒体根本不可能调查到他们。
回到投资领域,在投资理财类电视节目中,我们经常看到取得成功的投资者谈论其投资经验和方法,但观众往往会忽略了一个事实:采用同样经验和方法而投资失败的人是没有机会上电视的。幸存者偏差现象可能导致以下的结果:(1)投资成功者出书出名,失败者将默默无闻,导致电视上大量专家在传经布道、市面上充斥着太多投资成功学类的书籍,可能会让观众或读者高估了通过投资获得成功的概率;(2)由于条件限制或者心理因素,投资成功者难以保证理性和客观,容易夸大自己能力、忽略运气因素、弱化当时所承担的风险等。
另外,在投资领域,幸存者偏差还具有明显的时间周期。股市具有系统性波动特点,导致样本特征产生时间分布偏差,很明显例子是我国2006年、2007年的“股神”要比2008年多得多。
对于如何消除幸存者偏差的误区,没有好的办法,但如果能做到以下几点,应该有些好处:(1)在投资领域,我们改变不了生存者偏差现象的存在,但我们可以努力不盲从所谓的权威;(2)对于基金、私募以及个人投资者的能力评价,要看长期的、最好是跨越多个经济周期的业绩记录;(3)为了使样本更反映事实,我们更应该搜集介绍投资失败的案例和总结,不但要向成功的人学习如何成功,更要从失败的人那里总结为什么失败,因为投资很大程度上是个避免失败的过程。
幸存者偏差（Survivor bias），另译为 “生存者偏差” 或 “存活者偏差”，是一种常见的逻辑谬误。指的是只能看到经过某种筛选而产生的结果，而没有意识到筛选的过程，因此忽略了被筛选掉的关键信息。日常表达为 “沉默的数据”、“死人不会说话” 等。可以用对照试验和贝叶斯公式来消除幸存者偏差。中文名幸存者偏差外文名Survivor bias含 义只考察幸存者特征造成的偏差解决办法对照实验、贝叶斯公式等
目录
简介
编辑幸存者偏差意思是指，当取得资讯的渠道，仅来自于幸存者时（因为死人不会说话），此资讯可能会存在与实际情况不同的偏差。此规律也适用于金融和商业领域。存活下来的企业往往被视为 “传奇”，它们的做法被争相效仿。而其实有些也许只是因为偶然原因幸存下来了而已。在日常生活中，最明显的例子就是 “我亲戚吃这个药好了” 或者 “我一个朋友去找了这个医生” 等等。不管你的亲戚和朋友和你关系如何好，如何值得信任和尊重，在客观规律面前他们都是等同的。疾病和医药不会因为你的喜好而照顾或者偏袒你的亲朋。所谓 “兼听则明” 也是这个道理，抛掉对个案的迷信，全面系统的了解才能克服这个偏差。
解决办法
贝叶斯公式
二战期间，为了加强对战机的防护，英美军方调查了作战后幸存飞机上弹痕的分布，决定哪里弹痕多就加强哪里。然而统计学家亚伯拉罕·瓦尔德（Abraham Wald）力排众议，指出更应该注意弹痕少的部位，因为这些部位受到重创的战机，很难有机会返航，而这部分数据被忽略了。事实证明，瓦尔德是正确的。我们可以用贝叶斯公式来分析一下瓦尔德和众人的分歧出在什么地方，而谁的假设更为合理。设 X = 飞机的击中部位，Y = 1, 0 表示飞机是否返航。设空战中飞机的击中部位 X 的分布为 P(X)，而返航飞机的 X 分布为条件分布 P(X|Y=1)。于是有
众人认为幸存飞机的击中部位分布 P(X|Y=1) 反映了空战中击中部位的分布 P(X)，因此哪里弹痕多就要在哪里加强防护。但瓦尔德认为炮弹不长眼睛，空战中的 P(X) 应该是接近于均匀分布的。因此 P(X|Y=1) 恰恰是正比于 P(Y=1|X)，即击中该部位 X 以后的返航概率。所以幸存飞机哪里中弹多，表明相应部位不是要害部位，而应该在返航概率 P(Y=1|X) 较小，亦即 P(X|Y=1) 较小的地方加强防护——正是幸存飞机中弹痕少的部位。以上的贝叶斯公式还可以纠正一些 “成功学” 谬误。例如 Y = 1 代表成功者，往往受媒体关注多，而公众可能缺少 Y = 0 的数据。成功学常常寻找成功者具有的某些共同特征 X，得出 P(X|Y=1) 较大。比如牛顿被苹果砸中，比尔盖茨辍学了等等。但是普通人具有特征 X 的概率 P(X) 可能也不小。二者的比值 P(X|Y=1) / P(X) 才等于具有了特征 X 以后，成功的概率能提高多少倍。又例如用 Y = 1 代表得一种病，比如肺癌。而 X 代表该病的某种诱因，比如吸烟。那么根据贝叶斯公式，只要在肺癌患者中统计一下吸烟者的比例 P(X|Y=1)，和普通人中的吸烟者比例 P(X) 比较一下，就能知道吸烟增加患肺癌风险的倍数。
对照实验
另一种避免幸存者偏差的办法是同时考察 Y = 1 和 Y = 0 的数据，采用对照实验的方法，比较实验组分布 P(X|Y=1) 和对照组分布 P(X|Y=0) 之间有没有显著性差异。通常采用双盲试验的方法进行研究，消除诸如安慰剂效应、混淆变量等干扰因素，详细、全面、客观地记录数据。分析数据时，采用统计学中的假设检验方法，在一定的显著性水平下确立 X 和 Y 的关系。如果只有实验组而没有对照组，得出的结论就可能带有 “幸存者偏差”。对照实验与统计学假设检验相结合的研究方法已经成为生物学、医学、心理学、社会学等诸多学科的研究范式。
生活中的例子
袜子总会丢一只
因为两只袜子都丢了就不容易发现袜子丢了，所以往往注意到袜子丢了的时候都是只丢了一只袜子。
读书无用论
如今很多人在说，谁谁谁当初没好好上学如今照样挣大钱，而好多用功读书的人，毕业后反而不如那些没好好学习的人混得好。并且因为这样的例子有很多，所以很多人得出“上学没有用处”，“读书无用”的结论。这些其实只是个例，因为基数太大，所以看起来有很多。2010年第六次全国人口普查的官方口径，可以算出来大专以上文化程度的人口仅占总人口的8.7%左右。可以看出学历低的人数远高于学历高的人数，所以即便低学历者成功率远低于高学历者，也照样会导致低学历者出现大批成功人士。对于高学历者，普通人既会关注成功的人，也会关注那些没成功的人，并且高学历却落魄的人尤其受关注，容易被当做新闻报道；而对于低学历者，普通人往往只关注成功者，忽视了广大学历低又没成功的人。正是因为忽视了这些“沉默的数据”，才产生“读书无用”这种错误结论。
商业与艺术对立
如今在影视、小说或ACG圈子中，很多人都持这样一种观点：冷门作品佳作多，好看，艺术高。热门作品商业化，不好看，艺术低（或没艺术)，商业与艺术是对立的。先不说艺术是否有高下之分，这里先假设有吧。其实这种人犯了一个错误，他们关注的冷门作品，通常只是大家口口相传的少数优秀冷门作品，忽视了广大不知名的冷门作品，而那些优秀冷门作品基本是在广大冷门作品中筛选出来的。热门作品则不同，不管好不好看，都会受到广泛关注。以电影为例，根据IMDB数据库统计，如今的电影已经大约有40万部（feature，不包括短片，纪录片等），并且如今每年都有将近一万部电影上映。在这几十万部电影中，票房高的只是一小部分。也就是说，很多人在拿这一小部分热门电影和一大部分冷门电影比艺术，并且还不是比平均值，而是比数量。再或者虽然是比平均值，但比较的是热门作品与大家口口相传的优秀冷门作品，这些口碑好的冷门作品其实只是广大冷门作品中很小的一部分（也不太可能有人把将近40万部电影全看过），至于那些口碑不好的冷门作品，因为自己没听说过也没看过就这么被筛选掉了，拿来比平均必然热门吃亏。由此得出冷门作品艺术高的结论明显是不科学的，就好比“读书无用论”一样。认为“商业与艺术对立”的人大都以为观众傻，容易盲从。其实观众并不是傻子，最起码跟忽视“幸存者偏差”得出谬误的人水平差不多。热门作品通常会有其亮点，比如有的故事好看，有的各种大场面看得很爽，有的有明星或者名导，有的宣传好等等。电影播出之后也会有观众（或者明星、网红）免费作宣传：“XXX好看，大家快去看”，“XXX不好看，大家别看（或谨慎观看）”。观众口碑也会对销量产生影响，在官方宣传等因素差不多的情况下，其实热门电影的水平要高于冷门。即是说，商业和艺术不仅不对立，还呈正相关关系。举个例子，电影《教父》票房大约2.5亿美元，有人可能会说这票房不算高，XXX不好看也排在他前面，可是排在《教父》后面的电影有几十万部，教父已经是票房中的佼佼者了，票房比《教父》低还不好看的电影更多。并且《教父》还是1972年票房冠军，在考虑通货膨胀的排名中排第23位。如果商业和艺术是对立，那么《教父》岂不是1972年最差电影了？为什么热门中不少烂片呢？因为每年有近万电影上映，也就是说：不是热门作品艺术低，而是艺术低的作品中总能出现几个热门的。这些艺术性低却热门的作品被人不断拿出来黑热门，而那些广大艺术性低又冷门的“沉默数据”则被忽视了，导致很多人产生“商业和艺术对立”的错误观点。