2019年8月27日星期二

大西洋月刊:专家越“专”,预测越不准

最近新订了《大西洋月刊(The Atlantic)》。每一篇文章都很好看,可读性颇强。比如7月份刊登的关于马航370的长篇报道,让人欲罢不能,只想一口气读完!一个月一本,订一年只要30多美元,非常划算。

这篇文章发表在6月份《大西洋月刊》上,我最近才读到,觉得内容非常好玩。可能因为我自己就是对什么都有兴趣,但什么都不精通的人吧。在这篇文章里,这样的人可以赢过精通某个专业的专家。虽然跟我没半毛钱关系,但莫名有种扬眉吐气感......

The Peculiar Blindness of Experts
by David Epstein

1984年,心理学家及政治学家Philip E. Tetlock参加了一次研究美苏关系的国家研究委员会会议。30岁的他是与会者中资历最浅的一位。

Tetlock认真地听着资深专家们对美苏关系未来可能产生的走向作出种种预测。但同时,他也在心里暗自思忖,这些专家们的预测真会实现吗?

为了检测专家的预测是否准确,Tetlock决定开启一项长期实验。他收集了284位在本专业领域极富知名度的专家所作出的预测。这些预测都是用明确的概率指出某一事件是否会(或不会)在未来发生,没有模棱两可的余地。

Tetlock的实验持续了20年,收集了82361项有关未来事件的概率预测。
Philip E. Tetlock
实验结果出人意料:专家们往往是最糟糕的预言家。他们有数十年经验,有机会接触一般人无法得知的保密消息。可所有这些,都没能让他们的预测结果更加准确。

不管是短期还是长期,不管是关于哪个领域,专家们的预言都一样一塌糊涂。在他们声称绝对不可能发生的事件中,有15%发生了;而他们断言肯定会发生的事件中,有25%踪影全无。

即使面对这个结果,许多专家还是坚决不肯承认,他们对未来的判断出现了系统性错误。

不过,Tetlock也发现了一小撮人,预测准确度高于一般专家。

在Tetlock的早期研究中,有一项是让专家们预测苏联的未来。一些自由派专家认为,戈尔巴乔夫能启动改革,从而让苏联保持并发展。另一些保守派专家则表示,改革不可能在苏联出现,它最终将就这样走向崩溃。

两派专家的预测都有对有错:戈尔巴乔夫确实在苏联启动了改革。可最后,苏联还是分崩离析。

但是,有一小部分人,准确预测到了这一情况。这些人不是精于某一领域的专家,而是能听取各派意见,进行综合分析的人士。他们认识到戈尔巴乔夫会进行改革,也预测到改革反而加速了苏联的分化。

这些被称为“integrators(综合者)”的人在各领域的预测,特别是长期预测上,表现大大优于他们的同僚。

最后,Tetlock给这两种人取了昵称。他把那种只钻在自己专业领域中的人称为“刺猬(hedgehog)”,他们只知道“某件大事(one big thing)”,而将涉猎多个领域的人称为“狐狸(fox)”,他们知道“许多小事(many little things)”。

刺猬们十分专注。他们中许多人花一生时间,只为钻研某一个问题。他们总是通过自己的这一视角,来看待周围的世界。

而狐狸们则喜爱从各种各样的渠道和理论中学习。他们不坚持固定的视角,接受模糊不确定,甚至有所冲突的信息。

刺猬对本专业研究深入,可他们在预测本专业的未来时表现尤其不佳。当这些人经验越来越丰富,在本专业中的名声越来越大时,他们的预测也往往越发不准确。哪怕给他们再多信息也没用,因为刺猬们会轻易地将这些信息编织进他们本就架设好的世界观中。

虽然如此,人们依然依赖着刺猬型的专家。那些世界知名专家们也很少需要为他们不准确的预测负责。
刺猬和狐狸,都很可爱!
有一项研究收集了近10年来,全球22家知名银行每年预测的美元对欧元汇率范围。

在每一年初,包括巴克莱银行、花旗银行、摩根大通银行等,都会预测这一年年末的汇率走向。

研究结果发现,这些银行没有一次预测的方向是准确的。在这10年里,有6年的真实汇率完全不在所有22家银行预测的全部范围内。【一个idea,以后每次反向参考这些银行的预测来投资,岂不是赢面大得多!】

2005年,Tetlock发表了他的实验结果,得到了美国情报研究机构的关注。2011年,情报研究机构IARPA(Intelligence Advanced Research Project Activity)组织了一次长达四年的预测竞赛,五支由研究人士带队的队伍参加了这一竞赛。

这些队伍用自认为最合适的方式招募和训练预测员。每天早上9点,他们会回答一系列预测问题。这些问题的期限和领域各不相同,例如预测在某个特定日期前,某个欧盟成员会否退出,或是判断今天日经收盘指数会否超过9500点。

Tetlock与妻子Barbara Mellers一起带领着一支名叫“Good Judgment Project(良好判断项目)”的队伍参与竞赛。他们没有从各行各业招募专家,而是面向大众广泛征求志愿者。经过简单考核后,他们征集到了3200位志愿者。

在这些志愿者中,Tetlock找到了最有“狐狸”特点的那一小群预言家。这些人没有任何专业背景,但头脑聪明、兴趣广泛、热爱阅读。用一位表现最好的“狐狸”的话来说,他们“对一切事物都感到好奇”。

Tetlock发现,这些狐狸不仅是优秀的个人预测者,在团队合作时也十分高效。对什么都好奇的他们喜爱跨领域学习,并愿意将团队伙伴看作值得学习的对象。

在竞赛后期,Tetlock将“狐狸”们组成12个人一支的小团队,这使得他们给出的预测更为准确。他们的表现大大超过了另外一组由经验丰富、可以接触到保密信息的情报专家所组成的队伍。

Tetlock说,刺猬和狐狸间有一个重大区别。当预测正确时,两者都会以此加强自己的信念;但当预测错误时,狐狸会随之调整自己的想法,刺猬却依然坚持己见,甚至更加坚定自己原有的想法,在歧途上越走越远。

其实,狐狸的行为,就是我们称为“学习”的过程。一件事做对了就总结经验,做错了就找出教训,调整方法重新再来。几千年来,人类都通过这样的方式成长发展。刺猬专家们小时候也是这样学习的吧,为什么长大就忘了呢?


没有评论:

发表评论