第八章
贝叶斯定理:只有正确的预测才能让我们更接近真相
美国篮球职业联赛(NBA)的“赌神”哈若拉波斯·鲍勃·乌尔加利斯住在美国洛杉矶好莱坞山上的一座富丽堂皇、极富现代感的豪宅里,房子外部由金属和玻璃构造,房后还有一个游泳池,这里美得就像戴维·霍克尼油画中的景象。每年从 11 月到来年 6 月,乌尔加利斯每晚都会观看 NBA,每次看 5 场,分别由 5 台三星纯平电视机同时播放(就连直播电视公司也没见识过这种场面)。需要暂作休整时,乌尔加利斯会跑到拉斯韦加斯“棕榈树广场度假酒店”,在自己的公寓房中小住几日。如果需要放个长假,他就会跑到非洲来个徒步旅行。即使年景比较差的时候,乌尔加利斯差不多也能赚上 100 万美元,年景好的时候,赚上三四百万美元也不成问题。
乌尔加利斯很享受这种高品质的生活,但他并不符合那种穿休闲西装、嘴上叼着雪茄的老派赌徒形象。乌尔加利斯在下注时,从不依靠线人提示、贿赂裁判或是其他小伎俩,他也没有什么所谓的“秘诀”,他使用的是计算机模拟手段,但也并不是完全依赖这个手段。
乌尔加利斯之所以成功,是因为他分析信息的方式十分有效。乌尔加利斯并没有一味地寻求不同的预测模型,而是将自己掌握的统计学知识和篮球知识结合起来,并理清这些数据之间的重要关联。
这需要付出艰辛的努力,有时甚至会作不少无用功。乌尔加利斯能有今天的成功,还因为他下注时胆大、心细。
乌尔加利斯在加拿大马尼托巴的温尼伯长大,这座城市位于美国明尼苏达州边界以北约 145 公里,那里的人们工作勤劳却常受霜冻之苦。乌尔加利斯的父亲曾经非常富有,在其事业巅峰期时拥有 300 万美元身家,却因嗜赌将家产挥霍一空。在乌尔加利斯 12 岁那年,他的父亲破产了。乌尔加利斯 16 岁时意识到,要想离开温尼伯这个鬼地方,就必须接受良好的教育,而且只能自己挣学费。所以,考入马尼托巴大学之后,乌尔加利斯想尽各种办法挣钱。夏天,他会到不列颠哥伦比亚省最北部从事爬树的工作,每爬一棵树,可以挣到 7 美分。在校期间,他会去机场做行李搬运工,为去往多伦多或明尼阿波利斯或更远地方的温尼伯人来来回回地运送行李。
最后,乌尔加利斯终于存够了钱,买下了他做兼职的那家机场行李搬运公司的部分股份,不久之后,他又拥有了更多股份。1999 年,读大学四年级的乌尔加利斯已经攒下了约 8 万美元。
但是,在乌尔加利斯眼中,8 万美元仍然算不得什么大钱,他曾经目睹父亲赢赢输输、进进出出好几回的钱都是这个数目。作为马尼托巴大学哲学专业的毕业生,就业前景也不是那么乐观。正在乌尔加利斯苦苦寻求加快其人生进程的途径时,他意外地参与了一场赌局,这场赌局令他欲罢不能。
那年,洛杉矶湖人队聘用了以打破陈规闻名的新教练费尔·杰克逊,费尔·杰克逊曾带领芝加哥公牛队赢得 6 次 NBA 总冠军。湖人队拥有大量实力球员:明星中锋、身高 2.13 米的“大鲨鱼”沙奎尔·奥尼尔,正处在最佳的运动状态;21 岁的后卫科比·布莱恩特,4 年前刚刚高中毕业,凭借自己的努力,成了一名越来越耀眼的明星球员。这两员大将——“大鲨鱼”奥尼尔和“得分王”科比——一直是湖人队在 NBA 中取胜的法宝,再配上杰克逊这样出色的教练,可谓“将遇良才”,杰克逊能使两人发挥出最高水平,对于湖人队来说更是如虎添翼。
然而,这种普遍的看法在湖人队身上却意外地落空了。前一个赛季,即因劳资纠纷、球员纷纷罢赛而导致赛季“缩水”的 1998~1999 年赛季,湖人队一直状态不佳,球队三易主帅,比赛胜负比为 31∶19,在第二轮季后赛中更是连输圣安东尼奥马刺队 4 场,被淘汰出局。与此同时,科比和奥尼尔“水火不容”,奥尼尔毫不掩饰自己对科比的嫉妒之心。科比还不到 21 周岁的合法饮酒年纪,人气却直逼久经沙场的“大鲨鱼”,在洛杉矶的运动商店里,科比球衣的销量也超过了奥尼尔,两人因此关系紧张。此时的西部联盟十分强大,拥有像圣安东尼奥马刺队和波特兰开拓者队这样紧密团结且经验丰富的球队,相比之下,湖人队则过于弱小,根本无法与之对抗。
在第三场常规赛中,湖人队不敌波特兰开拓者队。奥尼尔当即在赛场发飙,中场时被驱逐出场,这似乎印证了那些电视评论员和向来语不惊人死不休的节目主持人最担心的事。就连来自湖人队家乡的《洛杉矶时报》也开始批评湖人队,认为它只能排在 NBA 最佳球队的第 7 位,还责怪来自拉斯韦加斯的裁判人员在赛季开始前曾做出相对乐观的估计——湖人队会以 4∶1 的总比分赢得 NBA 总冠军。
进入 1999~2000 年常规赛季才几周的时间,拉斯韦加斯的篮球赌客们就开始持怀疑态度,他们将对湖人队的胜算提高到 6.5∶1,对于那些敢于挑战传统观念的人来说,可能会欠下巨额赌债。乌尔加利斯从不相信传统观念,他认为这些观念明显很荒唐,而正是这些传统观念中的缺点成就了他的成功。报纸的专栏记者和篮球赌客把太多的精力放在那些不起眼的数据样本上,而忽视了数据周围更大的环境和情势。
乌尔加利斯并不觉得湖人队打得有多么差劲。尽管赛程十分艰难,而且需要不断地适应新教练,还要应对科比因伤缺阵的困局——科比在季前赛扭伤了手腕,此后一直没有打比赛。尽管出现了各种状况,可是湖人队在 7 场比赛中,依然获得了 5 场胜利。因为球员罢工和教练更迭,1998~1999 年赛季的湖人队可谓支离破碎,媒体焦点总是集中于此,却忽略了 1997~1998 年赛季比较正常的情况下,湖人队的胜负场比数达到 61∶21。乌尔加利斯观看过很多场湖人队的比赛,他很欣赏杰克逊的执教方式,所以他把自己的全部积蓄 8 万美元都押在湖人队身上(只留下很少一部分用作学费和生活费),赌湖人队这个赛季一定会赢得 NBA 总冠军。如果乌尔加利斯赌赢了,就能挣到 50 万美元,如果赌输了,他还得回到机场去做那份两班倒的工作。
起初,乌尔加利斯的直觉非常敏锐。他投下赌注时常规赛还剩下 71 场(共 82 场),而湖人队到赛季结束时赢得了其中的 62 场比赛,包括 3 次连胜——一次连赢 19 场,一次连赢 16 场,还有一次连赢 11 场。最终,湖人队以 67 胜 15 负的成绩结束了该赛季的比赛,这是 NBA 历史上常规赛季的最佳胜率之一。但在季后赛里,湖人队赢的就没有这么轻松了。那时的西部联盟各支球队的打法迅猛强劲,即使因为常规赛的突出表现而赢得主场优势的湖人队,想要在季后赛取得 4 连胜也并非易事。
季后赛第一轮,湖人队侥幸战胜了勇猛的萨克拉门托国王队,两支球队一直打到第五场决胜赛(当时的季后赛采取的是首轮五局三胜制,2001 年之后首轮也改为七局四胜制)才分出胜负。随后的西部联盟半决赛中,湖人队对阵菲尼克斯太阳队还算轻松。但是,在之后的一轮比赛中打得十分艰苦。湖人队拖住了波特兰开拓者队,开拓者队由迈克尔·乔丹的前任助手、杰克逊以前的学生斯科蒂·皮蓬带队,还拥有打法成熟的全能球员。尽管开拓者队缺少湖人队那样的天才球员,但是他们慢节奏的打法和强硬的身体对抗常常使其他球队乱了阵脚,总的来说,开拓者队仍然是湖人队的强劲对手。
决赛中,湖人队轻取七局四胜制系列赛的第一场比赛,可之后的表现就如同过山车一般。第二场对战波特兰开拓者队的比赛在洛杉矶举行,湖人队的表现糟糕得让人难以置信,在第三节比赛中连丢 20 分,整场比赛的比分是 77∶106,这是本赛季湖人队败得最惨的一场比赛。
之后的两场比赛是在波特兰的玫瑰花园球馆进行的。第三场比赛中,在上半场落后 13 分的情况下,湖人队众志成城,上演逆转好戏,由科比·布莱恩特在最后两秒投入绝杀一球。第四场比赛湖人队继续着超水平的发挥,罚球命中率不堪入目的奥尼尔竟然也投中了所有的 9 个罚球,追平了两队之间 11 分的差距。就这样,湖人队将总比分扩大到了 3∶1,用杰克逊的一句不太恰当的话说就是,开拓者队已经站在了“死亡之门”的门口。
但是,到了在洛杉矶斯台普斯体育馆进行的第五场比赛,湖人队却始终无法把球投进篮筐。整场比赛共投篮 79 次,只有 30 次命中,最后以 88∶96 的成绩告败。第六场比赛又回到波特兰,湖人队仍然找不到状态,结果开拓者队以 103∶93 的比分轻松获胜。这样,双方又打成了平局,决定胜负的第七场比赛将在洛杉矶进行。
对于一个篮球赌客来说,最谨慎的做法就是对冲投注。比如,假设乌尔加利斯一面下注 8 万美元赌湖人队最终获胜,另一面下注 20 万美元赌开拓者队会在 2∶3 落后的情况下赢得第七场比赛,这样就会锁定乌尔加利斯所得的利润:乌尔加利斯不仅可以从对冲投注中收回投下的 8 万美元赌资,还会得到 22 万美元的净利润;如果开拓者队在 2∶3 落后的情况下没有最终获胜,而是湖人队最终获胜,乌尔加利斯最初投下的 8 万美元赌资会损失掉,他还可能会损失掉对冲投注的 20 万美元,但是仍然可以得到在两支球队上同时投注所得的 32 万美元的净利润。这个数目虽然无法与 50 万美元的目标相比,却也相当可观了。
但是这里有一个小问题:乌尔加利斯根本就没有 20 万美元,也不认识拥有这么多钱的人,至少在他可以信任的人里没有这样的有钱人。他只是一个 23 岁的机场行李搬运工,住在温尼伯哥哥家的地下室。很明显,他下注的结局只有两个,要么湖人队赢,要么他破产。
比赛之初,乌尔加利斯的运气并不是太好。开拓者队对奥尼尔处处盯防,想把他逼到罚球线上,对于湖人队来说,奥尼尔的每次罚球都是一次冒险(因为奥尼尔的罚球命中率低),或者让他为了避免因犯规满 6 次离场而备受束缚。在第二节的上半时比赛中,这种作战策略确实奏效了,奥尼尔犯规 3 次而且一直未能得分。第三节比赛中,皮蓬带领的开拓者队继续此前的凶猛攻势,最终以一个 3 分球结束了该节比赛,领先湖人队 16 分,斯台普斯体育馆嘘声四起。
此时,乌尔加利斯的胜算很低。湖人队在第三节比赛只剩两分钟时还落后 16 分,几乎没有哪支球队处在这样的困境中还能扳回比赛,据计算,湖人队失败的概率大概为 15∶1。乌尔加利斯的赌注——离开温尼伯的车票——似乎只能泡汤了。
但是,第四节比赛一开始,开拓者队依靠硬碰硬的身体对抗打法开始出现弊端,队员因不断的撞击体力消耗很大,身心俱疲。而湖人队是在主场作战,心理学家认为,主场作战会使运动员在必要时产生额外的兴奋感。湖人队是一支年轻的队伍,他们的活力源源不断。
开拓者队一下子陷入了得分荒,第四节比赛开始后的 6 分钟内一分未得,而湖人队此时则加快了进攻的脚步,将比分差距缩小到个位数,先是缩小到 5 分,之后又缩小到 3 分,接着布莱恩·肖的 3 分远投将比分扳平,最后,科比的两记罚球使湖人队的得分反超。尽管比赛最后几分钟开拓者队的投篮命中率有所提高,但为时已晚,湖人队的两位巨星科比和奥尼尔完成了一次连贯的空中接力,锁定了比赛的胜局。
两周后,湖人队迅速完胜印第安纳步行者队,赢得了“魔术师”约翰逊时代的第一个 NBA 总冠军,而机场行李搬运工乌尔加利斯也加入了准百万富翁的行列。
成功的赌客是如何思考问题的?
乌尔加利斯怎么会知道湖人队能够获胜呢?其实他并不知道。成功的“赌客”以及任何领域中成功的预测者,从来不会以稳赚不赔的心态、无懈可击的理论和极其准确的尺度去看待未来,这些都是失败者的幻想,是过度自信的弊病。成功的“赌客”会把未来看成零星的可能性,这些可能性会像股票行情一样随着新信息的出现而上下浮动。当赌客们能够确保自己的预测不会出差错时,他们才会下注。
比如,乌尔加利斯下注时,拉斯韦加斯赌客们的态度就已经暗示了湖人队只有 13%的胜算赢得 NBA 总冠军。乌尔加利斯并不认为湖人队获胜的概率是 100%,但是乌尔加利斯确信的是,湖人队获胜的概率不止 13%,他认为获胜概率约为 25%。如果乌尔加利斯的计算是正确的,那么他的赌注从理论上说会赢得 7 万美元的利润。
表 8–1 乌尔加利斯眼中的湖人队赌局
结果 | 概率 | 净利润 |
湖人队胜利 | 25% |
## +520 000 美元 | |
湖人队失败 | 75% |
## –80 000 美元 |
预计获利 |
## +70 000 美元 |
然而,如果将未来定位为概率色调梯度中的灰色,那么“现在”就是黑色和白色了。乌尔加利斯有 25%的概率获得 52 万美元,扣除有 75%的概率会损失掉的 8 万美元,得出的 7 万美元就是乌尔加利斯所能获得的理论上的利润。长期看来,输赢是对等的:对于一个出色的预测者来说,过去和未来的情况都可以依据长期概率表现出来,因此两者之间更加相似,却与当下的情况有所不同。但是,这是一个“开弓就没有回头箭”的赌局,乌尔加利斯需要极大的把握(他认为有 6 个不同的理由可以解释赌客们低估了湖人队的实力),还需要保持极为清醒的头脑,这样才能达成目标。
图 8–1 成功赌客眼中的世界
既然乌尔加利斯已经为自己筹集到了资金,他还是可以承担得起较小的风险的。乌尔加利斯可以在某个典型的 NBA 篮球之夜投三四个赌注。以任何正常的标准来看,这些都是极大的赌注,可与他获得的净利润相比,这些钱都是小钱,小到他看似根本不把这些钱放在眼里。我去拜访乌尔加利斯的那天晚上,他的眼睛聚精会神地盯着那些平板电视,眨都不眨一下,直到犹他爵士队将身高 2.19 米、动作不够灵活的乌克兰籍球员基里洛·费森科派上场,他才得空眨了眨眼睛,因为他知道,这一举动无疑表明爵士队已经认输了,而他自己也丢掉了押在这个队身上的 3 万美元。
乌尔加利斯的大秘诀在于,他根本就没有什么大秘诀,却有上千个小秘诀,他每次都把这些信息量子组合为一个矢量。比如,他有一个程序,这个程序可以对每一场比赛的结果进行模拟。但是,他并不完全依赖这个程序,只有在胜算很大或是有其他信息补充进来时,他才会依赖该程序。几乎所有 NBA 比赛他都看过——不论是直播还是录播——对于哪支队伍表现出色而哪支队伍表现不佳,他都有自己的看法。他经营着一家球探服务机构(本质上说其实是为他自己服务的),雇用了一些助手,让这些助手将每个球员在每场比赛中的防守阵形绘制成图,这种做法给乌尔加利斯带来的好处就连很多 NBA 球队都望尘莫及。他关注了几十名 NBA 球员的微博,仔细查看每一条 140 个字符的微博内容,试图从中找出关联信息:若某位球员发微博说自己那晚晚些时候会去某个夜总会,那这位球员的心思很可能根本就没在比赛上。乌尔加利斯十分关注球队教练在新闻发布会上说的话及他们的措辞,比如,如果某位教练说,他希望他的队伍“学习进攻”或者“练好篮球基本功”,那可能表明他希望放慢比赛的节奏。
对于大多数人来说,乌尔加利斯观察的这些事物似乎十分琐碎。从某种意义上来说,那些大而明显的优势也会被其他篮球赌客发现,也会在盘分线上反映出来。所以,乌尔加利斯必须作进一步的研究。
比如,2002 年赛季末,乌尔加利斯注意到,凡是克里夫兰骑士队参加的比赛,比分都会超出下注的总分数(体育赌注主要有两种,一种是计算分数差,另一种是计算总分,即两支队伍得分的总和)。连着看了十几场比赛之后,乌尔加利斯很快就找到了原因:骑士队的得分后卫里基·戴维斯是出了名的自私自利,在赛季结束之后他即将成为自由球员,因此他所做的每件事都是为了提高自己的统计数据,尽可能地提升自己的价值。里基·戴维斯总是在千钧一发的时刻,努力组织进攻,制造各种机会增加自己的得分和助攻次数。比赛精彩与否已不再重要:骑士队已经丢掉了夺冠的机会。多数情况下,骑士队的对手也会丢掉夺冠机会,而且作为回报,双方会签订一份默契协议,在之后的比赛中,防守松懈、轮流投篮,从而提高自己的统计数据。该赛季最后 3 周里,骑士队参赛的比赛总得分突然从每场 192 分上升到每场 207 分。在总分上投注不是多么确切的事,当然,世上本就没有什么是确切的,但是总分投注却可以让投注人一本万利。
回顾过去,这样的比赛模式有时十分明显:如果骑士队除了不断地提高进攻数据以外什么都不做,那么,他们参加的比赛必会是高分比赛。篮球赌客在看统计数据时,观点极其偏执,从不考虑统计数据是在什么样的背景下产生的,于是这些球员就可以玩障眼法。如果一支球队一连串比赛的得分都很高,甚至出现三四次这种连续高分的情况,这样的高分通常没有任何意义。确实,因为 NBA 赛季很长,30 支球队要打 82 场常规赛,舞弊的现象时有发生。这些比赛大多为深水盘,这些情况的出现纯属偶然原因导致。而实际上,篮球赌客们通常也会认识到这些趋势,他们在划定盘分线时可能就会对这些趋势进行过度补偿,有时反方向下注才是明智的做法。
所以,乌尔加利斯不单单是寻找过去的比赛模式,在任何一个数据丰富的领域,寻找模式很容易,一般的赌客也都是这么做的。关键是要分辨出这些模式到底是噪声还是信号。
虽然还没有找到可以解释乌尔加利斯下注时作为依据的关键点,但是有一种思维过程可以帮助他作决定,这就是贝叶斯定理。
贝叶斯留下的宝贵遗产
托马斯·贝叶斯,大概于 1701 年出生(不过后人更倾向于 1702 年),他是一位英国牧师,也是英国皇家学会会员。虽然人们用贝叶斯的名字为概率论命名——贝叶斯定理或许是数理统计学中最著名的定理了——但对他的生平却知之甚少,甚至没有人知道贝叶斯的样貌,印在百科全书上的肖像大多也是张冠李戴,根本就不是他的真容。
贝叶斯出生在一个富足的家庭,他的家可能位于英国东南部的赫特福德郡,关于这一点人们基本上没有什么争议。因为贝叶斯不信奉英国国教,所以被牛津或剑桥这样的学府拒之门外,他只能不远万里到爱丁堡大学读书。
尽管贝叶斯所著图书的种类并不算多,但还是被选为英国皇家学会会员,在英国皇家学会,他担任内部评论家或者智力辩论的裁判员。尽管《神的慈爱》这篇短文是用约翰·努恩的署名发表的,但大部分学者认为这篇文章其实就是贝叶斯的作品。文中,贝叶斯思考了古老的神学问题:如果上帝真的是慈爱的,这世上为何还会有苦难和邪恶?贝叶斯给出的答案大体上是,我们不能将人类的瑕疵误认作上帝的缺陷,我们可能并不完全理解上帝所创造的这个世界。贝叶斯在给另一个神学家的回信中写道:“所以一切看起来都那么奇怪……因为上帝只看到世界最底层的生活,他应该由此推断出整个人类会丧失幸福感。”
贝叶斯的作品《机会的学说概论》(又称《论有关机遇问题的求解》)的名气更大一些,直到 1763 贝叶斯去世之后,这部作品由他的朋友理查德·普莱斯引介到英国皇家学会,引起了学会的注意,随后才得以出版。这部作品主要研究的是,当我们遇到新数据时,该如何使用概率的方法进行推理。
在向众人呈现贝叶斯这一著作时,普莱斯举了一个“人”的例子,他是第一个出现在这个世界上的人(他可能是亚当,也可能是来自柏拉图洞穴的人),也是第一个看见日出的人。起初,这个人并不知道日出是必然现象还是偶然现象。然而,此后他度过的每一天太阳都会升起,于是他信心大增,认为这就是大自然的一个永恒特征。渐渐地,通过这一纯粹的统计学形式的推断,他预测太阳每天升起的概率为 100%(尽管从未达到 100%)。
贝叶斯和普莱斯并不认为这个世界本质上是盖然性的或不确定的。贝叶斯相信神是完美的,但他同时也支持牛顿的学说,认为大自然遵循一种有规律且可预测的法则。贝叶斯的理论更像是一种声明,从数学方面和哲学方面表达了我们是如何了解宇宙的:我们通过近似值一点点地模拟并认识宇宙,收集越多的证据,就越接近真相。
这与苏格兰哲学家戴维·休谟的无神论观点形成了鲜明对比。休谟认为,既然我们不能确定太阳能否再次升起,那么认为太阳会升起和认为太阳不会升起的预测都是不合理的。贝叶斯则认为,合理性也是一种盖然论。其实贝叶斯和普莱斯是在告诉休谟,不要指责大自然,我们无法理解大自然只是因为我们不够聪明;如果你从无神论的牛角尖中走出来,并且对自然的规律作一些预测,也许就会离真相更近一些。
概率、预测与科学进步
我们可能注意到了,无神论的主张与贝叶斯在《神的慈爱》中提到的观点(我们不能把自己的不足怪罪到上帝头上)如出一辙。承认自我的缺陷才能补救不足。
然而,贝叶斯的哲学思想本质上没有任何宗教色彩。今天公认的贝叶斯定理就是一个普通的不能再普通的数学表达式,是由法国数学家、天文学家拉普拉斯推导出来的,而拉普拉斯就是一个无神论者。
也许你还记得,本书前文中提到拉普拉斯是科学决定论的倡导者。他认为只要给定宇宙内每一粒子的位置,并能快速计算其运动规律,人们就能完美地做出对宇宙的预测。那么,拉普拉斯为什么也与基于盖然论的理论撇不清关系呢?
原因在于,大自然完美无缺,人类对自然的认知和了解却缺憾万千,二者之间又断了联系。当天文观测显示木星和土星的运动轨迹出现异常时,拉普拉斯几乎要崩溃了,因为按照他的预测,木星即将撞上太阳,而土星即将飞入外太空。当然,这些预测都是错的,而拉普拉斯毕生都致力于测量这些行星的运行轨迹,力求得到更加准确的数据。那时,望远镜这样的仪器还不够精密,因此拉普拉斯所取得的进步只能依赖概率推理而非精确的测量。在拉普拉斯的眼中,概率是介于无知与博闻之间的基准点,更透彻地理解概率对科学进步极为重要。
18 世纪时,贝叶斯和拉普拉斯对概率、预测和科学进步之间的内在联系理解得更加透彻,借助几百年前发明的印刷机,人类社会由此开始进入信息大爆炸时期,并最终将这些信息应用于推动科学、技术和经济的持续进步。这种内在联系至关重要,与预测行星运行轨迹和湖人队能否夺冠一样重要。就像我们即将看到的那样,当另外一种不同的统计模型成为 20 世纪的主导时,这种模型不再强调预测的作用,而是试图将不确定性说成我们测量失误的结果,与我们错误的判断无关,科学发展就会受到牵绊。
简单的运算推导出重大的预测
如果说贝叶斯定理的哲学基础惊人地深厚,那么相比而言,其数学运算就少得可怜了。在其最基本的形式中,数学运算只是个代数表达式,包含 3 个已知变量和一个未知变量。然而,就是这样一个简单的运算,却可以推导出重大的预测。
贝叶斯定理涉及条件概率,也就是说,一旦发生了某个事件,这一定理就可以告诉我们一种理论或假设是否正确。
假设你和伴侣同住,某天出差回家后发现自己的衣橱里多出一件陌生的内衣。你可能会奇怪:自己的伴侣是不是出轨了?前提条件是,你找到了内衣,你想要评估的是自己的伴侣出轨的可能性。不论你相信与否,对于这样的问题,贝叶斯定理总能给出答案——假如你知道(或者有意愿预估)下列 3 个量:
第一,你需要预测出自己的伴侣在出轨的情况下,这件内衣出现的概率。为了解决这个问题,我们暂且假设你是一位女性,而你的伴侣是一位男性,那么,此时我们所说的内衣就是一件女式内衣。如果你的伴侣出轨了,那么很容易想象这件内衣是如何进入你的衣橱的。那么,即使他确实要做对不起你的事,你也希望他能够小心行事。在他确实背叛了你的情况下,我们认为,这件内衣出现的概率是 50%。
第二,你需要预测出自己的伴侣在没有出轨的情况下,这件内衣出现的概率。如果他没有出轨,有什么理由证明那件内衣的清白呢?当然有些理由会令人不快(比如这件内衣也有可能是他自己的)。或许,他把衣服搞混了;或者你的伴侣有一位红颜知己,两人之间只存在纯友谊,而你对此也深信不疑,她寄宿一晚忘了带走内衣;或者这就是你的伴侣给你准备的一件礼物,只不过忘了把它包起来。尽管这些理由有些荒谬,但也能说得通。你将这种情况出现的概率定为 5%。
第三,这点最为重要,你需要预测贝叶斯定理中所说的先验概率(或者简称先验)。在发现内衣之前,你认为自己的伴侣出轨的概率有多大?当然,现在很难完全客观地考虑这个问题,因为你已经发现了内衣。(在理想状态下,在开始查验证据之前,你就已经算出了先验概率。)但有时我们可以依据经验推断某事件发生的概率。比如,研究发现,已婚夫妇任何一年的出轨概率都在 4%左右,所以,我们可以将这个概率视为先验概率。
如果我们算出了以上 3 个概率值,就可以依据贝叶斯定理得出后验概率。令我们感兴趣的是这样的数据:在发现内衣的情况下,伴侣背叛我们的概率有多大?计算结果(和计算所得出的简单代数表达式)见表 8–2。
从图中可以看到,这一概率非常低:只有 29%,这个结果也许看似仍有悖常理——那件内衣果真是清白的吗?但这一概率之所以较低,是因为你把伴侣出轨的先验概率设定得很低。尽管一个清白的男人不能像出过轨的男人那样,能为一件陌生内衣的出现找出很多看似合理的解释,但你一开始就把他当作清白的人,这一点对方程式中影响很大。
表 8–2 贝叶斯定理——内衣例子
先验概率 | ||
男友出轨的初始概率预测 | x | 4% |
新事件:发现神秘内衣 | ||
在男友出轨的情况下,内衣出现的概率 | y | 50% |
在男友未出轨的情况下,内衣出现的概率 | z | 5% |
后验概率 | ||
在你发现内衣的情况下,修正对男友出轨的预测值 | xy xy + z(1 - x) | 29% |
当我们的先验观念很强大时,它们在新出现的证据面前会表现出惊人的弹性。有一个经典的例子可以证明这一点,那就是女性 40 多岁时患上乳腺癌的概率。女性步入 40 岁之后,患乳腺癌的概率其实很低,只有 1.4%,这是很幸运的。但是,如果一位女性的乳房 X 光片显示阳性,那么她患乳腺癌的概率会是多少呢?
研究显示,如果一位女性未患乳腺癌,其乳房 X 光片会错误地显示她患乳腺癌的概率仅为 10%。而如果一位女性确实患有乳腺癌,X 光片会查出她患乳腺癌的概率约为 75%。看到这些统计结果,你会觉得阳性 X 光片似乎确实不是什么好消息,但如果用贝叶斯定理来分析这些数据,你会得到不同的结论:40 多岁的女性,即使乳房 X 光片呈阳性,其患乳腺癌的概率也只有 10%,因为鲜有女性年轻时就得上乳腺癌。因此,许多医生都建议女性在 50 多岁时再进行常规的乳房 X 光检查,而这样会使得患乳腺癌的先验概率更高。
这样的问题无疑极具挑战性。最近一项针对美国人的统计学意识的民意调查就介绍了这个乳腺癌的例子,结果发现,只有 3%的受访者能够给出正确的概率估值。有时,放慢速度直观地审视这个问题(如图 8–2 所示),反而会得到与不准确的估值完全相反的真实数值。可视化技术使得人们更容易考虑全局,因为乳腺癌在年轻女性中病发率极低,所以阳性 X 光片根本就不能说明问题。
图 8–2 贝叶斯定理——乳房 X 光片的例子
然而,我们通常会把焦点集中到最新、最快获得的信息上,而忽略了全局。鲍勃·乌尔加利斯这样聪明的赌客善于利用我们的这种思维缺陷。乌尔加利斯在湖人队的比赛上赌赢了,一部分原因是其他赌客过于关注湖人队最初的几场比赛。虽然有一员大将受伤,湖人队的表现仍然与你预想的强队应有的表现相差无几,可赌客还是将湖人队获胜的概率从 1/4 降到 1/6.5。贝叶斯定理要求我们认真考虑这些问题,当我们的原始近似值过于粗糙时,这一点很有用处。
不过,这并不能说明我们的先验概率总是支配新的证据,也不能说明贝叶斯定理本身会产生有悖常理的结果。有时,新证据的力量十分强大,会压倒所有其他证据,我们对一件事情的概率估计几乎可以立即从零跃升到 100%。
这里,我还要提到一个比较沉重的例子:“9·11”恐怖袭击事件。2001 年 9 月 11 日清晨,当我们从梦中醒来时,大部分人都想不到恐怖分子的飞机会撞向曼哈顿世贸中心大楼。但是,世贸中心第一次遭遇袭击之后,我们才意识到这也许是一次恐怖袭击。直到第二座高楼被袭击之后,我们才相信确实遭遇了恐怖袭击。
贝叶斯定理可以复制这个结果。比如,在第一架飞机撞击大楼之前,我们预测曼哈顿的高楼遭遇恐怖袭击的概率只有 1∶20 000 或 0.005%。当然,我们还是会认为世贸中心意外遭遇飞机撞击的概率是非常低的。人们靠经验也能准确地预测出 0.005%这个数字:9 月 11 日之前的 25 000 天,一直有飞机盘旋在曼哈顿的上空,而期间只发生了两次这样的意外事故:一次是 1945 年的美国帝国大厦事件,另一次是 1946 年的川普大厦事件。这样看来,此类意外事故的日发生概率只有 1∶12 500。在第一架飞机撞上世贸中心大楼的那一刻,如果用贝叶斯定理计算这些数据(表 8–3A),发生恐怖袭击的概率便会从 0.005%剧增至 38%。
表 8–3A 贝叶斯定理——遭受恐怖袭击的例子
先验概率 | ||
恐怖分子驾机撞击曼哈顿世贸中心大楼的初始概率预估 | x | 0.005% |
新事件:第一架飞机撞击世贸中心大楼 | ||
恐怖分子驾机袭击曼哈顿世贸中心大楼的概率 | y | 100% |
恐怖分子未驾机袭击曼哈顿世贸中心大楼的概率(意外事故) | z | 0.008% |
后验概率 | ||
在第一架飞机袭击世贸中心大楼的情况下,恐怖分子袭击曼哈顿 世贸中心大楼的概率预估 | xy xy + z(1 - x) | 38% |
然而,贝叶斯定理暗含的意思并不是说,我们对概率的预测只可以作一次更新,相反的,鉴于新证据的不断涌现,我们需要不断地更新自己的预测结果。于是,第一次恐怖袭击的后验概率 38%,在第二次袭击之前就会变成先验概率。这时再来进行世贸中心遭遇第二次恐怖袭击的概率运算,我们遭遇袭击的概率就变成了 99.999%,这就表示恐怖袭击必会出现。在阳光灿烂的纽约出现意外事故的概率很低,而就像我们推断出来的可怕结果一样,第二次恐怖袭击很有可能会发生。
表 8–3 贝叶斯定理——遭受恐怖袭击的例子
先验概率 | ||
在第一架飞机袭击世贸中心大楼的情况下,恐怖分子再次袭击曼 哈顿世贸中心大楼的概率 | x | 38 % |
新事件:第一架飞机撞击世贸中心大楼 | ||
恐怖分子驾机袭击曼哈顿世贸中心大楼的概率 | y | 100 % |
恐怖分子未驾机袭击曼哈顿世贸中心大楼的概率(意外事故) | z | 0.008 % |
后验概率 | ||
在第二架飞机袭击世贸中心大楼的情况下,恐怖分子第三次袭击 世贸中心大楼的概率 | x y xy + z(1 - x) | 99.99 % |
恐怖袭击、癌症、出轨等,这些富有挑战性的例子都是我精心挑选的,因为它们更能体现出贝叶斯定理的应用十分广泛。贝叶斯定理不是什么神奇的公式,在本书使用的简单形式中,无非是加、减、乘、除这些运算。我们还需要添加更多信息,特别是对先验概率的估计值,这样才能得出有用的结果。
即使是涉及我们不愿称为“偶然事件”的事件,贝叶斯定理也会要求我们用概率的方法思考问题。拉普拉斯认为,世间万物,不论是行星的运行轨迹,还是最小的分子运动,都是受牛顿定律支配的,这对于发展贝叶斯定理也是极有帮助的。不同的是,贝叶斯定理并不是要求我们认为世界在本质上和理论上都是不确定的,这一定理研究的是认识论的不确定性,也就是我们认识的局限性。
为什么大数据时代的预测更容易失败?
如果不能按照贝叶斯定理来思考问题,不单是乳房 X 光片会出现“假阳性”报告,所有科学都会出问题。2005 年,埃尼迪斯发表了一篇非常有影响力的文章,题为“为什么大多数发表的研究成果都是骗人的”。埃尼迪斯在文中引用了大量统计论据和理论论据,就是为了说明医学期刊和其他学术或科学领域中,大量被视为真实的假设实际上都是不真实的。
正如我们提到的那样,埃尼迪斯的假设看上去还算是真实的。拜耳实验室发现,当他们试图利用实验再现医学期刊中的阳性结果时,却发现约 2/3 的结果都无法复制。检查一项研究发现是否真实的另一条途径是,看其在真实世界中能否做出准确的预测,正如本书所示,大多数情况下,这些发现都无法做出准确的预测。各个领域,从地震学到政治科学,预测的失败率实际上相当高。
埃尼迪斯告诉我:“过去 20 年里,可供使用的信息、基因组学和其他技术皆呈指数增长,有几百万个有趣的变量供我们测量。因此,我们希望利用这些信息和技术使预测成真,我这样讲并不是说我们过去没有取得多少进步,几百万份论文铺天盖地,如果真是没有什么进步,那将多么令人惭愧。但我们的新发现的数量明显比不上论文的数量,在创造新知识方面,大部分论文所做出的贡献真是微不足道。”
这也是为什么我们的预测在大数据时代更容易失败。拥有的信息量呈指数增长,需要验证的假设也正在以同样的速度增长。比如,美国政府现在发布了约 45 000 份关于经济的统计数据,如果你想要探究这些统计中所有两两组合之间的关系,比如亚拉巴马州的银行优惠贷款利率和失业率之间是否存在因果关系,则需要对 10 亿个假设进行验证。
但是,数据中那些有意义的关系组合——这里指的是因果关系而非相关性组合,而且这些组合能够证实这个世界是如何运转的——少之又少,增长的速度也不及信息本身的增长速度快,如今的真实信息也并不比互联网和印刷机问世之前多多少。大多数数据都只是噪声,就像宇宙的大部分都是真空区一样。
与此同时,就像贝叶斯定理所讲的那样,在某一个群体中,当某事的潜在发生率很低时(如年轻女性患乳腺癌的概率或庞大数据的真实性),如果我们不够小心,错误的判断就会主导事件的结果。图 8–3 生动地体现了这一点。在图中,80%的“真实”科学假设都被视为正确,而 90%的错误假设则遭到抵制,这看似没问题。然而,因为真实的发现非常少有,而其中却大约有 2/3 的发现被认为是真实的发现,其实是错误的。
不幸的是,就像埃尼迪斯指出的那样,大部分进行统计学检验的领域所发表的研究著作,大概都如图 8–3 所示。错误率为什么这么高?本书在一定程度上解答了这个问题。原因有很多,有些与我们的心理偏见有关,有些与普遍的错误方法有关,还有一些与错误的动机有关。然而,归根结底是因为这些研究应用的统计学思维方式存在缺陷。
图 8–3 错误的判断图解
当统计数据偏离了贝叶斯定理
托马斯·贝叶斯最主要的思想劲敌大概要数英国统计学家及生物学家罗纳德·艾尔默·费希尔了。费希尔在贝叶斯去世将近 120 年后(1890 年)才出生,他天性活泼,几乎可以成为克里斯托弗·希钦斯笔下的英国传统智慧型人物。费希尔长相清秀却衣衫不整,不是叼着烟斗,就是抽着香烟,还时不时地与真实存在的竞争对手或假想敌发生冲突。他在讲课方面平淡无奇,可做起文章来却深刻透彻,在戏剧创作上也极具天赋,另外大家都很喜欢和他共同进餐。费希尔兴趣广泛,是当时最杰出的生物学家和遗传学家之一,但作为精英人物,他却毫不掩饰地抱怨社会贫困阶层的生育率高于知识分子阶层的生育率。(而他本人就有 8 个孩子。)
统计学方法在当今之所以能够得到广泛使用,费希尔功不可没。他提出了“统计学显著性检测”的术语及方法论。虽然费希尔在他发表的一篇论文中第一次使用了“贝叶斯定理”这个术语,但其本意是想贬损贝叶斯。费希尔的另外一个主张是“将贝叶斯定理完全摒弃”,也可以说,他对贝叶斯和拉普拉斯完全不感兴趣。
费希尔和他的同代人在本质上对所谓的贝叶斯定理没有异议,因为贝叶斯定理不过是一个简单的数学公式。可贝叶斯定理的应用却让他们十分担忧,对贝叶斯先验概率这一概念格外忧心,他们认为这一概念似乎过于主观。
于是,费希尔等人力图建立一套统计学方法,为的是让我们不再受到主观偏见的干扰。现在,尽管这种统计学方法偶尔才会用到,但人们通常称之为“频率主义”。
“频率主义”的隐含意思就是,仅从人口样本(而非所有人口)中收集数据是导致统计学问题中出现不确定性的原因。这一点在政治民调中体现得淋漓尽致。在加利福尼亚州,有 800 万人要为即将到来的选举投票,如果只选出其中的 800 人进行抽样调查,结果就会出现人们所说的抽样误差。你在政治民调中看到的误差幅度就是用来量化抽样误差的:从 800 万人的投票结果中取出 800 份样本,究竟会出现多大的误差。“频率主义”的统计学方法正是用来量化误差的。
然而,即使是在政治民调中,抽样误差也并不总能反映事情的全貌。2008 年,艾奥瓦州民主党举行了决策会议,而新罕布什尔州进行了美国民主党初选,短暂的间歇时间里,在新罕布什尔州约有 15 000 人接受了调查——对于这个面积比较小的州来说,这个数目实在算得上巨大了,从理论上来讲,这个受访者的数量足以将误差幅度控制在±0.8%。然而,实际的误差却达到了 8%左右:民调显示希拉里在这个州的选票数会输给奥巴马 8 个点,而实际上,希拉里却以领先 3 个点的优势获胜了。抽样误差——这个“频率主义”唯一可以直接解释的错误类型——在新罕布什尔州的政治民调中可能只是一个小问题。
同样的,一些民调公司总是显示出对某一党派的倾向:他们可能对 2 亿美国成年人进行调查,但仍然得不到正确的结果。早在 250 年前,贝叶斯就解决了这个问题。如果使用的工具本身就带有偏见,那么作了多少测量并不重要,因为你的目标定错了。
从本质上看,“频率主义”解决统计学问题的方法是极力摆脱使预测出错的最常见原因——人为错误。“频率主义”认为不确定性是实验本身所固有的特质,而非我们认识真实世界的能力中所固有的特质。“频率主义”的方法还意味着,你收集的数据越多,所犯的错误最终就会越趋近于零:这是解决所有问题的充分必要条件。本书中提到的预测问题比较严重的领域中,有用信息都十分稀缺,而收集更多的信息确实非常有价值。然而,如果使用不当,“频率主义”也不一定是通往完美统计的星光大道。正如埃尼迪斯指出的那样,大数据时代似乎只会使研究文献中的假成果问题更加严重。
不论在理论上还是实践中,“频率主义”的方法都不是很客观,要依赖大量的假设。种种方法总是假定,某一个测量方法中潜在的不确定性遵循贝尔曲线或正态分布,这是正确的假设,却不适用于股票市场。“频率主义”方法要求对样本总体下定义,在政治民调中,这一点十分明确,但在其他许多实际应用中,样本总体却存在很大的随意性。从“9·11”恐怖袭击事件中,人们能得到什么样的样本总体呢?
然而,更大的问题是,在力求设计完美无瑕的统计程序时,不能受研究者个人偏见的干扰,这就使得“频率主义”的方法总是与真实世界相隔离。这样的方法让研究者忽略了假设的基本环境和合理性,而这正是计算贝叶斯先验概率所必需的。于是,你必然会看到,一些发表了的权威论文中出现了蟾蜍是如何预测地震的,或是塔吉特百货这类大商场如何引起了种族仇恨等话题,并通过“频率主义”测验,最后产生了“具有统计学意义”(但显然是十分荒谬)的研究成果。
费希尔在其职业生涯末期变得成熟、温和,甚至偶尔还会赞扬贝叶斯一番。在费希尔漫长的职业生涯中,他的一些方法(尽管不包括当今广泛使用的方法)确实在贝叶斯定理和“频率主义”方法之间做出了妥协和让步。然而,在其生命的最后几年,费希尔出现了极为严重的错误判断,这表明了费希尔研究方法的局限性。
在吸烟和患肺癌之间的关系问题上,费希尔出现了失误。20 世纪 50 年代,人们作了大量研究,有些研究运用标准统计学方法,有些则运用贝叶斯定理,这些研究都表明吸烟与患肺癌有关,这一点在当今社会已被广泛认同。
费希尔晚年的很大一部分时间都在跟这些结论作斗争,他在《英国医学会杂志》和《自然》等颇具声望的杂志上发表了许多文章,旨在证明这一结论有误。他并不否认吸烟与患肺癌之间的统计学关系十分显著,而正如英国的苹果进口量和结婚率之间的历史关联性一样,他认为这只是把相关性误认为是因果关系,他一度还认为,是肺癌让人们更想吸烟,而不是吸烟引起了肺癌。这一思想明显是让人们无忧无虑地继续吸烟,而忘记了肺癌的困扰。
许多现在被广泛接受的科学发现,曾一度被视为一派胡言。有时是因为当时的文化禁忌(如伽利略的日心说),但多数时候是因为可用于分析问题的数据并不存在。如果直到 20 世纪 50 年代还没有明显的证据证明吸烟与肺癌之间的必然联系,那我们就不应该质疑费希尔。然而,一些学者重新调查了当时已有的迹象并得出结论,这两者之间确实存在必然联系——许多研究人员在许多领域进行了各种统计学测验及临床试验,得出的结论都表明吸烟与肺癌之间存在因果关系。这一个观点迅速成为科学共识。
那么,费希尔为什么拒不接受这一理论呢?或许他是烟草公司的受薪顾问?或许他本人就是终身烟民?或许费希尔喜欢与别人背道而驰,喜欢备受争议,而且不愿受清教主义的束缚?简而言之,费希尔在许多方面都心存偏见。
但更大的问题可能是费希尔的统计方法更倾向于假想世界,更注重实验的客观程度——只有收集到足够的数据,所有假设才能通过检验并得出完美的结论。然而,要想达到费希尔要求的那种客观程度,就不得不否认贝叶斯先验概率的必要性,还要与其他混乱的实际环境脱节。这样的方法既不要求也不鼓励我们考虑假设的合理性:认为吸烟引起肺癌与认为蟾蜍可以预测地震这两种观点相类似。费希尔意识到相关性并不总是代表因果关系,这一点是值得赞扬的,但是,费希尔的统计方法并没有鼓励我们认真地考虑哪些相关性是因果关系,哪些不是。费希尔倾其一生都以这样的统计学方法思考问题,也难怪他始终无法辨别相关性与因果关系的区别。
成功践行贝叶斯定理的体育赌客
在贝叶斯的世界观里,预测是衡量进步的标尺。我们可能无法得到百分之百的真相,但只有正确的预测才能让我们更加接近真相。
贝叶斯对赌客十分尊重。和其他早期的概率理论家一样,贝叶斯和拉普拉斯经常利用概率游戏的例子来解释自己的工作。(尽管贝叶斯本人也许不怎么爱打赌,但他更喜欢纸牌或桌球这类大众玩的赌钱游戏。)赌客作(准确的)预测,作(非常准确的)概率预测,当他决定按照自己(更准确)的预测下注时,他的世界观就暴露在所有人面前。对贝叶斯先验概率最实用的定义大概就是下注的胜率。
乌尔加利斯是典型的“贝叶斯”式赌客,他喜欢精确地对篮球比赛下注,因为他可以用这种方式进行自我检验,也可以检验其下注的准确度。在我们的谈话接近尾声时,乌尔加利斯说道:“如果你是某支球队的总经理,你可能会这样说,这个队员我要了,那个队员我也要了。一天下来,你也不知道这样做是否正确,但我并不是这样做的,每天或每个赛季结束时,我都知道自己的决策是对还是错,因为我知道自己是在赢钱还是在输钱。这个方法相当灵验。”
乌尔加利斯总是想尽办法搜集篮球信息,因为任何事都可能改变他的概率估值。像乌尔加利斯这样的职业竞技体育赌客,只有在认为胜算达到 54%以上时才会下注,因为这样才足以抵消“抽头”(博彩经营者从赌客的赢利中抽的份子钱)和下注风险。凭借着高超的技艺和勤奋的工作,乌尔加利斯跻身当今世界最成功的竞技体育赌客之列,但其下注的准确率仅为 57%。要想超过这一数字,比登天还难。
只要能使乌尔加利斯将自己的胜算从 53%提高到 56%,哪怕是一条很不起眼的信息也会因此变得关系重大。不管是玩扑克牌还是玩股票,玩家就指望这点薄利维持生计了。费希尔所说的统计学意义,指的是使用任意截点来断定哪些才是“有意义的”研究结果,哪些没有意义并且缺乏研究背景,这对赌客们来说实在太复杂难懂了。
但这并不是说乌尔加利斯提出假设时,有意地避开了他在统计数据中看到的信息(费希尔有关假设检验的见解有问题,但问题不在于假设本身,而在于他推荐的检验方法)。实际上,这一点对乌尔加利斯的工作至关重要。每个人都能看到统计模型,这些模型很快会在盘分线上体现出来,问题是这些统计模型代表的是信号还是噪声。乌尔加利斯根据其篮球知识提出假设,所以他能更快、更准确地分辨信号和噪声。
从表 8–4 中可以看到,乌尔加利斯赌球的方法是一种科学方法,属于纯净馏的一种。首先观察世界,之后提出问题:为什么克利夫兰骑士队不断地赢得比赛?接着,针对这一问题搜集信息,提出假设:这是因为戴维斯正处在合约年,他极力想尽快提高自己的统计数据。乌尔加利斯和物理学家或生物学家的不同之处在于,他以下注的方式验证自己的预测,而科学家们更喜欢通过实验证实自己的预测。
表 8–4 科学方法
科学方法的步骤 | 竞技运动博彩案例 |
观察一种现象 | 骑士队不断赢得比赛 |
提出假设解释这一现象 | 骑士队不断赢得比赛是因为戴维斯即将签署新合同,所以想尽可能得高分 |
根据假设做出预测 | 直到赛季结束,戴维斯始终保持同样的状态。因此,1)他将继续以快节奏 打球,2)骑士队未来将继续打出高比分的比赛 |
检验预测 | 下注 |
如果乌尔加利斯愿意根据自己所看到的数据提出有力的假设,他就会更积极地下注。比如,假设乌尔加利斯从丹佛掘金队教练的口中读出一些信号,如将会为球迷们呈现一场“精彩绝伦的比赛”。这句话可能只是随口说说,但也有可能是在暗示,掘金队会加快比赛节奏,以拉动门票销售。如果这一假设是正确的,乌尔加利斯对掘金队的赌注胜算将达到 70%,而不是通常的 50%。因为贝叶斯定理的缘故,乌尔加利斯越信任其假设,从掘金队身上获利的速度就越快。他可能要看过一两场比赛之后才会下注,因为他要观察自己的理论在实践中是否成立,即使只使用这种方法,拉斯韦加斯的赌客们也已经望尘莫及了。相反的,乌尔加利斯要避免被统计模型干扰,正如 1999 年湖人队开场不利,这场比赛本无多少深层意义,但其他赌客却误把它当作了信号。
通往真理的贝叶斯之路
乌尔加利斯的概率预测是主观的还是客观的呢?这很难说。
按照经验来看,所有人都有各自的信仰和偏见,这种信仰和偏见是由个人的阅历、价值观、知识涵养、政治立场或专业背景等因素凝聚而成。贝叶斯定理明确地承认人们固有的观念会影响对新证据的理解,还生动地描述了人们对于世界的变化做出的反应,这是贝叶斯定理的一大优点。比如,假设费希尔认为吸烟引起肺癌的概率只有 0.000 01%,这就解释了为什么在所有证据都证明吸烟确实会引起肺癌时,这位先生仍然不信。实际上,贝叶斯定理并不干涉个人信仰,在这一理论的支持下,没有什么可以阻止你将自己认为绝对正确的事物作为自己的信仰。如果你认为上帝百分之百存在,或者上帝根本就不存在,在贝叶斯定理下,所有的证据都不会劝你改变观点。
我并非在这里告诉你对有些事物是否应当持有绝对明确的信任态度,但或许我们应该更加坦诚地说出想法。完全相信某件事的人和完全不相信某件事的人争论不休,根本就是无益之举,许多战争或许就是由这样的争论引起的(如印刷机问世之初发生在欧洲的“宗派战争”)。
这并不是说所有的先验理念都是正确无误或者行之有效的,但我认为,我们的信念使得我们永远做不到完全客观、合理或是准确。不过,我们可以尽量做到少一些主观、少一些不合理、少一些错误。基于个人信念之上的预测,是自我检验的最佳(或许也是唯一的)方法。如果客观性关注的是超越我们个人处境的更大真理,而预测是检验我们的认知是否符合真理的最佳方式,那么我们当中最为客观的人,就是作预测最准确的人。费希尔的统计学方法认为,客观性存在于实验室的实验当中,所以与贝叶斯定理相比,费希尔的统计学方法并不适合完成准确预测这一任务。
实际上,贝叶斯定理有一个特性,即随着时间推移,证据越来越多,我们的观念也应该彼此交合。在图 8–4 中,我给出了一个例子,3 个投资者正在判断自己是处于牛市还是熊市。他们最初的看法截然不同——其中一个投资者非常乐观,他从一开始就认为股票市场有 90%的概率是牛市;还有一个投资者的脾气有些暴躁,认为股市只有 10%的概率是牛市。每次股市上涨,投资者的情绪就比之前乐观一点;每次股市下跌,他们的情绪就悲观一点。然而,在我设定的这套模拟机制中,尽管每天股市上下振荡,但总的来说还是上涨了 60%。虽然道路坎坷,但 3 位投资者最终还是正确地做出了判断,他们几乎(尽管并非完全)确信自己正处于牛市当中。
图 8-4 贝叶斯定理的收敛性
从理论上来讲,科学就应该这样产生作用。达成共识的科学概念难以琢磨,但真理越辩越明,新证据不断出现,科学观点总能汇聚到一起并且向真理逼近,一如股市的曲折反复。科学界在对范例进行改编、使之与新证据相符时,虽然有时也操之过急,但通常总是过于保守。而不变的是,只要踏上了贝叶斯之旅,所有正确的甚至是错误的固有观念都会重新得到审视,并最终走向真理。
举个例子来说,此时很多科学家正在使用的统计学方法或许正在进行范式转移。我在这里对费希尔统计学方法中出现的瑕疵所作的批评并不新奇,也不过激:多年来,不论是临床心理学、政治科学,还是生态学领域的著名学者,总在发出这样的声讨,但迄今为止统计学方法仍没有任何根本性的改进。
然而,最近一些德高望重的统计学家认为,“频率主义”统计学方法不再适用于大学课程。另有一些教育学者也在考虑将费希尔定理从学报中移除。事实上,近 10 年出版的各类刊物都在向人们宣传贝叶斯定理。
乌尔加利斯也是一样。虽然不是每次作预测都遵循贝叶斯定理,但是他在假设中检验统计数据,从篮球知识中获取认知方法,甚至乐于接受概率性答案,这些完全是贝叶斯定理倡导的做法。
教科书和传统观念不会说变就变,但贝叶斯定理始终认为,我们定会找到更好的方法,因为贝叶斯定理预测到贝叶斯理论家终会大获全胜。