← 全部文章

人工智能

四个AI押完104场世界杯:92%的判断一模一样,认错率却从36%到86%

当模型必须在开赛前写下概率、押上一笔虚拟资金,并在终场后面对原话,准确率遮住的校准、决策与自我认识终于显形。

约 7 分钟

AI 生成概念示意图,不是比赛现场或研究数据图

开赛前,模型必须把一句含糊的“我看好甲队”,改写成三个不能躲闪的数字:甲队胜多少概率,平局多少概率,乙队胜多少概率。三个数加起来要等于一。它还要从虚拟账户里拿出一百美元,押在自己选择的结果上。

终场哨响以后,研究者只告诉模型最终比分,再把它赛前写过的话放回桌面:你判断对了吗?哪些证据被高估,哪些被忽略?下一次会不会换一种下注?

这不是为了教人工智能赌球。相反,钱在这里是一把很粗糙却有效的尺子:语言可以永远保持乐观,决定却必须承担代价。一个模型可以在事后说自己“总体方向正确”,账户不会替它修辞。

2026 年 7 月,Jiacheng Ding、Cong Guo 和 Jason Xu 公布了 WC2026-Agents。他们让四个前沿模型——Claude Opus 4.8、ChatGPT GPT-5.5 高推理模式、Gemini 3.1 Pro 和 Grok Expert Mode——走完本届世界杯全部 104 场比赛。每一场都采用相同的“搜索、判断、反思”流程,留下 416 份赛前预测和 414 份赛后反思。两份缺失的反思也没有从数据集中消失,而是被明确标记。

它最有意思的结果,不是谁夺得“AI 球王”。四个模型在 92% 的比赛里给出了相同的最高概率选项,最终准确率都落在相近区间。如果只看猜中多少场,它们像四名水平差不多的预测者。

但把最大概率选项拆回完整概率,把一句建议变成有成本的行动,再检查错误后的自我描述,四个系统忽然变得很不一样。

别问猜没猜中,要问它敢报多少概率

设想两个人都说德国队会赢。甲说胜率 51%,乙说胜率 95%。德国真的赢了,按普通准确率,两人都得一分;德国输了,两人都丢一分。可这两种判断显然不是同一回事。甲承认比赛接近五五开,乙几乎排除了意外。如果结果相反,乙的知识状态出了更严重的问题。

研究采用的 Brier 分数,正是为了保留这种差异。它把预测者分给每个结果的概率与实际结果逐项比较,误差平方后相加;分数越低,说明概率与结果越贴合。它不只问“最大的那个数对不对”,还问“你有多确定,以及这种确定是否长期配得上现实”。

天气预报早就学会了这一点。“降雨概率 70%”不是说明今天一定下雨,而是说在大量条件相似、都被报成 70% 的日子里,大约七成应当真的下雨。一个永远喊“必胜”的预报员,偶尔会收获惊人的正确;只有把许多预测保存下来,才能知道他的自信是否有根据。

WC2026-Agents 的四个模型,赛前可以上网检索阵容、伤病、近期状态、战术和赔率。论文把比赛称为“按构造无污染”的评测:每一场都发生在这些模型训练数据的截止时间之后,所以系统不能靠记忆题库背出赛果。这比许多答案早已散落网络的静态基准更接近真实工作。

但“无污染”不等于“没有共同答案来源”。四个模型都在同一个公共信息环境里搜索,也都可能读到相似的赔率、媒体判断和球队资料。它们 92% 的最高概率选择一致,可能说明强队信号确实清楚,也可能说明所谓不同模型,最终把同一套公开共识重新组织了一遍。

这正是市场基线变得重要的地方。

真正的对手是赔率:0.469,四个模型都没跑赢

研究者没有让四个模型在真空中互相比赛,而是加入了第五名选手:每场开赛前的主胜、平局、客胜赔率。

赔率不是神谕。它包含庄家的水位、交易者偏好、流动性和各种噪声,也会错。但把水位去掉以后,赔率可以被换算为一组隐含概率。它聚合了许多参与者的信息,还让错误判断真实地面对损失。因此,市场是一个比“随机猜”或“永远选热门”更难击败的基线。

论文报告,市场的 Brier 分数为 0.469,最好的模型代理也没有低于它。模型最高概率选项的准确率看起来不错,完整概率却没有提供市场已经不知道的稳定增量。四个模型给某队的隐含胜率与市场高度相关,相关系数达到 0.97 到 0.99。换句话说,代理看似各自完成了漫长搜索,最后往往只是以不同语言靠近同一张价格表。

这并不证明市场永远更聪明。104 场只是一届杯赛,本届赛事又偏向热门球队,简单固定押市场热门也能取得很好的账面结果。如果换成冷门更多的赛季、企业销售预测、供应链中断或政策风险,结论可能改变。预印本也尚未经过同行评议与独立复现。

它证明的是一种评测纪律:如果一个 AI 系统声称能辅助预测,就不能只拿自己最会讲故事的几个成功案例作证。它应当面对一个与现实信息环境同台、具有机会成本的基线。对企业而言,这个基线未必是博彩市场,也可以是当前人工流程、一个便宜的统计模型、历史平均值,或者干脆“不采取行动”。

如果昂贵代理和简单基线做出同样判断,购买者需要问的不是“AI 准不准”,而是“它增加了什么”。增加的可能是更快的资料整理、更清楚的证据路径、更细的情境分析;也可能什么都没有,只是把共识写得更像一份咨询报告。

回报从负18%到正10%:判断相同,下注不同

四个模型在比赛中的普通准确率接近,虚拟下注回报却从约负 18% 到正 10% 不等。原因并不神秘:选对方向、给出好概率和以合理价格下注,是三件不同的事。

一家公司的管理层每天都在犯同一种混淆。预测“某产品会增长”是一项判断;估计增长概率和幅度,是另一项判断;决定追加多少预算、何时止损,则是第三项。只要没有资源配置,人人都可以显得有远见。预算真的移动,置信度是否有根据才会暴露。

研究里的虚拟一百美元有明显局限。模型被要求采用特定下注方式,收益依赖开盘赔率、结算口径和本届比赛结构,不能直接翻译成金融表现,更不是赌博建议。但它把一个重要问题带进了评测:相同的预测,怎样变成不同的行动?

一个系统即使判断方向不错,也可能过于自信,把过多资源压在微弱优势上;也可能过度谨慎,永远不让有价值的判断产生行动。一个真正供企业使用的预测代理,至少要把“发生的概率”“如果发生会损失多少”“采取行动要付出多少”分开。没有代价函数的准确率,很容易奖励那些从不负责的漂亮答案。

从这个角度看,预测系统的产品界面也应该改变。与其只显示一句加粗结论,不如同时保存概率分布、信息截止时间、采用的基线、触发行动的阈值和实际配置的资源。这样,事后复盘的对象才不是一段可以重新解释的文字,而是一项在当时条件下可重建的决定。

模型会给自己的错误起什么名字

比赛结束后,四个模型都被要求反思。公开仓库用透明的关键词规则分析这些文本:有的系统会直接说“判断错误”,有的更常把错判描述成“部分正确”,强调自己曾提到的风险或某段场面。

论文摘要报告,不同模型在错误预测上自我承认的比例从 36% 到 86%。这个数字不能被当成模型具有羞耻、诚实或自省人格的证据。赛后反思只是一次新的文本生成;它不会自动更新模型参数,关键词编码也不是心理学测验。

但它对组织仍然重要。因为企业中的“AI 反思”最终会成为会议纪要、审计材料和下一轮决策的输入。如果系统总能把失败改写成“方向正确但时机不巧”,人类团队就很难统计什么方法真正有效。模型没有感情,却可能制造一种比人类更顺滑的自我辩护。

真正有价值的反思至少应回答四个可核查问题:赛前哪条事实后来被证伪?哪个概率明显偏离了长期频率?这次损失来自信息不足、模型推理还是行动规则?下一次具体改变哪一项,并怎样验证改变有效?

“我会更加谨慎”不算改进方案。“以后把类似赛程密度的伤停影响权重提高,并在接下来二十场保存对照结果”才接近一项可学习的承诺。

这也是为什么研究保留逐场原始转录很重要。只公布排行榜,失败可以被最终平均数淹没;保留赛前原话,任何人都能检查模型是否事后移动了门柱。数据集的价值不只是 104 个结果,而是一条从证据、概率、行动到反思的时间链。

企业要买的不是预言家,是能被复盘的判断

模型评测长久以来喜欢考试:题目固定,答案清楚,分数立即出现。现实中的决定没有这么礼貌。答案在未来才揭晓,信息会变化,行动有成本,许多结果还受到行动本身影响。销售团队调整价格以后,原预测所面对的世界已经改变;政策预警引发干预以后,“没有发生”反而可能是系统成功。

世界杯是一座罕见的中间桥梁。赛果清楚、时间固定、公开信息丰富,又能在短短一个多月里积累 104 次相似决定。它比真实企业问题简单,却比静态问答多了时间、概率、价格和责任。

因此,这项研究最值得带走的不是某个模型的一届比赛名次,而是一套更严格的采购问题:

系统是否在事件发生前冻结判断,而不是事后挑选案例?是否给出完整概率,而非只有一个方向?是否与便宜、可用的现实基线比较?是否把概率和资源配置分开?失败以后,原始判断是否仍然可见?所谓反思,是否转化为下一轮可以验证的改变?

这些问题会让演示不那么耀眼,却让系统更可能进入真实组织。

终场以后,胜负已经属于过去。真正留下来的,是那本不能擦掉的赛前账本:模型当时看见了什么,相信到什么程度,愿意押上多少,错了以后又怎样称呼自己的错误。

预测的伦理,不是永远正确。任何人和机器都做不到。它更接近一种克制:在不知道结局的时候诚实写下不确定性,在知道结局以后不篡改自己曾经不知道什么。

会猜,是能力。愿意把猜测变成可检查的承诺,才是可靠性的开始。

参考资料清单

  • 《WC2026-Agents 预印本》 — https://arxiv.org/abs/2607.17765
  • 公开数据、原始转录与分析代码 — https://github.com/graphuofm/FIFA2026LLM
  • FIFA 官方页面 — https://www.fifa.com/en/tournaments/mens/worldcup/canadamexicousa2026/articles/match-schedule-fixtures-results-teams-stadiums
  • 《同行评议的气象预测方法论文》 — https://journals.ametsoc.org/view/journals/apme/6/5/1520-0450_1967_006_0756_tvopf_2_0_co_2.xml

SOURCES / 参考来源

同一方向

更多 →