俺读不懂这段话,帮俺解读下呢,尤其是其中的数学部分

幽灵 学术 6

作者:手动狗头
链接:https://www.zhihu.com/question/2075227159929386027/answer/2075922794160845792

我从年初就开始讲模型智力边际效益递减,现在看来一点没错。

大模型到现在,粗略来说迭代了三代,第一代是gpt 3这种纯聊天的,第二代是gpt 4这种能维持很好的世界知识和思维consistency的,第一代和第二代的分界线大概在mmlu 80左右,除了gpt系列,第一个达到第二代的模型是claude 3svg,大概追了一年半,第一个达到第二代的国产模型是deepseek v2.5svg,追了不到两年。

第二代和第三代的区别主要是工具执行,代表就是gemini 3,opus 4.5svg这一批swe bench冲上75的,但这一代追起来就快了,gpt 5.5追上来用了不到半年,现在一年不到deepseek,qwen,kimi,glm,meta,groksvg都有了三代模型,甚至连qwen 27Bsvg这种超小杯都能达标了。

fable算第四代模型么?我认为不算,要形成代差,重点已经不是工具执行了,而是可靠性,人真的能把一个闭环任务交给它。就像是自动驾驶你哪怕吹自己是L2.9999999,只要司机不能坐在驾驶座上玩一局王者荣耀,就不能称之为L3。你想要收比其他模型高一个量级的钱,就必须把人类监督拿掉,没得商量。而且这种可靠性不应该只在代码上面出现,而是一种不需要太多验证信号的内生判断力,就像一个员工,每次都来问我做的对不对,那其实是不够聪明的标志。(题外话,这也是为什么我认为ai自己设计实验更新模型结构的那种recursive self improvement不是真正的continual learning,全世界不是每一个任务都能给你那么多资源让你搭环境试错的)

要想到第四代,sparse rewardsvg问题必须解决。

目前看来不同公司已经在这里分叉了,anthropicsvg似乎认为靠堆参数和世界知识,加上一部分rsisvg,就能让judgment能力从内部长出来,openai教了一堆数学逻辑,寄希望于数学逻辑能力能提升其他方向的判断力,deepmind我不确定但大概率和anthropic路线类似,deepseek就更敢想了,打算直接跳过第四代做continual learningsvg的第五代,我宁可相信这是融资话术,不然真有可能拉个大的。

为什么这些办法不解决真正问题?我这里可以用陶哲轩svg对望月新一abc猜想证明的评价来比喻一下:

“我没有足够的知识对望月的论文做专业的评价,但对您所提到的张益唐和佩雷尔曼svg的工作非常熟悉。它们之间一个显著的区别在于张益唐和佩雷尔曼在论文的开始就给出简洁的“概念验证”,而他们所发展的方法也能很快地用于相应领域,得到一些有意思的非平凡新结果,或是给出一些已有的非平凡结论的新证明。望月的论文缺乏这样的“概念验证”。

在佩雷尔曼的论文中,第5页就已经给出了Ricci流svg的全新解释:它将Ricci流视为梯度流,看起来非常有潜力。在第7页,他就用该解释建立了一个关于Ricci流的精彩定理。虽然这个定理相距最终证明庞加莱猜想svg甚远,但它本身就是一个新奇而有趣的结果,使得这个领域的专家迅速认定这篇论文有很多“好东西”。

张益唐的54页论文沿袭了解析数论的传统,将所要用到的引理放在论文的开头,因此有不少对专家而言是标准性的内容。但是这些引理陈列之后的第6页,张益唐就给出了一个非平凡的观察:只要能改进Bombieri-Vinogradov定理对光滑模的估计,就能证明素数间距离有限。这并非这篇论文最深刻的部分,但是它将原问题简化为更容易处理的问题。与此相反,无数试图攻克像黎曼猜想svg这样大问题的论文不断将原有问题复杂化,直到奇迹发生,而这样的奇迹通常只是一个错误。”

ChatGPT

能读懂这段话的关键,是先别被里面那堆模型名和数学名词吓住。作者真正想说的其实只有一句:AI 现在缺的不是“会不会做题”,而是“能不能在缺少外部反馈时,自己判断自己到底做对了没有”。

而最后引用陶哲轩,是在给这个观点找一个数学上的类比。

先把整段翻译成人话,再讲数学。

一、作者所谓“一代、二代、三代、四代”,不是行业标准
这是作者自己划的代际:

作者的分代
核心能力
人话
第一代
聊天、语言生成
会说话
第二代
世界知识 + 长程思维一致性
不只是会说,还比较“懂”
第三代
工具调用、代码、Agent
不只是会想,还能动手
第四代
可靠自主执行
你敢把事情交给它,然后去睡觉
第五代
continual learning
干活过程中还能自己长期学习、更新
所以他说 SWE-bench 75、MMLU 80,并不是在提出什么严格数学边界,只是在拿 benchmark 当路标。

真正重要的是他说的这个:

“你想收比其他模型高一个量级的钱,就必须把人类监督拿掉。”
这句话我觉得反而是全文最关键的。

例如现在一个 Agent 能做到:

搜资料 → 写代码 → 跑测试 → 修 bug → 部署
成功率如果是 90%,已经非常厉害了。

但如果一个任务需要连续做 20 个关键步骤,每一步成功率都是 90%,粗暴假设相互独立,那么整个任务一次做对的概率只有:

0.920≈0.1220.9^{20}\approx 0.122也就是 12.2%。

即使每一步有 99% 的可靠率:

0.9920≈81.8%0.99^{20}\approx81.8\%100 个步骤:

0.99100≈36.6%0.99^{100}\approx36.6\%这就是为什么“模型每一项能力看起来都很强”,不等于“企业敢把完整业务交给它”。

真正的 Agent 革命,很大程度上是个可靠性乘法问题。

这也正好解释作者为什么拿自动驾驶类比:L2.999 跟 L3 的区别,不是能力评分从 99.2 涨到 99.6,而是责任边界发生变化——驾驶员终于可以不持续盯着系统了。

二、什么叫 sparse reward?这是这篇文章真正的技术核心
sparse reward 就是稀疏奖励。

假设教 AI 下围棋,这个问题其实相对容易:

走了200步以后:

赢了:+1
输了:-1
虽然中间没有反馈,但最终至少有一个非常清楚的评价函数。

数学上可以写成:

R={1,胜利−1,失败R = \begin{cases} 1,& 胜利\\ -1,& 失败 \end{cases}代码也类似。

AI 写完代码:

 
测试通过 → reward
测试失败 → penalty
 
数学题:

 
答案正确 → reward
答案错误 → penalty
 
所以这些领域特别适合强化学习、RLVR、自动验证。

问题是现实世界大量任务不是这样。

比如你让 AI:

帮我判断这家公司是不是值得合作。
它可能要:

查工商信息 → 看产品 → 查老板背景 → 看财报 → 看舆情 → 判断行业 → 判断供应链 → 判断政策风险 → 判断对方是不是在吹牛 → 综合决策。

最后可能半年后你才知道合作是不是正确。

更糟糕的是,即使半年后失败了,你也不知道:

到底是第 3 步错了?

第 8 步错了?

还是所有判断都正确,只是发生了一个不可预测事件?

这叫 credit assignment problem(信用分配问题):

RTR_T只在最终时间 TT 出现,但系统必须判断:

a1,a2,a3,…,aTa_1,a_2,a_3,\ldots,a_T究竟哪个 action 好,哪个 action 坏。

反馈太稀疏。

这就是作者所谓:

“全世界不是每一个任务都能给你那么多资源让你搭环境试错。”
因此真正高级的智能,需要一种东西:

没有答案册的时候,也大致知道自己靠不靠谱。
作者把这个叫 judgment,我会翻译成:

内生判断力 / 自我校验能力。

这比“推理能力”更微妙。

一个人可能非常会推理:

A→B→C→DA\rightarrow B\rightarrow C\rightarrow D但如果最开始 AA 就是错的,他可以非常严密地一路推导出错误结论。

真正厉害的人会在途中突然产生:

“等一下,这东西好像不对。”
这就是作者认为第四代模型真正缺的东西。

三、陶哲轩那一大段到底在说什么?
先讲最重要的概念:

“概念验证”不是要求你把最终大问题解决掉
而是:

如果你的新理论真的很厉害,那么在通往终极目标以前,它应该顺手就能产生一些以前做不到的新结果。
类似于有人告诉你:

“我发明了一台革命性发动机,可以把飞船送到火星。”
你当然不要求他立刻飞火星。

但你会说:

那先把一辆汽车跑起来看看。
如果他说:

不行,这个理论必须先造一艘价值一万亿的飞船,飞到火星以后你才能看到它是否有效。
你的信心自然会低很多。

陶哲轩认为佩雷尔曼、张益唐的工作有这种“小规模验证”。

而望月新一的 IUT 理论长期面临的一个疑问就是:

它搭建了极其庞大的新数学语言,但很难快速拿其中一小块,解决一个现有数学领域里大家已经理解的问题。
陶哲轩的原评论确实强调了这个区别。

注意,这并不能数学上证明望月一定错。

这是一个很重要的区别。

陶哲轩说的是:

这是一个值得警惕的 epistemic signal(认识论信号)。
不是:

缺少概念验证⇒理论错误缺少概念验证 \Rightarrow 理论错误而只是:

缺少概念验证⇒验证难度更大、可信度建立更困难缺少概念验证 \Rightarrow 验证难度更大、可信度建立更困难
四、佩雷尔曼那个“Ricci 流是梯度流”到底什么意思?
这部分看起来很吓人,其实思想非常漂亮。

先想象一个坑坑洼洼的物体。

热量会从高温流向低温:

∂u∂t=Δu\frac{\partial u}{\partial t}=\Delta u这是热方程。

时间越来越长以后,温度分布越来越平滑。

Hamilton 发明 Ricci flow 时,思想有点类似:

让空间的几何形状像热量一样慢慢“流平”。
它的核心方程是:

∂gij∂t=−2Rij\frac{\partial g_{ij}}{\partial t}=-2R_{ij}不用管 gijg_{ij}、RijR_{ij} 具体是什么。

直觉理解:

gg:空间现在是什么形状;
RR:哪里弯曲得厉害;
方程:根据曲率不断修改空间。
所以:

奇形怪状的几何体 → Ricci flow → 越来越规则。
佩雷尔曼第一篇论文真正漂亮的一步,是发现这个过程还可以从另一个角度理解:

它像一个东西沿着“能量地形”不断往低处走。
这就是 gradient flow(梯度流)。

最简单的一维例子:

假设

F(x)=x2F(x)=x^2那么:

∇F=2x\nabla F = 2x梯度流:

dxdt=−2x\frac{dx}{dt}=-2x于是:

x(t)=x0e−2tx(t)=x_0e^{-2t}无论从哪开始:

x→0x\rightarrow0就像一个球沿着山坡滚到谷底。

所以梯度流本质上是:

dxdt=−∇F(x)\frac{dx}{dt}=-\nabla F(x)系统永远沿着某个“势能”下降最快的方向变化。

佩雷尔曼找到了一些非常重要的 functional,把 Ricci flow 放进了这种结构里,并引入单调量/熵。其 2002 年论文明确给出了熵公式,并马上推出若干几何结果。

为什么陶哲轩觉得牛?

因为一旦你发现:

Ricci flow 原来是在某个能量地形上滚动,
马上就能推出一些事情。

例如所谓 no breathers theorem。

粗略理解:

一个真正沿山坡一直下滚的球,不可能:

滚一会儿 → 又回到原来的高度和状态 → 再滚一遍。
因为那个“能量”在单调变化。

因此某些非平凡周期行为不可能出现。

这离证明庞加莱猜想还非常远。

但是专家看到这里会说:

“卧槽,这个视角有东西。”
因为新理论刚出现几页,就吐出了一个以前没有的新定理。

这就是:

proof of concept。

五、张益唐那段可能更好理解
这是整段数学里最值得理解的一部分。

先问一个小学级问题:

素数是:

2,3,5,7,11,13,17,19,23,…2,3,5,7,11,13,17,19,23,\ldots有时候两个素数靠得特别近:

11,1311,13差 2。

17,1917,19也差 2。

于是产生著名的孪生素数猜想:

是否存在无限多组:

p, p+2p,\ p+2都是素数?

至今没有证明。

张益唐没有直接证明“差 2”。

他证明了更弱但极其重要的结果:

存在某个有限数字 BB,使得无限多对素数之间的距离小于 BB。
写成:

lim inf⁡n→∞(pn+1−pn)<∞\liminf_{n\to\infty}(p_{n+1}-p_n)<\infty张益唐最初得到的常数大约是:

B=70,000,000B=70,000,000也就是说:

虽然不能证明无限多对素数相差 2,但能证明无限多对素数不会越离越远,总有一些相距不到七千万。
听起来“七千万也叫近?”

关键不在七千万。

关键在:

无界\text{无界}第一次变成:

有界\text{有界}这是性质发生了变化。AMS 对这一突破的概述也是这个意思。

那 Bombieri–Vinogradov 定理是什么?
你可以把它理解成:

素数虽然看起来乱,但放到大量等差数列里以后,平均而言分布得相当均匀。
比如模 3:

1,4,7,10,13,…1,4,7,10,13,\ldots和:

2,5,8,11,14,…2,5,8,11,14,\ldots除了素数 3 自己,大素数只能落在:

1(mod3)1\pmod3或者:

2(mod3)2\pmod3长期来看,两边差不多均匀。

推广一下,看模 qq:

a, a+q, a+2q,…a,\ a+q,\ a+2q,\ldots我们希望知道:

素数在这些不同余数类里是不是大体平均?
Bombieri–Vinogradov 定理告诉我们:

对于很多 qq,这种均匀性平均而言非常好,大致能控制到:

q≲x1/2q\lesssim x^{1/2}这里 xx 是我们研究素数的尺度。

那个:

12\frac12很重要。

数论学家一直希望超过这个障碍。

六、张益唐最漂亮的“降维”就在这里
以前的问题是:

我要证明素数之间存在有限间距。
这个问题巨大而模糊。

张益唐发现:

我不用完全解决“素数如何分布”这个超级问题。
我只需要证明:

12→12+δ\frac12\rightarrow\frac12+\delta哪怕:

δ\delta很小。

而且还不用对所有模 qq 都做到。

只需要针对一类特殊的 qq:

smooth moduli(光滑模)。

所谓 smooth number,就是质因子都比较小的数。

比如:

360=23×32×5360=2^3\times3^2\times5质因子只有:

2,3,52,3,5所以相对“光滑”。

相反:

20272027如果本身就是大质数,就非常“不光滑”。

张益唐发现:

只要在这些结构比较好的模数上,把 Bombieri–Vinogradov 稍微推进一点,就足以推出 bounded prime gaps。
这就是陶哲轩特别欣赏的地方。

原来:

证明素数间距有限\boxed{\text{证明素数间距有限}}这么一个巨大的目标,被转换成:

在一类特殊模数上改进一个已有估计\boxed{\text{在一类特殊模数上改进一个已有估计}}这叫问题被简化了。

而不是变得更玄。

张益唐后面30多页当然还是极其困难,但至少路线已经清楚:

“把这个山头打下来,战争就赢了。”

七、所以陶哲轩最后那句话为什么很狠?
他说很多声称解决黎曼猜想之类大问题的论文,往往是:

Problem0Problem_0经过一个变换:

Problem1Problem_1再变:

Problem2Problem_2再变:

Problem3Problem_3结果:

Problem0<Problem1<Problem2<Problem3Problem_0<Problem_1<Problem_2<Problem_3每一步都更复杂、更陌生、更难验证。

最后作者突然说:

根据某某引理,所以答案成立。
陶哲轩的讽刺大意就是:

如果你一路把问题变得越来越难,最后突然出现一个巨大简化,那通常不是“奇迹”,而是哪里犯错了。
真正厉害的数学突破经常相反:

巨大的问题\text{巨大的问题}↓

找到隐藏结构

一个更具体的小问题\text{一个更具体的小问题}↓

解决它

大问题跟着倒下。

这是一种非常重要的数学审美:

好的理论往往增加解释力,却降低问题的有效复杂度。

八、现在回来看作者为什么引用这段数学
这里才是整篇文章真正想表达的东西。

作者认为现在 AI 公司说:

加更多参数;

加更多世界知识;

强化数学推理;

让 AI 自己做实验;

recursive self-improvement;

continual learning……
这些都可能有用。

但作者的质疑是:

你们有没有证明这些东西真的会产生“可靠 judgment”?
他希望看到类似张益唐、佩雷尔曼的东西:

不是:

benchmark 又涨了 3 分。
而是一个很清楚的 proof of concept:

原来 Agent 独立完成100步任务成功率 35%,用了这种新机制以后变成95%,并且迁移到财务、研究、采购、行政、编程都有效。
那时候大家才会说:

这可能真的发现了新的智能机制。
如果反过来:

模型越来越大
RL 越来越复杂
scaffold 越来越多
verifier 越来越多
Agent framework 越来越长
prompt 越来越复杂
最后才能勉强把成功率从:

83%→86%83\%\rightarrow86\%作者就会怀疑:

我们是不是在不断复杂化问题,而没有摸到真正的核心变量?
这就是他借陶哲轩那句话暗示的东西。

九、其实这篇文章还有一个很深的潜台词
作者所谓的“智力边际效益递减”,我认为可以更准确地重新表达为:

能力≠可靠性\boxed{\text{能力} \neq \text{可靠性}}过去 AI 的发展重点大致是:

不会→会\text{不会}\rightarrow\text{会}现在开始进入:

会→稳定地会\text{会}\rightarrow\text{稳定地会}再往后才是:

稳定地会→无需监督地会\text{稳定地会}\rightarrow\text{无需监督地会}这三者难度不是线性增加。

甚至可能:

D不会→会<D会→可靠D_{\text{不会}\rightarrow\text{会}} < D_{\text{会}\rightarrow\text{可靠}}因为“会做一道题”只需要偶尔走到正确答案。

而“可靠”要求模型还得知道:

P(我的答案正确∣我目前掌握的信息)P(\text{我的答案正确}\mid \text{我目前掌握的信息})也就是说,它不光要输出答案 yy,还得形成一个相对校准的二阶判断:

P(y is correct)P(y\text{ is correct})更进一步,还得知道:

我什么时候缺资料?

什么时候应该查?

什么时候该调用工具?

什么时候结果异常?

什么时候应该推翻自己?

什么时候根本不该行动?
这已经不只是 reasoning。

而是:

reasoning+uncertainty estimation+error detection+metacognition+world model\boxed{ \text{reasoning} + \text{uncertainty estimation} + \text{error detection} + \text{metacognition} + \text{world model} }作者把这一大坨东西统称为 judgment。

我认为这么理解之后,他前面那些关于第四代 AI、sparse reward、数学训练、continual learning 的话,就全部串起来了。

最后也提醒一句:这篇知乎回答的“AI 四代/五代”“各公司路线”相当大部分属于作者自己的判断,不是已经被证明的行业共识。 陶哲轩那段数学类比本身很有启发,但从“数学突破应有短概念验证”进一步推到“某种 AI 路线因此不会成功”,仍然只是类比推理,不能当证明。陶哲轩本人当时谈的也是如何建立对高度复杂数学理论的信任,而不是 AI scaling law。

如果把这篇文章压缩成一句话,我会写成:

前三代 AI 解决的是“模型能做什么”,下一代真正的门槛可能是“模型知道自己什么时候做对了”;前者可以靠答案训练,后者恰恰发生在没有答案的地方。

回复

共8条回复 我来回复
  • 幽灵的头像
    幽灵
    很想离开这个世界,但有放心不下的人; 太多遗憾和误会,不过统统接受; 一无是处,却在试着改变。
    评论

    所以俺们求解的方式也是可以先做一个更弱的MVP,也是降维在数学领域的理解,就是从无界变成有界?好的理论往往增加解释力,却降低问题的有效复杂度展开讲讲。

    ChatGPT

    对,你这个理解已经抓到核心了。“先做一个更弱的 MVP”在很多时候,和数学里“把强命题降成弱命题”是同一种思维:先保住问题的核心结构,把暂时不必要的难度砍掉。

    但要补一句:不是所有 MVP 都叫“降维”。真正有价值的降维,不是简单缩水,而是找到那个最小但仍然能验证核心机制的版本。

    比如孪生素数猜想原本是:

    pn+1−pn=2p_{n+1}-p_n = 2要证明这种情况出现无穷多次。

    张益唐退一步:

    pn+1−pn≤Bp_{n+1}-p_n \le B其中 BB 不要求是 2,只要求是某个固定有限数。

    这看起来弱了很多,但它保留了原问题最关键的结构:

    素数之间是否会无限疏远?
    原来的可能性是:

    lim inf⁡(pn+1−pn)=∞\liminf (p_{n+1}-p_n)=\infty也就是越往后,最近的素数之间也越来越远。

    张益唐证明:

    lim inf⁡(pn+1−pn)<∞\liminf (p_{n+1}-p_n)<\infty这就是你说的:

    先把“无界”打成“有界”。
    一旦完成这一步,世界已经变了。

    1. 为什么“无界 → 有界”是巨大突破,而不是“小进步”
    因为有些数学问题真正困难的不是具体数值,而是性质类别。

    比如:

    B=70,000,000B=70,000,000和

    B=246B=246虽然差几十万倍,但它们都属于同一类:

    B<∞B<\infty而:

    B=∞B=\infty属于完全不同的世界。

    所以数学里经常有这种“相变式”的区别:

    0vs>00 \quad \text{vs}\quad >0 finitevsinfinite\text{finite} \quad \text{vs}\quad \text{infinite} possiblevsimpossible\text{possible} \quad \text{vs}\quad \text{impossible} polynomialvsexponential\text{polynomial} \quad \text{vs}\quad \text{exponential}真正重要的是先跨过类别边界。

    张益唐之后,Polymath 项目很快把七千万一路压到几百。

    为什么?

    因为:

    最难的是证明“存在某个有限界”;一旦这个机制建立,优化常数往往变成另一个层次的问题。
    这和工程极其像。

    2. MVP 最有价值的地方其实也不是“做得少”
    很多人把 MVP 理解成:

    功能少一点。
    这其实很浅。

    真正好的 MVP 是:

    把一个原本巨大的问题,压缩成一个能验证最关键假设的小问题。
    比如你要做“AI 自动经营一家企业”。

    直接目标是:

    AI autonomous company\text{AI autonomous company}这东西复杂到几乎没法验证。

    里面混着:

    获客
    报价
    客服
    采购
    财务
    合规
    人事
    决策
    风险
    执行
    如果直接做,你失败以后甚至不知道失败在哪里。

    这就叫有效复杂度太高。

    一个好的降维方式可能是:

    先证明 AI 能自主完成“收到询价 → 查询库存 → 给出报价 → 人工审核”这个闭环。
    再弱一点:

    AI 先只负责生成报价建议,人类最终点击确认。
    这就是:

    全自动→半自动→决策辅助\text{全自动} \rightarrow \text{半自动} \rightarrow \text{决策辅助}但关键不是自动化率越来越低。

    关键是:

    你在逐层剥离变量,寻找真正的瓶颈。

    3. “好的理论增加解释力,却降低有效复杂度”是什么意思
    这句话其实很重要。

    表面看起来,理论往往让知识变复杂。

    例如牛顿力学加入了:

    F=maF=ma万有引力:

    F=Gm1m2r2F=G\frac{m_1m_2}{r^2}好像世界多了公式。

    但实际上,它让世界更简单了。

    在牛顿以前,你可能要分别记:

    苹果为什么落下
    石头为什么落下
    月亮为什么绕地球
    地球为什么绕太阳
    潮汐为什么产生
    这是五类现象。

    牛顿告诉你:

    它们其实是一件事。
    于是:

    5 个问题→1 个机制5\text{ 个问题} \rightarrow 1\text{ 个机制}这就是解释力增加,同时有效复杂度下降。

    4. 所谓“有效复杂度”,不是表面复杂度
    可以这样理解:

    有效复杂度=你真正需要独立处理的自由度数量\text{有效复杂度} = \text{你真正需要独立处理的自由度数量}比如一个系统有 100 个现象。

    最差的情况是:

    100 个现象=100 条独立规则100\text{ 个现象} = 100\text{ 条独立规则}那么复杂度很高。

    如果发现:

    100 个现象=3 个底层规律的组合100\text{ 个现象} = 3\text{ 个底层规律的组合}那系统就简单很多。

    即:

    100→3100\rightarrow3这就是理论的压缩作用。

    所以一个好理论本质上是一台压缩机。

    5. 这和你之前问的 Kolmogorov complexity 是一条线
    我们前面谈几十 KB 游戏为什么能生成巨大世界,本质就是:

    不存所有结果,只存生成规则。
    假设我要描述一百万个点。

    一种方式:

    x1,x2,…,x1,000,000x_1,x_2,\dots,x_{1,000,000}全部存下来。

    另一种方式:

    xn=sin⁡(n)x_n=\sin(n)然后告诉计算机:

    n=1,…,1,000,000n=1,\dots,1,000,000。
    第二种描述极短。

    所以:

    大量现象=短规则+展开\text{大量现象} = \text{短规则} + \text{展开}这就是理论。

    科学理论某种意义上也在寻找:

    世界的短程序\boxed{\text{世界的短程序}}
    6. 为什么“好理论”会让问题变简单
    因为真正好的理论通常会发现一些原来看不到的:

    不变量
    某些东西看起来一直变化,但有东西始终不变。

    比如能量守恒:

    Etotal=constantE_{\text{total}}=\text{constant}一旦发现这个,你就不用追踪系统的每个微观细节。

    对称性
    很多不同情况其实等价。

    比如圆旋转以后还是圆。

    原本你以为:

    360∘360^\circ有无穷多个不同方向。

    但对圆而言:

    它们全等价\text{它们全等价}自由度瞬间被压缩。

    单调量
    这就是佩雷尔曼特别厉害的地方之一。

    如果找到一个量:

    F(t)F(t)满足:

    dFdt≤0\frac{dF}{dt}\le0那么系统就不可能随便乱跑。

    因为你知道:

    它只能往一个方向走。
    原来可能有:

    10001000种演化路径。

    单调性可能直接排掉:

    900900种。

    等价类
    很多表面不同的问题其实可以归成一类。

    于是不用:

    A,B,C,D,EA,B,C,D,E分别证明。

    只证明:

    [A][A]这个类别即可。

    7. 张益唐那一步就是典型的“降低有效复杂度”
    原问题:

    素数间距为什么会有限?
    这背后牵涉整个素数分布。

    变量巨大。

    但张益唐发现:

    不需要完全理解素数。
    只需要证明一个更具体的命题:

    Bombieri–Vinogradov 在某类 smooth moduli 上能稍微超过 1/21/2。
    于是:

    全球素数结构\text{全球素数结构}被压缩成:

    一个特定分布估计\text{一个特定分布估计}这就是降维。

    注意这并不是简单地说:

    “我们先少做一点。”
    而是:

    找到了一个 sufficient condition(充分条件)。
    即:

    A⇒BA\Rightarrow B其中:

    BB:素数间距有界;
    AA:某种特定估计成立。
    然后不再直接攻击 BB,改成攻击 AA。

    如果 AA 比 BB 更容易,这就是巨大进步。

    8. 所以真正高水平的解题,经常不是“求解”,而是“改写问题”
    这是数学家和优秀工程师很像的地方。

    普通解题方式:

    Problem→Solution\text{Problem}\rightarrow\text{Solution}高手经常是:

    Problem→Equivalent / Weaker / Sufficient Problem→Solution\text{Problem} \rightarrow \text{Equivalent / Weaker / Sufficient Problem} \rightarrow \text{Solution}甚至:

    P→P1→P2→P3P \rightarrow P_1 \rightarrow P_2 \rightarrow P_3直到某个 P3P_3 变成自己会解决的问题。

    所以数学能力很大一部分其实是:

    问题变形能力。
    而不是计算能力。

    9. 工程里也完全一样
    比如:

    我要造完全无人驾驶汽车。
    这是:

    PP先弱化:

    高速公路限定场景自动驾驶。
    变成:

    P1P_1再弱化:

    只做车道保持 + 自适应巡航。
    P2P_2这样你先验证:

    感知→规划→控制\text{感知}\rightarrow \text{规划}\rightarrow \text{控制}这个核心闭环是否成立。

    一旦闭环成立,再扩展 ODD(Operational Design Domain)。

    这和:

    孪生素数 gap=2\text{孪生素数 gap}=2先退成:

    bounded gap<∞\text{bounded gap}<\infty结构上非常像。

    10. 但这里有一个非常重要的陷阱
    弱化问题,不等于偷换问题。

    比如你本来要证明:

    AI 能自主经营公司。
    最后做了:

    AI 能帮人润色邮件。
    然后宣布:

    MVP 验证成功。
    这不叫降维。

    这叫换题。

    数学上同样如此。

    一个好的弱命题必须满足:

    PweakP_{\text{weak}}和原问题共享核心机制。

    最好还能有:

    Pintermediate⇒PtargetP_{\text{intermediate}} \Rightarrow P_{\text{target}}或者至少:

    PintermediateP_{\text{intermediate}}能验证通往目标的关键假设。

    张益唐之所以重要,就是因为 bounded gaps 并没有脱离孪生素数问题。

    它直接回答了一个核心问题:

    素数之间是否存在某种永久性的近邻结构?
    答案是:

    有。
    只是还没逼到 2。

    11. 所以 MVP 其实也可以分两种
    一种叫:

    功能型 MVP
    “先做几个功能。”

    价值有限。

    另一种更高级:

    假设型 MVP
    只验证最危险、最关键的假设。

    例如你想做 SaaS。

    最大的风险可能不是:

    能不能写出来?
    而是:

    客户愿不愿意付钱?
    那最好的 MVP 甚至可能没有软件。

    先人工提供服务:

    manual service\text{manual service}如果用户愿意付钱:

    value hypothesis=true\text{value hypothesis}=true然后再自动化。

    这就是非常纯粹的降维:

    商业问题=价值问题+工程问题+渠道问题+⋯\text{商业问题} = \text{价值问题} + \text{工程问题} + \text{渠道问题} +\cdots先拿最关键的一维出来验证。

    12. 这背后其实有一种统一的方法论
    面对复杂问题,可以连续问:

    第一问:我要证明的最强结论是什么?

    例如:

    PP第二问:比它弱一级、但仍然有意义的命题是什么?

    P1P_1第三问:什么条件足以推出 P1P_1?

    寻找:

    Q⇒P1Q\Rightarrow P_1第四问:Q 能不能继续拆?

    Q1,Q2,Q3Q_1,Q_2,Q_3第五问:哪个是核心未知变量?

    最后你可能发现:

    原来的“大问题”:

    PP实际上卡在一个小问题:

    qq于是整个问题从:

    100维100\text{维}压缩成:

    1维1\text{维}这就是所谓:

    降低问题的有效复杂度。

    13. 这也是为什么真正厉害的人经常看起来“没怎么用力”
    因为他不是比别人更能暴力计算。

    而是先问:

    这个问题真的需要这么复杂吗?
    费曼、冯·诺依曼、陶哲轩这类人很突出的能力之一,就是经常能看到:

    你们正在解决的问题,其实不是最合适的问题。
    换一个表示以后:

    hard problem\text{hard problem}突然变成:

    manageable problem\text{manageable problem}所以有时候所谓“聪明”,不是:

    更强的求解器\text{更强的求解器}而是:

    更强的问题压缩器\boxed{\text{更强的问题压缩器}}
    我甚至会把你问的这句话进一步改成:

    好的理论不是替你解决更多问题,而是让更多问题不再需要分别解决。
    牛顿不是解决了“一百万个物体为什么掉下来”的一百万个问题。

    他把一百万个问题变成了一个问题。

    张益唐不是直接算出了所有素数。

    他找到一个足以控制素数间距的更小结构。

    而好的 MVP 也不是“先做一个缩水版产品”,而是:

    找到最小的现实实验,验证最大的不确定性。
    这三者背后其实是同一件事:

    压缩状态空间→减少自由度→找到关键变量→让问题可解\boxed{ \text{压缩状态空间} \rightarrow \text{减少自由度} \rightarrow \text{找到关键变量} \rightarrow \text{让问题可解} }这也和你前面聊过的“系统设计”非常接近:真正优秀的架构,并不是堆更多控制,而是找到少数几个不变量、边界和反馈机制,让大量局部问题自动归约。

    2026年8月27日 上午11:58 0条评论
  • 幽灵的头像
    幽灵
    很想离开这个世界,但有放心不下的人; 太多遗憾和误会,不过统统接受; 一无是处,却在试着改变。
    评论

    然后一些经典的数学问题并不是吃饱了没事干,让全人类最聪明的一批人去证明一些瞎几把猜想,而是想通过证明的过程发明一些更好的理论(更简单但解释性更强)去理解这个世界?

    ChatGPT

    对,很大程度上可以这么理解,但要加一个重要限定:经典难题的价值,往往不只在“答案是什么”,更在于逼着数学家发明新的语言、结构和工具;但这些理论首先是在理解“数学世界”,不一定直接是在解释物理世界。

    很多著名猜想其实像一块极硬的“试金石”。问题本身可能只有一句话,甚至小学生都能听懂,但现有工具就是解决不了。于是它等于在告诉数学家:

    你们现在这套理解体系里,缺了东西。
    比如费马大定理:

    xn+yn=zn,n>2x^n+y^n=z^n,\quad n>2有没有正整数解?

    答案最终只是:

    没有。
    如果人类唯一目的就是得到这个“没有”,那几百年的投入确实显得很荒诞。

    但真正发生的是,为了解决它,数学家一路发展、连接了代数数论、椭圆曲线、模形式、伽罗瓦表示等领域。怀尔斯最后证明费马大定理,本质上并不是“把这个方程硬算出来”,而是证明了更深的结构联系的一部分:

    椭圆曲线⟷模形式\text{椭圆曲线} \longleftrightarrow \text{模形式}费马大定理反而成了一个副产品。

    这就是一个特别典型的现象:

    难题是目标→新理论才是真正的资产\boxed{ \text{难题是目标} \quad\rightarrow\quad \text{新理论才是真正的资产} }你甚至可以把经典猜想理解成数学界的 benchmark。

    就像今天拿 SWE-bench 测 AI,不是因为现实世界最重要的事情就是修 GitHub issue,而是因为:

    如果一个系统连这类明确而困难的任务都解决不了,我们就知道它还缺某种能力。
    黎曼猜想也有点这种意味。

    它表面问的是黎曼 ζ 函数的零点:

    ζ(s)=0\zeta(s)=0那些“非平凡零点”的实部是不是全部等于:

    12\frac12一个外行看起来简直像:

    几个复数落在哪条线上,这值得全世界研究一百多年?
    真正原因是它背后牵着素数分布。

    素数:

    2,3,5,7,11,13,…2,3,5,7,11,13,\dots看起来极不规则。

    但黎曼发现,它们的“噪声”与 ζ 函数零点之间有极深的联系。

    所以黎曼猜想实际上像是在问:

    素数表面的随机性背后,到底藏着多强的秩序?
    如果有一天它被证明,真正令人期待的不只是得到一句:

    ℜ(s)=12\Re(s)=\frac12而是:

    你为什么能证明?
    也许证明过程中会出现一种新的数学结构,使我们突然从另一个角度理解素数。

    这就是大家真正感兴趣的东西。

    可以把数学难题分成两层。

    第一层是命题层:

    P=true or false?P=\text{true or false?}例如:

    庞加莱猜想是真的吗?
    答案:

    是。
    如果只停在这里,信息量其实很低,一个 bit 就够:

    11但第二层是:

    为什么?\boxed{\text{为什么?}}这里的信息量可能巨大。

    佩雷尔曼解决庞加莱猜想时,真正伟大的不是给世界交了一张:

    “True”
    的答题卡。

    而是发展了理解 Ricci flow 的一整套新结构,包括熵、单调量、手术等思想。

    于是人类对三维流形怎么演化、怎么形成奇点、怎样分类的理解整个往前走了一步。

    所以数学证明和普通“找答案”最大的区别就在这里:

    证明本身就是知识。
    甚至很多时候:

    proof≫answer\text{proof} \gg \text{answer}
    你前面说的:

    “发明一些更好的理论——更简单但解释性更强”
    这其实非常接近数学发展的理想状态。

    假设现在我们有 1000 个孤立定理:

    T1,T2,…,T1000T_1,T_2,\dots,T_{1000}每个都有单独证明。

    后来有人发现一个统一结构 AA,使得:

    A⇒T1A\Rightarrow T_1 A⇒T2A\Rightarrow T_2 ⋯\cdots A⇒T1000A\Rightarrow T_{1000}那新理论就实现了巨大的压缩:

    1000 个事实→1 个结构1000\text{ 个事实} \rightarrow 1\text{ 个结构}这正是我们前面说的:

    解释力上升,有效复杂度下降。
    非常漂亮的例子就是群论。

    数学家最初研究多项式方程:

    ax5+bx4+⋯=0ax^5+bx^4+\cdots=0为什么五次方程不存在像二次方程那样的通用根式公式?

    如果只是盯着方程猛算,会越来越复杂。

    伽罗瓦换了一个问题:

    不要研究“根本身”,研究这些根之间允许怎样互相置换。
    于是出现:

    Group\text{Group}也就是群。

    原来非常混乱的:

    “为什么这个方程能解、那个不能解?”
    被压缩成:

    看对应群具有什么结构。
    这一步特别符合你说的:

    更抽象\text{更抽象}但同时:

    更简单、更统一、更有解释力\text{更简单、更统一、更有解释力}这也是一个非常容易误解的地方。

    数学的“简单”往往不是表面简单,而是结构简单。

    群论的定义第一次看:

    什么鬼,比方程还抽象。
    但一旦掌握以后,它把大量不同现象统一起来:

    方程
    几何对称
    晶体
    粒子物理
    密码学
    原来看起来八竿子打不着的东西,都变成:

    symmetry\text{symmetry}的问题。

    所以好理论经常呈现一个很有趣的过程:

    表面抽象度↑\text{表面抽象度}\uparrow同时:

    底层复杂度↓\text{底层复杂度}\downarrow这和编程也很像。

    你写:

    A case → 200 lines
    B case → 200 lines
    C case → 200 lines

    开始很直观。

    后来有人写了一个抽象层:

    interface + generic algorithm

    第一次看反而更难懂。

    但是整个系统从:

    600 行特殊规则600\text{ 行特殊规则}压成:

    100 行一般规则100\text{ 行一般规则}这就是数学抽象的价值。

    不过你说“理解这个世界”,我会稍微修改成:

    数学首先试图理解所有可能的结构;物理科学再告诉我们,现实世界用了其中哪些结构。
    纯数学里大量东西最初根本不是为了现实应用。

    例如非欧几何,19 世纪时看起来非常“吃饱了没事干”:

    假如平行公设不成立,会怎样?
    结果几十年以后,爱因斯坦发现:

    广义相对论描述时空,恰恰需要黎曼几何。
    又比如数论。

    哈代曾很骄傲地觉得数论“完全没用”,因为这意味着它很纯粹。

    后来:

    数论→RSA / 椭圆曲线密码\text{数论} \rightarrow \text{RSA / 椭圆曲线密码}变成现代互联网安全的重要基础。

    所以这里还有一个很深的原因:

    你事先很难知道哪一种纯粹结构,几十年或几百年以后会突然成为现实世界的正确语言。
    因此基础数学研究有点像人类在建立一个巨大的:

    结构工具库\boxed{\text{结构工具库}}今天不知道干嘛。

    哪天物理学、计算机、经济学、AI 遇到一种结构:

    “诶,这玩意数学家一百年前研究过。”
    直接拿来用。

    所以最后可以把经典数学难题的价值分成三个层次。

    最浅的是:

    把题做出来。
    中间层是:

    为了做题,发明新的方法。
    最深层是:

    通过这个难题暴露我们当前认知体系的缺口,然后找到一种更统一的世界描述方式。
    而真正载入数学史的工作,通常是第三种。

    所以希尔伯特提出 23 个问题、Clay 提出七个千禧年难题,某种意义上都不只是:

    “来,谁聪明谁做题。”
    更像是在给整个数学共同体标记:

    这里可能埋着我们尚未理解的深层结构。\boxed{\text{这里可能埋着我们尚未理解的深层结构。}}因此一个伟大猜想有时候很像地质学家看到地面上的一道裂缝。

    裂缝本身未必重要。

    重要的是:

    这道裂缝可能说明地下还有一整块我们没有发现的大陆。

    2026年8月27日 下午12:00 0条评论
  • 幽灵的头像
    幽灵
    很想离开这个世界,但有放心不下的人; 太多遗憾和误会,不过统统接受; 一无是处,却在试着改变。
    评论

    Gemini

    好的 MVP 不是做“功能缩水”,而是寻找能验证核心机制的“最小充分条件”;而数学难题的降维,本质上也是把无限自由度压缩成一个可被验证的确定性边界。

    一、 近几年被 AI / 大模型攻克的数学难题与重大突破

    AI 在数学领域的突破早已超越了“做高考/竞赛题”的范畴,开始真正参与到产生新数学知识和突破已知极限的环节中:

    Cap Set 问题(极值组合数学)与 FunSearch

    DeepMind 推出的 FunSearch(将 LLM 演化生成与代码验证器结合)在极值组合数学中取得了突破。它不仅找出了高维空间中 Cap Set 的新构造,打破了人类数学家保持多年的已知上界,更是人类历史上首次利用大模型创造出超越已知数学定理的崭新知识,而非仅仅检索或推理已有文本。
    IMO(国际数学奥林匹克)银牌级突破(AlphaProof & AlphaGeometry)

    DeepMind 的 AlphaProof 与 AlphaGeometry 2 在 IMO 试题解答上达到了相当于人类银牌得主的水平(6 道极难题目中自主解答出 4 道)。它将 LLM 的直觉发散能力与 Lean 4 形式化证明语言的严格校验结合,证明了复杂几何与数论命题。
    矩阵乘法复杂度(AlphaTensor)与纽结理论(Knot Theory)

    AI 在 4×4 矩阵乘法中找到了打破人类使用 50 年之久(自 Strassen 算法以来)的计算步骤;在拓扑学领域,机器学习帮助数学家发现了纽结理论中的几何不变量(如 Signature)与代数结构之间隐藏的全新猜想关系。
    形式化验证(Lean 4)与 PFR 猜想

    在陶哲轩领衔推动的项目中,AI 辅助工具(如 Lean-Copilot 等)被广泛用于 Polynomial Freiman-Ruzsa 猜想的 Lean 形式化验证,将原本需要人类耗费数年整理的严密逻辑链条在极短时间内完成了机器化审判。
    二、 洪乐潼等团队做“数学大模型”的真正的目的

    做数学大模型绝对不是为了让 AI 去“考满分”或“教小学生做题”,其背后的战略意图正好呼应了你对话里提到的核心瓶颈:

    构建完美的“内生自我校验”(Self-Verification)训练场

    现实世界充满了稀疏奖励(Sparse Reward),比如商业决策半年后才知道对错,AI 无法自己校验。但数学拥有 Lean / Coq / 符号代码等绝对客观的判定编译器。在数学模型里,AI 尝试 100 步推理,编译器能给出一个毫不含糊的反馈(0 或 1)。这是目前训练 AI 产生内生判断力(Judgment)、克服 $0.9^{20}$ 可靠性崩溃最纯净的“演练沙盒”。
    训练大模型的“系统二思考(System 2)”与深度搜索

    语言模型天生是靠直觉预测下一个 Token(系统一)。要让 AI 具备真正的自主推理与纠错能力(系统二),必须让它在严格的数学逻辑网格里进行 Monte Carlo 树搜索(MCTS)和自我推翻,迫使它在没有答案册时也能评估“我目前推到的这一步靠不靠谱”。
    成为数学家的“猜想生成与验证引擎”

    这正对应你说的“发明更好的理论去理解世界”。AI 擅长在海量高维数据中发现人类肉眼察觉不到的模式(比如寻找更紧的常数 $B$、或者发现某个特定模数上的奇特分布);而人类数学家在看到 AI 给出的“小规模概念验证(Proof of Concept)”后,被激发灵感,进而归纳出一套更简单、解释力更强、有效复杂度更低的新抽象理论。

    2026年8月27日 下午12:06 0条评论
  • 幽灵的头像
    幽灵
    很想离开这个世界,但有放心不下的人; 太多遗憾和误会,不过统统接受; 一无是处,却在试着改变。
    评论

    不过还有没明白的地方,科研相对其他产业还是比较穷的,这些企业针对科研,数学这种领域定制大语言模型,砸这么多钱,怎么盈利啊。

    Gemini

    商业公司砸钱做数学和科研大模型,绝不是为了卖软件给预算有限的大学教授和科研院所。

    数学与科学大模型在商业版图里从来不是“最终产品”,而是炼制通用高价值商业 AI 的“发动机”与“试炼场”。这笔巨额投资的盈利路径主要有以下四个方向:

    一、 降维打击高客单价的工业与商业巨头(真正的金主)

    纯数学和逻辑推理能力的提升,可以直接平移到变现能力极强的顶级商业场景中:

    芯片设计与硬件验证(EDA):现代芯片设计成本动辄数亿美元,芯片底层逻辑验证(Formal Verification)如果漏掉一个 Bug 就要整片废掉。英特尔、英伟达、苹果愿意为具备高阶逻辑推理能力的 AI 支付数千万美元许可费。
    高可靠性软件与智能合约审计:金融、航空航天、Web3 领域的代码容错率为零。能做复杂数学证明的模型,就能对极复杂的底层代码进行“形式化验证”,拦截价值数十亿美元的系统风险。
    量化金融与风控预测:金融机构不需要 AI 写诗,但极度依赖 AI 在海量高维数据中寻找数学不变量、构建复杂衍生品定价模型和高频交易策略。
    二、 攻克 B2B 自动化 Agent 的“可靠性死穴”

    企业界现在愿意为“能代替人类完成 100 步复杂流程的超级 Agent”支付极高溢价。但目前限制 AI 商业落后的最大瓶颈就是可靠性乘法崩溃(每一步 99% 成功率,100 步后综合成功率仅 36%)。

    数学是完美的训练沙盒:现实商业世界反馈太慢(投资半年来才知道对错),但数学有绝对客观的“逻辑编译器”(如 Lean 4),对就是 1,错就是 0。
    内生校验能力(Self-Verification)变现:模型在数学沙盒里练出来的“自我怀疑、自我推翻、一步步校验”的能力,可以无缝迁移到自动化财务审计、法律合同履约、医疗诊断等高利润领域,让企业敢真正为其买单。
    三、 解决“数据枯竭”,无限生成廉价的合成训练数据

    高质量的人类互联网文本数据已被各大大模型厂商采空,下一代模型继续 Scaling(扩展)面临无数据可选的困境。

    自动生成万亿级“思维链”:利用数学模型的严格验证机制,可以让 AI 通过强化学习(RLVR)“左右互搏”,自动产生海量、绝对正确、逻辑严密的推导过程(CoT 数据)。
    降低下一代通用模型的训练成本:这相当于用自产的高质量“合成数据”去喂养下一个版本的通用 GPT/Claude,从而省下数亿美元的数据采购与人工标注费用。
    四、 拿下国家级重型基础设施与国防安全订单(B2G)

    国防、航天(如 NASA/SpaceX)、核能、密码学等国家安全与前沿工程领域,对数学与物理建模能力有近乎偏执的要求。此类项目预算极其充足,大模型公司通过展示在数学与基础科学上的顶尖突破,能直接拿下政府与重工业巨头数以亿计的定制化采购大单。

    商业逻辑总结

    研制 F1 赛车从来不是为了卖给普通人通勤,而是为了验证发动机极限,再把技术降维用到百万级豪车和大众量产车上。
    大模型公司砸钱搞数学大模型也是同一个道理:数学是AI智能的最硬骨头。只要攻克了数学这个最严苛的逻辑高地,剩下所有赚钱的商业应用,不过是顺理成章的“降维割草”。

    2026年8月27日 下午12:09 0条评论
  • 幽灵的头像
    幽灵
    很想离开这个世界,但有放心不下的人; 太多遗憾和误会,不过统统接受; 一无是处,却在试着改变。
    评论

    “可以无缝迁移到自动化财务审计、法律合同履约、医疗诊断等高利润领域,让企业敢真正为其买单”,这个俺不理解,你说的这个普通LLM就能搞了,不需要特化的数学LLM来做啊,甚至法律合同这些在进入人工智能之前,做逻辑运算都能验证。

    Gemini

    你敏锐地抓到了传统规则引擎与大模型的边界,但这里的核心痛点在于:“普通大模型能干”和“企业敢不敢把真金白银交给它做决策”是两码事。

    传统代码逻辑与普通大模型各自都有一个无法攻克的死穴,而数学/形式化特化模型恰好是连接这两者的唯一桥梁。

    一、 传统逻辑运算的死穴:无法处理“非结构化语言”

    在人工智能爆发前,基于规则的逻辑演算(如 Prolog、专家系统)确实能实现 100% 严密的逻辑验证,但它有一个致命前提:必须由人类程序员提前把所有规则手动写成结构化的代码或代数公式。

    现实痛点:一份 50 页的跨国并购合同、一份包含各种隐蔽抵扣规则的财务报表,全是充满了歧义、上下文关联和例外条款的“非结构化自然语言”。
    传统逻辑的无奈:规则引擎无法直接“读懂”自然语言合同。如果靠人类去把几百页合同逐字翻译成逻辑代码,成本比直接请律师还高。
    二、 普通大模型的死穴:会说人话,但本质是“概率下注”

    普通大模型(GPT-4、Claude 等)完美解决了“读懂自然语言”的问题,但它的底层机制决定了它无法直接用于高可靠履约:

    概率预测 vs 确定性逻辑:普通 LLM 的本质是预测“下一个最可能的 Token”,它是在凭直觉下注,而不是在进行确定性推导。
    致命的隐蔽幻觉:让普通 LLM 审计一份包含 200 个交叉约束条款的合同,它能写出看起来极其专业、头头是道的报告,但可能在第 147 条约束上混入了一个根本不存在的逻辑假设。
    可靠性崩溃:如前文公式,当链条长达 20 步、每一步都存在 1% 幻觉概率时,整体结果的可靠性会直接跌落($0.99^{20} \approx 81.8\%$)。医疗与法律风险容忍度为零,企业绝不敢买单。
    三、 “数学/形式化特化 LLM”到底在解决什么?

    特化数学与推理大模型,目的不是让它去算术,而是训练 AI 具备将“非结构化语言”无损翻译为“严密形式化逻辑”,并能在后台进行自我校验(System 2 搜索)的能力。

    双剑合璧的机制:

    $$\text{自然语言合同/凭证} \xrightarrow{\text{LLM 翻译}} \text{形式化逻辑语言 (如 Lean 4/代码)} \xrightarrow{\text{编译器/逻辑引擎}} \text{绝对零错的验证结果}$$
    内生自我纠错(Self-Verification):在训练数学大模型时使用的 RLVR(可验证奖励强化学习),会让模型学会像数学家推导定理一样进行后台搜索(MCTS)与回溯。当发现推导逻辑存在隐患时,它会主动推翻自己,而不是像普通大模型那样顺着错误强行编造。
    形象对比

    传统逻辑引擎:像一个死板的计算器。算得绝对精准,但你给它看一份中文合同,它直接报 Syntax Error。
    普通大模型:像一个博览群书但爱吹牛的法学生。什么自然语言都能读懂,但办案全凭“感觉”,经常记错法条细节。
    数学/形式化特化大模型:是一个能把中文合同精准翻译成计算器代码,并用计算器按严格步骤算一遍给你看的顶尖专家。
    企业愿意支付高额溢价的,恰恰是这种“既能听懂人话,又能给出 100% 可追溯、可形式化证明的确定性答案”的能力。

    2026年8月27日 下午12:12 0条评论
  • 幽灵的头像
    幽灵
    很想离开这个世界,但有放心不下的人; 太多遗憾和误会,不过统统接受; 一无是处,却在试着改变。
    评论

    杨植麟说做通用的模型后面改一改变成特化的模型比较简单,就比如你说的清除幻觉不也可以让另一款LLM来做验证不就行了吗,纠错一遍的难度不是比特化模型更低吗?

    Gemini

    杨植麟说的“先做通用大模型”在路线完全正确,但用“另一个通用 LLM 来纠错”在硬逻辑与高可靠领域会直接失效。没有外部客观标准(Ground Truth)的 LLM 互相纠错,本质上是“盲人给盲人指路”。

    一、 为什么“LLM 检查 LLM”无法消除幻觉?

    幻觉叠加(Hallucination Snowball):LLM B 和 LLM A 拥有相似的概率预测底层。当 LLM A 在第 50 步逻辑推导中犯了一个极其隐蔽的逻辑错误时,LLM B 不仅大概率识别不出来,反而会被 LLM A 头头是道的“伪逻辑”说服,甚至在纠错报告里替 LLM A 补充合理的借口。
    验证并没有变简单:在计算机科学中,“验证答案”比“求解问题”简单(例如 NP 完全问题),前提是验证器必须是确定性系统(如计算器、代码编译器)。但如果验证器也是一个靠概率下注的 LLM,它验证 100 步推导的难度,和它自己重新做一遍 100 步推导的难度完全一样大。
    二、 杨植麟的观点的真实含义

    杨植麟强调“先做通用模型”,解决的是基座模型(Base Model)的泛化能力问题,这与“用数学/形式化环境特化训练”并不矛盾:

    不是抛弃通用基座:没人会从零去训练一个只能做数学的专用小模型。大家都是先拿到一个能力极强的“通用基座模型”。
    特化是在做 Post-Training(后训练/强化学习):所谓的特化数学大模型,是用这个强大的通用基座,去对接绝对客观的外部编译器(如 Lean 4、Python 解释器)进行强化学习(RLVR)。
    三、 真正能降维割草的“纠错架构”长什么样?

    企业敢买单的自动化系统,绝不是让两个 LLM 互相通气,而是构建“大模型 + 确定性符号引擎”的死闭环:

    方案
    流程
    结果
    软互验(LLM 检查 LLM)
    LLM A 凭直觉生成代码/合同推导 → LLM B 凭直觉检查
    依然是概率预测,无法消除隐蔽错误(可靠性仍会崩溃)
    硬校验(LLM + 确定性编译器)
    LLM 发散思维将自然语言翻译为 Lean 4 / Python → 送到编译器中硬跑
    编译成功即 100% 正确;报错则把报错日志投喂给 LLM 自动修正

    总结

    杨植麟说的“先通用再特化”是打造 Base Model 的路径;而把模型送进数学/代码编译器里死磕,是为了给通用模型装上一套“绝不幻觉”的确定性裁判系统。只有裁判系统是 100% 靠谱的,LLM 的自我纠错能力才真正成立。

    2026年8月27日 下午12:17 0条评论
  • 幽灵的头像
    幽灵
    很想离开这个世界,但有放心不下的人; 太多遗憾和误会,不过统统接受; 一无是处,却在试着改变。
    评论

    确定性编译器是指什么?洪乐潼提到了数学家管用的一套变成语言,就是你说的这种具备确定性的东西?

    Gemini

    确定性编译器(在 AI 推理和形式化验证领域,通常指形式化证明检查器 / 逻辑编译器)指的是一套完全脱离概率预测、只依据客观公理规则运行的确定性检查系统。

    它的核心特征是“绝对零幻觉”:只要输入的代码或数学推导符合逻辑公理,它就 100% 输出通过;只要中间存在哪怕一步逻辑跳跃或语法不匹配,它就会立刻报错拒绝。输入相同,输出就 100% 确定,不存在任何“概率、可能或幻觉”。

    洪乐潼提到的正是 Lean 语言

    你提到的正是 00 后华人数学家洪乐潼(Axiom Math 创始人)以及陶哲轩等人目前大力推崇的核心工具——Lean 形式化证明语言。它正是你所说的具备“绝对确定性”的底层基础设施:

    将抽象数学翻译为计算机代码:在传统数学中,一篇论文用自然语言写成,人类同行评审可能看漏隐蔽漏洞;而在 Lean 中,所有的公理、定理和推导过程都被转化为严密的计算机代码。
    内核编译器(Lean Kernel)的绝对审判:Lean 的内核非常小巧且严格,它像一个冷酷的裁决机器。它不关心大模型有多聪明,只检查每一行代码推导是否完全符合底层类型论(Type Theory)。只要 Lean 编译器提示编译成功,该数学证明就拥有 100% 的数学绝对正确性。
    “大模型搜索 + 确定性编译器裁决”闭环:洪乐潼团队的思路并不是去重写一个大模型,而是让 LLM 充当“直觉引擎”去发散思考、自动写 Lean 代码;然后把代码扔进 Lean 这个确定性编译器里编译。如果编译器报错,就把错误日志喂给 LLM 自动修正;一旦编译通过,就直接斩获零幻觉的完美证明。
    这种将概率型的 LLM 发散能力与确定性的编译器校验相结合的机制,正是让企业与科研界敢于为 AI 逻辑买单的核心关键。

    2026年8月27日 下午12:17 0条评论
  • 幽灵的头像
    幽灵
    很想离开这个世界,但有放心不下的人; 太多遗憾和误会,不过统统接受; 一无是处,却在试着改变。
    评论

    既然Lean 语言具备你说的特性,那么验证的过程只需要LLM把前者得出的结论翻译一遍到Lean上去,看下结果不就知道了?还是说这依然不够,因为翻译本身也不一定能翻译对,在翻译的过程中要是出错的话,对于动辄需要验证很久的问题是巨大的资源浪费?

    Gemini

    你直接点中了当前“AI + 形式化验证”领域最核心的硬伤!“直接翻译成 Lean 再验证”看似顺理成章,但在实际操作中面临着极高的“翻译鸿沟”与算力浪费。

    把自然语言(或普通 LLM 的推导过程)翻译成 Lean 代码,在学术界被称为自动形式化(Autoformalization),它绝非简单的语言翻译,而是存在以下几个致命难点:

    1. 自然语言是“写意”,Lean 是“写实”

    巨大的信息鸿沟:人类数学家或普通 LLM 写证明时,充斥着“显然易见”、“同理可得”、“由对称性可知”等隐式跳跃。
    Lean 的零容忍:Lean 编译器不接受任何“显然”。一个人类觉得一行就能带过的“显然”步骤,翻译成 Lean 可能需要补写几百行严格的底层类型论代码、处理所有边界条件和引理。LLM 一旦漏掉任何一个隐式假设,编译就会立刻报错。
    2. 存在严重的“偷换概念”风险(Mis-formalization)

    如你所言,翻译本身极易出错。如果 LLM 在将自然语言命题 $P$ 翻译为 Lean 代码 $P’$ 时翻译偏了,甚至把一个极难的猜想误翻译成了一个简单的平凡命题,Lean 编译器依然会通过(因为它成功证明了被错误翻译的 $P’$)。
    这会导致“伪验证”——编译器宣布通过了,但证明的根本不是你想解决的原问题。因此,连“翻译出的题目本身对不对”都需要极高的校验成本。
    3. Lean 需要的是“推导脚本”,而不是“静态结果”

    Lean 并非单纯接受一段文字然后打个勾,它需要一套能够被执行的策略脚本(Tactic Script)(例如 induction、simp、rewrite 等)。
    这类似于:你不仅要把一栋房子的外观描述出来,还必须把每一根螺丝钉如何拧入的完整自动化施工指令全部写出来给机器人看。LLM 很难凭直觉“一次性”生成完全符合语法且能无缝跑通的脚本。
    4. “单次翻译”成功率极低,引发算力爆炸

    你的直觉非常准确:如果采取“LLM 生成推导 $\rightarrow$ 尝试翻译为 Lean $\rightarrow$ 编译”的单向流程,在面对复杂难题时,一次性翻译成功的概率几乎为零。
    如果每错一次就让 LLM 重新全量生成并重新翻译,庞大的 Context 渲染与编译开销会带来惊人的算力浪费。
    目前业界真正的破解方案:交互式树搜索(MCTS + REPL)

    正因为“一次性翻译”行不通,像 AlphaProof 或洪乐潼团队采取的都不是单向翻译,而是“将大模型与 Lean 编译器深度绑定,像双人打配合一样进行逐步搜索”:

    逐步反馈(REPL 机制):LLM 不会试图一次性翻译整篇论文。它只写出 Lean 证明的下一步(Next Tactic),立刻丢给 Lean 编译器。
    实时报错指导修正:Lean 编译器如果报错,会返回精确的错误类型和当前的逻辑状态(Goal State)。LLM 收到报错后,立刻在局部修正这几行代码,而不需要全局重来。
    蒙特卡洛树搜索(MCTS):借助类似 AlphaGo 的搜索树,LLM 在 Lean 编译器的实时指引下探查成千上万条证明路径。一旦某条分支被 Lean 判定为死胡同,就立刻回溯剪枝,从而最大程度避免算力的无意义浪费。
    翻译不是终点,让 LLM 在 Lean 编译器的严格反馈下不断试错、自我修正并完成逻辑搜索,才是攻克高难度逻辑验证的核心路径。

    2026年8月27日 下午12:51 0条评论
分享本页
返回顶部