大模型 PK

上礼拜有件很有趣的事:大宝的数学练习卷出现了一道题:请问 1 到 2019 一共出现了多少个偶数数码。这确实不是一道容易的题目,他妈和他一点点的算,先从 1~10 看有几个偶数数码,再看 11~20 有多少个,然后类推 21~30,再类推到 99,把两位数的偶数数码出现次数都记下来之后再推导三位数的偶数数码,然后到四位数,最后再推一下 2001~2019 的偶数数码。她一边写,大宝一边在旁边帮她算。这样是很有条理,但似乎一不小心就会有纰漏。最后她们把结果拿过来跟 AI 算的核对,确实差了一点,然后她又返回去验算,再最终把答案和过程都敲定下来了。

我在旁边看着他们算,我坚持认为可以用概率的方法比较快地算出来。2019 是四位数,如果要出现偶数数码,每个数位上应该有固定的几种选择,像千分位上就应有 0和 2,其他三位就是 0,2,4,6,8 这样,把每个数位出现偶数数码的概率加起来,最后就是所有偶数数码出现的概率。但我想得出大概思路,却没办法真正用一步步的算式推导出来。我的思路肯定还有欠缺,我的数学知识也太久没有捡起来了。大宝和他妈把题目都写好在卷子上了,我仍然想不出属于我的快捷方法。随后大宝去睡觉了,我坐在厅里面还一直在思考这题。我想起我上学的时候,也经常为了一道数学题耗尽一个下午或一两个小时的时间,就坐在那想啊想,想着想着就走神了,等发现走神了自己又赶紧把精力集中那道题上面。在一道题目上花的时间越久,就越不想放弃,不想去翻答案的解法。因为我一看答案,就代表我投降了,我已经花去的时间就显得更加没意义。所以大多数的数学难题,还是靠自己把它解出来了。每次我发现了正确的解法之后,那种狂喜的感觉实在是太美妙了,整个人既轻松又激动,那一刻我会觉得自己好聪明啊。以前看伟人的故事,好像说的是牛顿终身未娶,他说研究科学获得的快感比性高潮要强多了,我想我是能部分体会到他的心情的。当你想通了一个困扰到你很久的难题,那一刻你觉得世界里的一个秘密被你洞穿了,你拥有了超越周围的人的智慧。后来在工作中,我也时不时会遇到这样的时刻,只是近年来确实越来越少了。而在上礼拜天的那个晚上,我决定要找回这样的快乐。

但我还是对概率的计算太生疏了,那几条基本的公式也不太记得起来,越想越乱。我还是问了一下 AI,看他是怎么解的。他的解法我也没看懂,但他把所有数都想成四位数,即使是一个三位数,好比 567,也看做 0567,1 就看做 0001 来考虑,都算完之后再减去前面带 0 的数码出现的次数。这个思路启发了我。我一边锻炼我的肘关节,一边思考:

先把 1~1999 拿来考虑

千位上带偶数数码就是 0 一种可能,当千位上出现了偶数数码,其他位上是什么数都无所谓了,可以从 0~9 十个选择里任取,这样的数一共有:

1x10x10x10=1000 个

百位上带偶数有 5 个可能,此时千位千位上有两个选择(0,1),个位十位各有 10 个选择,这样的数共有:

5x2x10x10=1000 个

类似的,十位和个位上带偶数数码也各有 1000 个,加起来就有 1000×4=4000 个偶数数码

再减去前面是 0 的无意义的数字,

不存在千分位是 0 的数,千分位是零的数共有:1x10x10x10=1000 个

不存在千分位和百分位都是零的数,这样的数共有:1x1x10x10=100 个

类似的,000x 这样的数有 10 个

0000 有 1 个

这样,0~1999 共出现偶数数码:

4000-1000-100-10-1=2889 次

然后算 2000 到 2019 出现偶数数码次数:

千位是偶数,就 2 一种可能,这样的数有:1x1x2x10=20 个

百位数是偶数就 0 一种可能,也是 20 个数

十位数是偶数,就 0 一种可能,这样的数有:1x1x1x10=10 个

个位数是偶数,有 5 种可能,这样的数有 1x1x2x5=10 个

所以最终答案是 2889+20×2+10×2=2949

我算是摸索出了一套自己能理解的,也不会耗时太久的算法。于是就睡觉去了。可半夜醒来,突然想验证一下自己这个思路可不可行,于是躺在床上给自己编了一道题:从 1 到 5650 有多少个偶数数码。于是半夜躺在床上举着手机摸黑算了起来。算出一个答案了,是 10396,可跟 ChatGPT 一对,结果还不一样。我开始仔仔细细地检查 GPT 地每一个步骤,可我也没理解。我又认认真真地把我的计算步骤一步步在手机上列出来,然后整体贴给 AI 检查。GPT 看了我的思路后似乎陷入了矛盾当中,他一边反馈说这步没问题,下一步也没问题,一路推导都说没问题,到了最后突然说你这样的算法问题就在于…仿佛一个疯子在胡言乱语。但那一刻我还不清楚到底是他算错了还是我没理解他说的话。我又把题目贴给 Gemini 算,Gemini 也说我错了。他算出来的答案跟 GPT 一样,是 9896。 我照样也看不懂他的计算过程。于是我又把我的计算过程贴给了 Gemini 分析,神奇的事情发生了:Gemini 一通计算之后,他承认是他算错了,他说我的答案是对的!我有点兴奋,但又更疑惑了,这 AI 还能算错吗?我看看手机,已经是凌晨五点多了,我从三点多醒来,已经折腾了快两个小时。再这样下去,估计也不用睡觉了吧。我强迫自己把手机放一边,闭上眼睛慢慢地做深呼吸,过了一会还是睡着了。

早上八点起来了,我一口气又把题目丢给了 Claude,DeepSeek,Openclaw,豆包。这次前三个模型得出了于我一模一样的结果,然后豆包得出了一个与其他模型都不一样的答案。我再把最开始那道 1~2019 有多少关偶数数码的题贴给豆包,他也算错了,答案还特别离谱。于是豆包被我判定为最胡扯的模型。我再让 openclaw 试试用穷举法验算一下,他还是算出了我的答案。我又让 Gemini 就这个问题写了一串代码,让 openclaw 跑了一下,也得出了我算的答案。这下应该可以判定是 GPT 有问题了。可我把代码贴给 GPT 让他分析,他还是用很肯定的语气告诉我,代码没问题。按着这个代码跑一遍,结果一定不是我算的,是他算的结果。看到还有反对意见,始终让我不放心。我把躺在床上玩手机的老婆拉起来,央求她拿我的题目用她的方法算一遍,把过程写在纸上。老婆嘴里不停地喊着“你好烦啊!”手上还是一直在算。她算出来的答案跟我的有点差别,我把我的计算过程给她看了后,她又验算了一下,认为我的就是对的。这下我终于可以斩钉截铁地给 ChatGPT 打个大大的❌了。

我打开 ChatGPT,让他分成两段来算,1~4999 出现了多少个偶数数码,然后 5000 到 5650 出现了多少个偶数数码,两个结果再相加。这回他才算对了,承认之前是他的问题。不过他还是厚着脸皮过来指导我要如何避免这个错误,要给我“把思路理清楚”。他对自己的错就是轻描淡写地提一句“刚才犯了个系统性的错误”,转过来继续像个专家一样总结出一套套的理论。望着他输出的文字,我陷入了深深的怀疑。原来 AI 模型只是被设定成说什么内容都头头是道,有理有据的模样,就算抓着一个错误的答案,他被设定好的性格还是会用一副讲道理的嘴脸来演绎。想想很多人也会有这种毛病,拒不认错,避重就轻。所以 AI 确实是人类设计出来的语言模型,模仿了人类说话的方式。这件小事还让我看到 AI 给出的答案比我想象中更不可靠。我没想到比小学水平高一点的数学题他也会做不对。未来会不会有一天,当人们更加重度地依赖 AI 时,他依赖 AI 做出来的成果会因为一个微小的,不易觉察的错误完全失去价值。一个人耗费了一年,十年的心血到头来发现大厦是建在一个泥沙浇筑出来的基础之上。

我把这件事讲给大宝听,但他听了后完全没有在意。他觉得 ChatGPT 算错一道数学题跟他懂得其他知识是没关系的。他最喜欢抱着 iPad 问 AI 各种各样的问题。他的理解和我不一样,他不会有我那样基础不稳,大厦将倾的想法,而这正是我想让他了解到的。

发表评论