读《这就是 ChatGPT》

吴诗涛 2025-02-02

阅读《这就是 ChatGPT》源于李继刚推荐

提问者:老师,您提到了 read in,那在 prompt 探索过程中,您读的都是哪些东西呢?

回答者(李继刚):读书是很私密的事情,每个人喜好不同,推荐书可能会引发争议。不过对于提示词工程师相关领域,我建了一个书单,有六本书对理解大模型有重要意义。《这就是 ChatGPT》从原理层面解读大模型,篇幅短且翻译后很棒;《深度学习的数学》从数学角度剖析,简单易懂,适合初中数学基础者阅读;黄佳所写的书从代码实现角度出发,开源且注释有助于理解脉络;万维刚的《拐点》从人文视角看待大模型;汤质的《关于说话的一切》为定义提示词为表达时提供了灵感等;《万物皆计算》提出宇宙皆计算理念,涉及外星人宇宙语等内容。

有意思的是,还来不及在春节假期翻开这本书,DeepSeek 爆火,这股热潮似乎比当初 ChatGPT 面世时更有冲击力,甚至让我感觉现在阅读关于 ChatGPT 的内容已经是落伍了。

不管怎样,ChatGPT 是划时代的产品,它帮助了我很多,从大学写论文,到工作写代码等各方面。再后来自己的 ChatGPT-4o 被降智,又出现了国产的豆包、有免费额度的 Copilot 等替代品,ChatGPT 的使用频率便直线下降。

作者 Stephen Wolfram 在书中首先阐明 ChatGPT 本质上是在续写文本:

ChatGPT 从根本上始终要做的是,针对它得到的任何文本产生“合理的延续”。这里所说的“合理”是指,“人们在看到诸如数十亿个网页上的内容后,可能期待别人会这样写”。

其次解释为何这样行得通:

ChatGPT 是如何在语言方面获得如此巨大成功的呢?我认为基本答案是,语言在根本上比它看起来更简单。这意味着,即使是具有简单的神经网络结构的 ChatGPT,也能够成功地捕捉人类语言的“本质”和背后的思维方式。此外,在训练过程中,ChatGPT 已经通过某种方式“隐含地发现”了使这一切成为可能的语言(和思维)规律。

作者讲到语言在根本上比它看起来更简单,如果能以某种方式明确语言背后的思维规律,就可以更高效地做到 ChatGPT 目前能做到的事情。尽管如此,也有些任务是 ChatGPT 不擅长的,比如让它计算数学公式等:

虽然 ChatGPT 在自动化执行主要的类人任务方面取得了显著的成就,但并非所有有用的任务都是如此“类人”的。一些任务是更加形式化、结构化的。实际上,我们的文明在过去几个世纪中取得的一项伟大成就就是建立了数学、精密科学——最重要的是计算——的范式,并且创建了一座能力高塔,与纯粹的类人思维所能达到的高度完全不同。

因此,在书的第二部分,作者介绍 Wolfram|Alpha,一款使用自然语言输入的知识计算引擎,它基于本书作者及其团队花费几十年时间不断梳理和验证构建的计算语言 Wolfram。Wolfram 拥有大量内置的计算知识,旨在让人类和计算机都能用计算思维思考,目前能回答物理、化学、地理、金融等多个领域的问题。

我尝试问了 Wolfram|Alpha 北京到杭州有多远,它把我的问题编译为:

GeoDistance[Entity["City", {"Beijing", "Beijing", "China"}], Entity["City", {"Hangzhou", "Zhejiang", "China"}]]

给出答案 1126 km,并附赠一些单位转化后的结果,以飞机、声速、光速所需的时间,地图标识等信息,非常简便智能。

能将 ChatGPT 和 Wolfram|Alpha 连接起来的,就是我们平常使用的语言:

虽然 Wolfram|Alpha 和 ChatGPT 所做的事情完全不同,做事的方式也完全不同,但它们有一个公共接口:自然语言。这意味着 ChatGPT 可以像人类一样与 Wolfram|Alpha “交谈”,而 Wolfram|Alpha 会将它从 ChatGPT 获得的自然语言转换为精确的符号计算语言,从而应用其计算知识能力。

科技的发展日新月异,不知道下一个春节假期,人工智能会发展到什么样的地步。