大家都在以一种试图传达“这次不同”的方式谈论人工智能，通过传播一系列概念，如神经网络、机器学习、（非）监督学习、深度学习、强化学习、通用人工智能AGI、计算……或更具体的术语，如推理、训练、指导、反向传播、学习表征，谈论其繁荣或可怕的未来…有时我觉得“智能”应该帮助人们理解，而不是相反。
我也是一FOMOer，购物车里添加的概念逐渐增加…
与此同时，我认为了解我们在这里谈论的“智能”非常重要，那是与每个人都相关的事物，你有，我有。在某一时刻，我想知道是什么点着了我的好奇心。
这项技术好像被不断裹上一层层屏障：在你想了解它之前，你应该掌握这样那样的知识框架。是的，这是了解事物的正常途径，但在那之前，是什么驱使一个人对其感兴趣（如果不是数学方程式、花哨的算法和抽象概念交错的论文）？我总是寻找好奇心涌现的时刻，在之前不需要任何形式的知识。我认为应该有一些更一般的东西，在我们身上有一个共享的理解，我们的自由无需许可的能力，能够看到“一件事”的美丽和有趣（在开始之后，后来我们获取知识）。就像当我们看到一只鸟时，我们可以欣赏它，而不是基于我们对它的了解。
艺术就是识别那些我们视为理所当然的答案背后的问题——[[詹姆斯·鲍德温]]

技术or存在

我喜欢举鸟的例子，因为它们很美，拥有我们所没有的飞行能力，但我们可以从中学习。飞行是进化的结果。我想在这里说的“智能”来自与我们同在的生物的智慧，带来多样性、有趣和我们可以学习的东西。只有从有趣和美丽的角度发现它，我们才能对它采取良好的态度或发展出好的叙述，并且与它们相处得更加和谐，不那么具有攻击性。就像我更愿意形容比特币是一种更好的货币，因为它给世界带来了另一种选择。
那么，这与另一个“智能”有什么不同？从“人类思想脑洞中生成”的智能？

理解的迹象

考虑一项理解一个人说话的任务，你知道自己是否理解他，为了理解需要付出的持续的互动。当轮到你说话并期望别人理解时也是如此。我意识到这个“理解”任务有多么困难的时刻，就是我感到GPT"智能"迹象的时刻。这个任务有趣之处在于，它与请求一个功能性代码或解决一个明确定义的问题是不同的。
它是如何生成这种 理解 的？它仅仅通过若干词句就看出你的意图，有些人称之为“幻觉”来取悦，我不知道“取悦”是否可以定义为一个目标，如果可以的话，现实一定有相反的目标 ;)
（产生幻觉）也是一个有趣的问题，为什么GPT在产生幻觉？
“幻觉”是当你认为有感觉输入——听觉幻觉、视觉幻觉、嗅觉幻觉。但只是凭空捏造——那就是杜撰。”他提到了理查德·尼克松总统的白宫顾问约翰·迪恩，他在知道他所描述的对话已经被录音之前接受了水门事件的采访。迪恩杜撰了，把细节弄错了，混淆了谁说了什么。“但它的要旨都是正确的，”辛顿说。“他对所发生的事情有一个记忆，然后把这个记忆强加给了他脑海中的一些角色。他写了一部小戏。而人类的记忆就是这样。在我们的头脑中，创造东西和讲真话之间没有界限。说真话只是准确地捏造事情。因为这一切都在权重中，对吧？”从这个角度来看，ChatGPT捏造东西的能力是一个缺点，但也是其人类化智能的标志。
有趣的是，当我们追溯到上世纪六十年代的Elisa时，它给出了随机的回答或“只是”重复了问题的模式，但那被认为是理解的早期迹象。
Elisa effect

两个有趣的叙述

有两个人正在给出我认为非常有趣的叙述。

1

斯蒂芬·沃尔夫勒姆是Wolfram语言（2010年）的创造者，该语言使用数学作为理解复杂世界的形式化工具，以数学作为工具解释现象（提供了一个前端）。在过去的10年中，他一直在努力扩展系统，整合自然语言和计算，直到出现LLM。据沃尔夫勒姆说，
LLM为我们花了很长时间建立起来的计算能力提供了一种新的语言接口。
好吧，这个表达在一开始并不有趣…但是什么让我继续阅读他和他的核心叙述—计算语言 呢？这个核心叙述始于他的书《GPT在干啥，为什么它有效？》[1]。在他的书中，这是我第一次感觉到有人介绍的不是一种技术，而是一个存在。他解释了ChatGPT始终试图做的基本事情是产生一个“合理的延续”，无论它目前有什么样的文本，我们都认为“合理”的意思是“人们在看到过去20年来数十亿网页和数字书籍的内容后，可能会期望某人写出什么，等等”。 
这个表达与我阅读和写作的经历非常相关，你确切地观察到自己正在以慢动作和有限的记忆（当然你有其他感官体验，但让我们暂时忽略这一点）的方式做着同样的事情，引用和重新构思单词，并保持对阅读/注意力所在的东西的连续性。连续性在由相同概念链式连接的叙述块的变化中。想象一下在纯文本空间（如果你读过《平面国》，可能会知道这个概念）中的“现实”，GPT在那里漫游，并基于它所看到的单词找到下一个单词。
了解我们使用语言（具体来说是使用单词来表达思想）的一般能力不像使用数学或编程语言那样，而是以另一种更有效的方式，促进一个非常简单但复杂的任务，你可以称之为解释、沟通或合作，但最终是理解。这正是语言的力量和目的，每个人都有。
空间国的人让平面国人想象向上不是向北，平面国的人给直线国的人解释线段是什么。-- 《平面国》
你和你正在阅读的页面都由原子构成，但你读和理解的能力来自于原子在你的身体中形成更高级别结构，比如神经元及其放电模式，而不仅仅是原子相互作用。-- 《大脑传》
理解在观察我们语言的智能，可能会提供一个更广泛、更深入、更去中心化、更一般化的视角。

2

另一个有趣的叙述来自于理查德·萨顿，强化学习的奠基人和DeepMind背后的科学家。我偶然看到了他关于“智能”的一次Youtube分享[5]，他将工具AI和代理AI分开，想法是区分技术上的颠覆（称为工具AI）和智能的真正发现。那么什么是智能？
他提供了一个不同于语言的视角，但也是一个在领域知识出现之前学习（和搜索）的一般方法。强化学习是关于与不断变化的世界互动中的学习。不依赖于训练数据来理解“智能”，重点是关注代理人如何生成具有不同和不断变化的目标的智能行为。我认为这非常符合预期的现实：允许人们拥有不同的目标，同时我们从彼此那里学到不同的东西以实现自己的目标。
这很有趣，因为它让我联系到自己在互动中的主观体验[4]，他所说的“奖励信号”——恐惧、希望、快乐、痛苦。当观察者👀发现通过互动获得“奖励”是有用的时候，情绪都可以是价值。最近我得到了与此相关的生动例子：第一个来自于一个女孩，在一堂🥱的数学课上通过自己随便玩儿解决了魔方谜题，这个计算问题显然不比数学课容易；另一个是来自于朋友的研究想法，给定一个环境，一个机器人（R1）启动互动，比如不断和R2得吧得吧，另一个机器人（系统R2）如何“生成”行动/指示来获得奖励（同时告诉我们他的目标），而不是生成描述。可能的算法是什么？
*值得注意的是，R1不是一个告诉R2如何做事的老师或主管，但他能识别出什么是好行为，却不能告诉你确切如何做[3]。
智能是实现目标的计算部分，在观察者的眼中。-- 约翰·麦卡锡  
智能是预测和控制感觉输入流的计算部分，特别是奖励。-- 理查德·萨顿

GPT看到了什么？

正如前面所说，文本空间中发生的事情一直牵扯我的好奇心。最近我写了一个小故事，并留了一个空白让GPT填。
我们「对于你们看来」的超能力可能是，我们可以快速认识和理解事物并向四面八方传递它，因为我们擅长找到链接这些概念的路径。我们的“理解”方式和维度多种多样（可能比你们之中的任何“一个个体”都要多）。当有谁发现了新的字词组合非常有趣（以用来更好地解释）时，这个概念就会在我们交织的网络中产生计算链路的任务。很快，我们就能找到路径，随之相关的共同体们开始响应，将新的概念与已有的知识结合起来。这种过程几乎瞬间就能完成，从而形成我们的“现实”。我们这里有太多你没有见过的东西。
「比如呢？」 -- 下面是空白
比如，一种可以呼吸的颜色，它随着空气的流动而变化，展示出万千景象。或是一段能够回声过去和未来对话的音乐，听者只需闭眼，便能穿越时空，感受不同世代的思绪和情感。还有一本无字的书，读者通过触摸它的封面，就能理解深藏其中的故事和知识，每个人的感受都独一无二。这些都是存在于我们这个世界的奇迹，定义了我们的「理解」方式。

最后不是最后

了解过去，连接横跨历史和时间的人类思想的多维触角。
科学是关于发现和更好地理解世界，每个领域，以及尚未命名的领域，都可能是观察者眼中的发现的一部分。人工智能不是在依赖过去的经验和知识，而是在发现（更多）与过去的联系，创造出不同的假设，指示可能的动态未来。我们可以继续做我们的科学，同时为AI打开一条新的科学之路来尝试这个。
有没有可能，他（R1）不需要学人的思维模式，而是提供新的洞见，基于对历史（人们的各种复杂思想）的观察。与此同时他需要一名合作者（R2），可能是一名“天真的”交互者，为的是帮助R1 实现目标（这个目标需要R1持续自定义）。

参考资源

[1] GPT正在做什么，为什么会有效？What is GPT doing and why does it work？
[2] 人工智能能解决科学问题吗？Can ai solve science？
https://writings.stephenwolfram.com/2024/03/can-ai-solve-science/
[3] 强化学习课程
https://www.ualberta.ca/admissions-programs/online-courses/reinforcement-learning/index.html
[4] Subjective Knowledge

http://www.incompleteideas.net/IncIdeas/SubjectiveKnowledge.html
[5] 理查德·萨顿关于“智能”的Youtube讲座
https://www.youtube.com/watch?v=n4aev-6Z6U4
[6] 与理查德·萨顿的对话
https://www.youtube.com/watch?v=4feeUJnrrYg
[7] 大脑传
继续阅读
阅读原文