｜标题是ChatGPT看着给起的
当朝着并不能清晰地划分到某一具体垂直领域的问题推进的时候，跨学科的认知是如此艰难和浮于表面。语言学者探究语言的本质‘结构依赖’、自然习得的生物性特征；计算机geek们在纠结数据集的大小、丰富度、可靠性、算法的好坏、开源与否；神经学家、心理学者们解密意识、情绪、神经的运作'语言是掺杂了意识的代码'，文学家们用词语丰富着逻辑表征（Literature stresses multiple interpretations）....
我们通过门槛最低但游刃有余的自然语言切入不同知识领域的垂直森林，试图将皮鞭勾住峭壁的另一端。
印第的皮鞭
最近重读了几篇关于思维机器的经典文章，Vannevar Bush 的 《As we may think 1945 诚如所思》[1]，Joseph Licklider的 《man-computer symbiosis 1960 人机共生》[2]，网络作家 Alicemaz 的《one with the machine 与机器合一》（对前面两篇的评论）[3]，Marvin Minsky的 MIT课程《the mind society》中的layered representation of knowledge一章[4]。今天想串联一下这些内容，并结合和Ricci教授关于GPT LLM 语义空间的讨论，看看最近都读了些啥。
LLM的动作依旧很快，昨天OpenAI更新GPT3.5 API允许“个人定制语言模型”，用户可以加自己的数据进行fine-tuning。关于copyright的问题，大西洋月刊最近披露的OpenAI和Meta训练文本数据库：一个叫做Book3的库。LLM基于过去20年写的书（“优质文本”）进行训练，软件这样做的依据是LLM并不是简单的复制黏贴，而是利用已有的内容重新生成新的内容。
*fine-tuning是微调的意思，是用别人训练好的模型(即pre-trained model)，加上我们自己的数据，来训练新的模型。fine tune相当于使用别人的模型的前几层，来提取浅层特征，然后在最后再落入我们自己的分类中。可生成定制代码，或者根据现有语料库进行总结。
we can use LLMs as an interface between us and the digital, to augment our awareness with the vast sea of data that we presently access through a screen darkly. -- Alicemaz

我们来看看Bush和Licklider当时讨论的问题。

Bush

在1946年时，Bush已经指出了科学发展的问题：太多科研成果的发布，但引用和串联成果的能力非常有限，无法跨学科工作或跟上最先进的技术。
科学提供了人类个体之间最迅捷的交流方式；它提供给人类记录思想的渠道，使人类能够对这些记录下来的东西加以利用和提取，这样一来，知识就会跨越整个人类的生命周期而非人类个体得到传承和发展。
人类正在开展大规模的研究，但是更多证据表明，目前随着专业化的延伸人类正在逐步走入困境。研究人员看起来一时无法掌握其他研究者所提出的数以万计的研究成果和结论，能够记忆下来的更是少之又少。而专业化对科学进展来说变得越来越重要，相对地，在学科之间架起桥梁的努力也越来越表面化。
在专业方面，我们传播和概括研究结论的方法陈旧了，无法完全满足我们现今的需要。如果花在撰写学术著作和阅读它们的时间可以被估算的话，这些大量的时间之间的比率可能是惊人的。那些不遗余力试图获取最新思想成果的人，即使他们针对一些范围狭窄的领域进行密切关注、持续阅读，仍难以说清他们在数月以前努力阅读的所得。
用大白话说就是，每个垂直领域都发表太多东西了，如何设计一个机器让人在专业领域进行更有效的概括和传播，并在学科之间进行尽可能的进行“可见的链接”呢？
AI可以帮我们直接完成某些任务，但能不能（反向）梳理链接的过程?
memex只是Bush思想中一个突出成果，并非全部。Alicemaz 在他的文章中评论道：Bush试图解决的问题是科学专业化和使其必要的海量数据。因此，他的目标变得清晰：一系列用于记录感知的设备，一台用于外化某些类别思想的机器，以及一个存储所有记忆并使它们易于分类和访问的工作站。核心思想始终是关于机器如何增强人类智能的潜力。
这个机器在查询时要效仿人的思维运作，通过联系（association）查找，而不是通过索引（indexing）。他提到了一种新的象征主义，超越数学逻辑与符号，很可能是“基于位置”
[31] “人类的思维并不是这样运作的。它通过联系运作。当它抓住一件物品时，它会根据大脑细胞所携带的一些复杂的轨迹网络，立即捕捉到由思想联想所暗示的下一件物品。” “然而，从类比中得出的第一个想法也涉及选择。通过关联而不是通过索引进行选择可能仍会被机械化。” 
“一种新的象征主义，可能是位置性的，显然必须先于将数学变换简化为机器过程。那么，除了数学家的严格逻辑之外，还有逻辑在日常事务中的应用 ”
“A new symbolism, probably positional, must apparently precede the reduction of mathematical transformations to machine processes. Then, beyond the strict logic of the mathematician, lies the application of logic in everyday affairs”

Licklider

首先，他提出了人机共生的目的。人的思考过程并不清晰，但这恰恰是人机共生的意义所在：
人们常说，为计算机编程迫使人清晰地思考，它约束了思考过程。如果用户可以预先考虑他的问题，那么与计算机的共生关系就没有必要了。
但是，很多可以事先想清楚的问题，是很难事先想清楚的。通过直觉引导的试错过程，计算机配合，找出推理中的缺陷或揭示解决方案中意想不到的转折，这些问题将更容易解决，也可以更快地解决。如果没有计算机的帮助，其他问题根本就不能被表述出来。庞加莱预料到了一群潜在电脑用户的失望，他说：“问题不是‘答案是什么？’问题是，‘问题是什么？’” 人机共生的主要目的之一是使计算机有效地参与问题的形成过程。
计算机语言和人的语言之间的差异是主要的障碍，也可能是转机。人通过将自己逻辑化而与机器互动，那么机器也通过将自己语义化而与人互动，能否设计一种表达或响应自然语义的语言呢？尽管这个过程是怎么发生的仍未可知。
这种程序可以像语音中的单词和短语一样连接在一起，以完成目前所需的任何计算或控制 ... 在任何计算机器能够对这种语言做出有意义的响应之前，开发这种语言是没有回报的。
Computer instruction through the specification of goals is being approached along two paths. The first involves problem-solving, hill-climbing, self-organizing programs. The second involves real-time concatenation of preprogrammed segments and closed subroutines which the human operator can designate and call into action simply by name.
Lider（1960）的描述一定程度上预见了LLM等语言模型现在正在尝试的方向。#alicemaz 写到，“他对于人工智能在工作流程中的作用的看法令人震惊地领先于他的时代。对于Bush来说，思维机器是僵化的、形式化的。用于计算和逻辑的东西，以腾出更多时间进行“真正的”思考。但 Lider 将人工智能视为整个过程各个阶段的伴侣，从构思到研究再到结论。”
我想起之前和Ricci教授关于GPT用自然语言所构造的语义空间(semantic space)的讨论。很显然这不同于[事先知道结果和答案]的符号逻辑编程logic programming的思路（诸如prolog这样的编程语言），而是好像反过来，机器辅助人们去定位问题，寻找路径一样。也就是lider所说的：没有人事先知道答案在做事。
it seems to me that our languages are so "deep"— and maybe ambiguity is a good point here.. — that allows for generating such emergent mind-level semantic spaces — given the “right architecture” brain architecture --- not all languages of course can do it. this is why I guess that this period could be groundbreaking also for researchers in linguistics, education, etc. 
--Prof Ricci

思维是怎么被表征的-- Marvin Minsky的语义网

Marvin Minsky 在他的作品中探索了人工智能、认知科学和知识表示的各个方面，例如《the mind of society 》和《the emotion machine》。他的语义网络概念强调知识的组织和联系来模拟人类的思维过程。他将知识表示为节点（或概念）之间的关系，这些关系可以是定向的、双向的或更复杂的语义关系。
语义网络的一个关键特征是它们能够捕获概念之间的多层次关系。这种连通性使得不同的概念能够相互影响和联系，构建更加复杂的知识结构。
这里有两个问题：
如何促进人们的更多思维协作?
技术如何让这样的行为建立双向的链接？
也许可以鼓励人们去引用和链接来构建这个概念语义网，技术可以去自动检测并创建link来抽象这个过程。然后GPT agent根据你这个语义网生成一个articulate agent。这种方法将个人的知识库转化为能够理解和生成自然语言的虚拟实体。这些代理可以在一个大"语义网络"的环境中进行交流。语义网络是一个包含各种知识和信息的虚拟空间，其中每个节点代表一个概念、主题或信息，而边表示它们之间的关联。
（未完太困，改日再续）

References

[1] text me.

[2] https://groups.csail.mit.edu/medg/people/psz/Licklider.html2

[3] https://alicemaz.substack.com/p/one-with-the-machine                        [4] https://ocw.mit.edu/courses/6-868j-the-society-of-mind-fall-2011/download/
继续阅读
阅读原文
关键词
模型
知识
语言
领域
人类