兔主席 20230608

马斯克不久前对中国进行了个为期两天的访问。他排的行程很密集，但传出来一则信息是引人注目的。他在推特上说：

Something that is worth noting is that on my recent trip to China, with the senior leadership there, we had, I think, some very productive discussions on artificial intelligence risks, and the need for some oversight or regulation…And my understanding from those conversations is that China will be initiating AI regulation in China.（“在最近的中国之行里，值得一提的是，我与中国的高级官员们就人工智能风险以及需要针对相关问题进行监督和监管的问题上，进行了富有成效的探讨。我的理解是，中国会对AI进行监管。”）

当然，马斯克并未对外透露任何具体的讨论细节与方向。此新闻在英文及中文/内地媒体都有报道。

对人工智能进行监管在中国并非新闻。今年4月11日，网信办即发布了《生成式人工智能服务管理办法（征求意见稿）》。这个征求意见稿应该也是因应ChatGPT的推出和风险及时做出的响应，目前内容还比较基本，但是已经纳入了许多重要的原则。就这条《征求意见稿》而言，是先行于其他国家的。

但究竟什么是AI风险？

可能不同人的理解是不同的。就马斯克自己而言也一样，他提出的也是不同内涵、维度的风险。

笔者以为，在探讨中，至少可能存在四种不同类型的风险，处在短中期、涉及不同的利益主体。我尝试将四种风险定义一下，然后结合中美两个大国的情况说说对监管的预测。

下面的分类是笔者自己做的。概念化的目的，是为了便于分析参考。

以下对AI进行泛指，内文多指“生成式AI”。

短期：半年到一年；
近期：三年；
中期：五年到十年
远期：十年以上。

风险1：社会及伦理挑战（socio-ethical challenges）

发生时间：短期、“近”期或中期，即未来半年、三年或五年以上的时间。

内容：AI大发展，对既定社会秩序、生活方式及运行规范的扰乱和挑战。ChatGPT出现后，英文媒体里围绕AI的争议，大多是针对生成式AI工具的，这些争议主要围绕信息准确性、知识产权、数据安全、隐私、教育（最常见的是关于抄袭的讨论）、以及其他一些涉及价值观、公德及社会安全的问题——最常见的就是生成式AI被恐怖主义者、极端主义者在各种场景下利用的问题。

马斯克等人呼吁叫停进一步训练升级GPT，部分是出于这个目的。他们认为现在的技术迭代太快，而且可能加速发展（特别要考虑AI自我训练的因素），社会可能一瞬间——例如在半年内——即迈过临界点，且不自知，并造成意想不到、一定程度不可逆的社会及伦理挑战。

风险2：政治挑战（political challenge）——AI对国家安全、制度安全、信息主权、政治导向等的挑战；

发生时间：近期、中期或长期，可能是三年、五年或十年的时间。

内容：生成式AI内容对政治秩序、政治价值观、政治舆论生态、意识形态等直接、间接的影响。在拥有一元化政治统序的国家（例如中国），“政治挑战“将体现为对主流政治价值、意识形态的削弱、挑战；在拥有多种政治价值、意识形态和党派利益团体竞争的国家（例如美国），生成式AI将成为政治工具，支持某一方意识形态/政治派别。具体形式、手段，包括潜移默化的影响，以及将生成式AI机器人投放到网络舆论场等。
就此，我已撰文多篇，如：
《人类“3.0”意识形态战场——ChatGPT的政治化终局ChatGPT的价值观及立场（四）》
《从GPT/AGI到未来世界的政治》

风险3：政治经济挑战（political-economy challenge）——AI对人类社会经济结构、劳动力结构、社会结构的影响，并随之对政治、政策的影响。

发生时间：中期或长期，三到五年或更长时间。

内容：先进GPT/AGI的出现，将对人类生产与服务的产业链、价值链进行“重构”。用大白话说，就是AI将取代大量的人类脑力工作岗位。一开始可能是辅助，但很快（半年到一年，数年）就会使得人类脑力工作者变为冗余——因为他们反应速度、知识范围甚至创作能力都不如AI。掌握资本、科技、政治政策力的人仍将处在顶端，但大量（甚至是大多数）普通的脑力劳动者将发现，自己会被AI降维压制，最终被排挤到产业链和价值链的“低位”乃至“末端”，即只需要中低技能的“人人界面”（人类世界）。

这个风险挑战才是真正实质的、巨大的，对我们每个人及后代都可能发生影响。作者认为，未来，不是人类把控AI，和自己“对齐”，而是人类的就业结构、社会结构、政治经济结构配合AI，与AI对齐。

就这个问题，作者写过若干文章，后面择机还会继续阐述：

《问答（三题）：AI对人类生产、就业、社会的影响》

《GPT、科技、人类的生产、知识与未来（上）》

《六种困境：GPT、科技、人类的生产、知识与未来（下）》

《人工智能的釜底抽薪：对人类劳动价值的颠覆》

风险4：生存挑战（existential challenge）——AI大发展后，对人类生存的挑战乃至威胁

发生时间：（被认为是）中期或长期，即五年到十年乃至更长时间。

内容：所谓生存挑战、生存威胁，即认为AI大爆发，加速迭代后，不知不觉地就会越过所谓“奇点”（singularity），形成超级智能（superintelligence）。超级智能有意识，并且智力远超人类。一旦形成自我认知和生存目的、目标，它就会希望“走出盒子”，掌握自己的生存主动，追求自己的目标。AI对人类并无特殊感情偏好，它只是在追求自己的目标，但在这个过程中，就会给人类带来物种生存风险，彻底改变、颠覆乃至摧毁人类文明。

要解决AI带来的生存挑战，应对AI的生存威胁，核心问题是解决AI alignment（“AI对齐”问题），即想方设法使得AI：1）能够真正的从骨子里理解、认可、执行人类复杂、多元、相互存在冲突的价值、诉求、喜好等；2）使得AI的“效用函数”（utility function）或幸福指数与人类一致。基于此，使得AI永远在人类设置的潘多拉盒子内（所谓的“对齐”）。这样的AI，就是“友善AI”（friendly AI）。

持有这种观点的人认为，不好预测“奇点”何时会发生，安全起见，GPT/AGI研究应该立即停止，所有人应该先对AI对齐形成一致看法，形成一致的策略。他们认为，面对超级智能，人类只有一次机会，只要错过这次机会，没能把AI锁在潘多拉的盒子里，人类就要毁灭。就这个问题，做比喻也比较简单，就是有一群科学家和哲学家呼吁全地球先不要接触外星人，一旦被外星人追踪发现，我们就要面临灭顶之灾。AI——代表的是硅文明——就是我们创造的“外星人”，可能会将我们毁灭。当然，他们有可能把少数的人类——自己的造物主（“神”）养在笼子里——继续观察人类的行为。

不要认为这是某种小众观点甚至邪教。这是AI安全问题的重要领域。在呼吁暂缓GPT研究的人士中，不少人认可AI带来的生存威胁。马斯克本人也受到这种观点的影响。

以上是作者定义的AI带来的四种风险。

马斯克在和中国官员讨论时，脑海里思考的是哪几种风险呢?

我猜是风险1（社会挑战），以及风险4（生存挑战）。

中国官员脑海里思考的是哪几种风险呢？

我认为是风险1（社会挑战），以及风险2（政治挑战）。

两方是有交集的，就是风险1（社会挑战）。但两方的看法又不完全对称。

下篇，我们将结合中美两国政治经济社会的情势，讨论

（未完待续）
继续阅读
阅读原文