我感受到跨学科的魅力和困难,在人们把他们付诸工程实践并取得成果之前,这只是意识上的组合排列。但为什么意识会进行这样的组合排列本身,像一管兴奋剂,吸引着人们出入边界。当脑子里有超过两个圈的时候,AI和生物、生物和比特币,AI和比特币,无法放弃任何一个,又相信它最终会黏合成一个。
FY是我结识的知识交叉域最广的朋友之一,我喜欢在他建的读书群里摸鱼,讨论一些有意思的生物和AI话题。他一直在自学新领域并探索交叉的前沿,与跨学科背景的人才们交流,建立自己的网络(知识和人脉)。
FY给我的很重要的启发是,有一个交叉框架(几个圆的交集),关注有反叛精神的top-research and startups 1)他们在交叉什么,2)在build什么,3)有什么样的demo
70年代早期是Intel、IBM的天下,普通人参与不进去,那个时候涌现出一些反叛的年轻人,Homebrew Computer Club时期的乔布斯。他们试图在如来佛祖的手掌、大公司game的边缘,通过探索替代路径(alternative approaches)杀出重围。
2008年10月31日,比特币白皮书横空出世,做到了以前其他技术做不到的事,一种点对点的电子现金系统。(微小如 1 聪的价值,也可以穿过不可估量距离的网线,送到你手上)
今天
独立做AGI通用人工智能研究的人,他们不仅研究计算机,更向生物和比特币这些精妙的发明学习。他们的工作仍在水面之下还没有被看到,难以理解也令人肤浅的好奇:这一波的AI狂潮,也会像70年代Apple的佳酿,最早Bitcoin的发明吗?
你会问:这些东西到底会有什么交集?我也不懂,但和FY聊天后留下了一些有趣的线索:

比特币发明

比特币是一项以软件算法为核心、配备硬件(矿机)的发明,它将一切视为数据和计算。

不同于deep learning通往AGI的路径,有人在探索更接近生物性启发的一套算法、软件和硬件。
[[John Carmack]]是90年代最早的雷神游戏的设计师,也是Oculus VR的CTO。他在探索和GPT机制(deep learning)不一样的做AGI的路线,2023年他把强化学习reinforced learning之父叫Rich Sutton引进来[1]。里奇·萨顿(Rich Sutton)是强化学习的创始人之一,他还因其 2019 年的论文《痛苦的教训》而闻名。
这种研究可能不需要像现在的巨大数据中心,因为互联网上的数据在许多领域仍然稀缺。
真正支持 AGI 的代码将是一个人可以编写的东西。现在有经验的投资者认为,AGI的代码需要由一组研究人员完成,是由所有人撰写的代码拼凑而成的。但我对此的推理是:如果你拿走你整个人的DNA,其实信息量不到 1 GB。因此,即使是你的整个人体也没有那么多的指令,而且大脑就是它的一小部分——大约 40 兆字节,而且它并非严格编码的… 但我想要再说一下,大脑是一个被大规模利用的简单程序,这也正是当下人工智能身上正在发生的事情。
—John Carmack
公众号:智源社区
专访探索AGI的孤勇者,传奇工程师John Carmack:惊讶看不到如我这样的人

生物启发

向生物学习,师从“蛋白质”

华盛顿大学[[David Baker]] Baker Lab实验室是目前最先进的蛋白质研究组,computational biologists们运用深度学习“生成蛋白质”[2]。

RFdiffusion, an AI program for generating novel proteins. RFdiffusion has been used to create proteins that bind to target molecules and has promising implications for diagnostics and therapies.
In this animation, RFdiffusion was prompted to generate a new protein (orange) that binds to the insulin receptor (blue).

CRISPR本质是Photoshop里面的复制粘贴

今天我们初步认识到生物学的能力,是碰巧发现它是在一个细菌里面。CRISPR这个技术哪来的呢?不是人发明的,是不小心在细菌里面管人家借,就是你细菌里面有这么一个机制然后你把它借过来发现可以改别的生物。只是一个复制粘贴的这个能力,就已经可以做很多基因编辑了。

生物计算的核心

(the core of bio-computation)

Bio-computation本质上是下一代芯片工程。Biology并不是all about computation, but computation is everywhere.

生物计算未来要解决更高的计算效率就是包括energy efficient以及precision。分子方面举个例子,今天的摄像头它可能还没有办法超过鹰的眼睛,它的适adaptive,包括精度本身之类的再到能量,怎么能去类比动物的这个retina这个虹膜到眼睛结构。

这个方向的实验来自一个英国的研究组[3],把蜜蜂这类昆虫的眼睛连接到了无人机。当然并不是伤害小蜜蜂的眼睛,而是Grow a neural on a chip。无人机可能是介于硬件和一个甚至是有意识的生命体之间。

无人机里面很可能以后装的不是芯片而是一个“迷你大脑”,更Energy efficient,在有限的这个体积里面做更多的有高精度的空间计算。

ai与web3的结合

最后我硬生生的尬聊到了web3分布式网络中的数据,web3的资产就是公开可检索数据。一个好问题是:如果LLM access到互联网上的这些账本和数据,想去用它做的这个关键task是什么?

比如挖掘交易数据背后的business intelligence?(FY提示到)

这让我想到了李飞飞吴恩达在CES上的一段对话:CES 李飞飞吴恩达对谈

Where you have the most data, the data can be cerned repeatable patterns out of the data, human language patterns, structured patterns, imagery patterns. actionable in the businesses
understand data patterns, what decisions you are making, intention of human tasks (more to be done)
一个问题:数据存储在blockchain架构里它的量级和它的实时性是怎样的?假设blockchain上的这些交易金融的数据是个金矿的话,是否能用局部的或者小的数据或者更专业的数据就可以预测什么?
(仅以此记录一次有趣的聊天,溜了
Reference
[1]https://www.bakerlab.org/2023/03/30/rf-diffusion-now-free-and-open-source/
[2]https://www.ukri.org/what-we-do/how-we-work-in-ai/examples-from-ukris-ai-investment-portfolio/learning-from-honeybees/
继续阅读
阅读原文