通往具身通用智能:如何让机器从自然模态中学习到世界模型?
研究领域:通用具身智能,强化学习,世界模型,层级化抽象,涌现
1 主流的具身智能训练方法面临的挑战
主流的具身智能
2 近期突破:语言任务预训练带来组合/系统性泛化能力
近期突破:语言任务预训练带来
3 目前的具身智能系统距离通用具身智能的根本性差异
目前的具身智能系统
一种是通过构建一个与真实环境类似的模拟器,在模拟器中使用大量数据学习到一个策略,然后在真实环境中零样本泛化或在线微调 (如[5, 6]); 另一种方案是学习一个关于环境的模型,并利用学到的模型来生成学习数据 (如[7, 8, 9]),从而极大得减少对真实环境数据的需求,基于这一想法,Philipp Wu et.al. [9] 展示了仅仅通过与真实物理世界进行1小时的交互就能让机械狗学会走路并抵抗外界的干扰。
任务指定问题、常识、
5 在机器/统计学习框架下如何学习世界模型
在机器/统计学习框架下
(1)神经网络架构
(2)学习法则
(3)目标函数
(4)数据/环境
与之相关地,Evan Hubinger等人 [23]提出了mesa-optimizer的概念,并认为机器学习系统存在mesa-optimization的现象(此处值得注意的是mesa-optimization与meta-optimization是两个相似但不同的概念,后者是指在更高的层级上对优化算法本身进行优化),即一个基优化器(base optimizer),这里往往指的是基于梯度下降和反向传播的优化算法,可以用来优化一个神经网络,并且优化出来的神经网络本身也会变成一个优化器(learned optimizer/mesa-optimizer)。
6 总结
作者在此感谢岳玉涛博士,徐博文,冯睿洋对本文提出的修改意见。
学者简介
沈马成,从麻省理工学院机械系取得博士学位,师从美国工程院院士Jonathan How,博士期间主攻的研究方向为多智能体强化学习和机器人,在计算机视觉,机器人感知,自动驾驶等方面有较为丰富的研究经历。在包括Meta Reality Lab,Dexterity等多家人工智能实验室和公司从事过相关的研发工作。目前的研究方向包括通用具身智能,对探索智能现象背后的普适性原理以及未来的强人工智能可能导致的生存性风险很感兴趣。
参考文献
更多内容,点击下方关注:
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。