同济校长郑庆华院士:大模型的四大缺陷
社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。
转载自 | 大模型智能
来源 | 中国人工智能产业年会
郑庆华认为,大模型已经成为当前人工智能的巅峰,大模型之所以强,是依托了大数据、大算力和强算法,但是也面临着若干缺陷。
郑庆华总结了大模型存在的四大固有缺陷。
缺陷一是过度消耗数据和算力。大模型的参数量已达到万亿级别,训练数据规模和算力消耗与参数规模成正比。
缺陷二是灾难性遗忘。在新任务上训练会损害之前任务的性能;在问题求解阶段,无法记住处理过的数据或场景,比如在无人驾驶中,人脑对路况有记忆,但自动驾驶每次都要重新计算,并为此消耗了大量能量。
缺陷三是黑盒模型逻辑推理能力弱,大模型缺乏“分而治之”能力,在处理需要逻辑、数值推理等复杂问题时表现不佳,无法举一反三、触类旁通。
缺陷四是大模型不知道自己错了,也不知道为啥错,更做不到知错就改。以GPT4求解算术运算题的实例为例,对于在1381和1453之间选两个随机数相乘的结果给出了错误答案,被指出错误后,无法定位是语料,还是训练等原因,更无从修正。
技术交流群邀请函
△长按添加小助手
扫描二维码添加小助手微信
关于我们
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。