点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达
点击进入—>【目标检测和Transformer】交流群

转载自：新智元 | 编辑：桃子

【导读】一年一度的NeurIPS大会论文接收结果公布了。今年录用率高达26.1％，多项优秀研究纷纷被接收。
NeurIPS 2023录用结果公布了！

根据官方公布的邮件显示，今年共有12343篇投稿，接受率为26.1%。相较2022年（25.6％），还是有所增加。
NeurIPS 是当前全球最负盛名的 AI 学术会议之一，至今召开的已是是第 37 届，将于 12 月 10 日-16 日在路易斯安那州新奥尔良市举行。
录用论文精选
一起来看看，都有哪些大佬论文被录用。

马毅团队

马毅教授团队6月发布的最新研究成果被NeurIPS接收。
这项研究设计了一个完全可用数学解释的白盒Transformer模型CRATE，并在真实世界数据集ImageNet-1K上取得了接近ViT的性能。
通过大量的实验，研究人员证明了当采用白盒Transformer模型CRATE时，其设计明确地模拟并追求数据分布中的低维结构，整体和部分级别的分割属性已经以最小化的监督训练配方出现。
分层的细粒度分析表明，涌现属性有力地证实了白盒网络的设计数学功能。我们的结果提出了一条设计白盒基础模型的途径，该模型同时具有高性能和数学上完全可解释性。
马毅教授也表示，深度学习的研究将会逐渐从经验设计转向理论指导。
论文地址：https://arxiv.org/pdf/2306.01129.pdf
目前，这个项目已经在GitHub上有500+星。

田渊栋团队：3篇论文录用

在本届NeurIPS 2023，田渊栋团队有三篇论文都被录用。
我们的Scan&Snap论文被NeurIPS 2023接收！
该论文分析了单层Transformer（自注意 + 线性解码器）的训练动态，同时表明了，可以证明注意力只关注与查询多次重复出现的辨别性关键token，从而随着时间的推移变得稀疏。
关于多层Transformer +非线性MLP激活的后续研究正在进行中，让我们看看情况有什么不同。
论文地址：https://arxiv.org/pdf/2305.16380.pdf
还有一篇LANCER论文也被NeurIPS2023接收。
许多研究都在尝试学习解决方案g，以预测目标函数f的解，这可能是很难解决的组合优化问题。
然而，如果我们联合学习「f组成g」的替代成本函数呢？这样可以避免多次调用求解器，并大大加快学习过程。
这就是LANCER，它在多个组合问题（包括投资组合优化等实际问题）上都取得了很好的结果。
论文地址：https://arxiv.org/pdf/2305.16380.pdf
第三篇是H2O论文被NeurIPS 2023接收！
H2O表明，我们可以在KV缓存中删除80%的token，但下一个token预测的困惑度保持不变！这将大大降低你的推理成本。
论文地址：https://arxiv.org/pdf/2306.14048.pdf

Oral：数学定理证明器LeanDojo

更重磅的是，加州理工、英伟达、MIT等机构的学者，构建了一个基于开源LLM的定理证明器接收为NeurIPS Oral。
在此，研究人员提出一个开源平台LeanDojo，提供工具包、基准和模型，为LLM创造了一种定理证明的交互式环境。
论文一作杨凯峪曾表示，公式证明是计算机程序，其正确性可以被验证。
最重要的是，这项研究为解决LLM，在事实性和幻觉方面的缺陷开辟了一条新途径。
因为，定理证明是一种具有严格评价的代码生成形式，根本没有让模型产生幻觉的空间。
项目地址：https://leandojo.org/
浙江大学、微软亚洲研究院的研究团队，发布了一个大模型协作系统HuggingGPT被录用。
HuggingGPT利用ChatGPT作为控制器，连接HuggingFace社区中的各种AI模型，来完成多模态复杂任务。
这意味着，你将拥有一种超魔法，通过HuggingGPT，便可拥有多模态能力，文生图、文生视频、语音全能拿捏了。
论文地址：https://arxiv.org/pdf/2303.17580.pdf
谷歌团队提出的SuTI被接收。
这是一个主题驱动的文本-图像生成器，它用i上下文学习取代了特定主题的微调。
给予一个新主题的几个示范，SUTI可以立即生成该主题在不同场景中的新演绎，而不需要任何特定主题的优化。
SuTI是由「学徒学习」提供动力的，其中一个学徒模型是从大量特定主题的专家模型产生的数据中学习的。
论文地址：https://arxiv.org/pdf/2304.00186.pdf
还有前OpenAI科学家Jeff Clune在今年发表的一篇论文「思想克隆」也被NeurIPS 2023录用。
研究中提出，人工智能通过模仿人类，也能学会像人类一样「思考」和「行动」。
论文地址：https://arxiv.org/pdf/2306.00323.pdf
「我的世界」专用模型STEVE-1，拿下了今年NeurIPS的一篇Spotlight。
这是由来自多伦多大学和Vector人工智能研究院团队，提出了「我的世界」中智能体STEVE-1。
证明了已在DALL·E 2中使用的unCLIP方法对创建遵循指令的顺序决策智能体同样有效。
论文地址：https://sites.google.com/view/steve-1
你获奖了吗？

点击进入—>【目标检测和Transformer】交流群
ICCV / CVPR 2023论文和代码下载
后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集
目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer333，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉，已汇集数千人！
▲扫码进星球
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看

继续阅读
阅读原文
关键词
代码
多模态
篇论文
arxiv.org
2023论文