科研实习 | 新加坡国立大学尤洋老师课题组招收Data-centric AI/LLM科研实习生

合适的工作难找？最新的招聘信息也不知道？

AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！

新加坡国立大学

新加坡国立大学（National University of Singapore）简称国大（NUS），是亚洲顶尖国际知名学府。截至2023年，新加坡国立大学在QS世界大学排名为世界第8名（亚洲第一）、泰晤士高等教育世界大学排名为世界第19名、世界大学学术排名为世界第71名、美国新闻与世界报导为世界第26名。

导师简介

尤洋是新加坡国立大学的校长青年教授和加州大学伯克利分校博士。他曾创造 ImageNet 和 BERT 训练速度的世界纪录。他的算法被用于谷歌，微软，英特尔，英伟达等巨头。他曾以一作获得了 IPDPS（0.8% 获奖率）和 ICPP（0.3% 获奖率）的最佳论文。他获得的奖项包括：清华大学优秀毕业生，北京市优秀毕业生，国家奖学金，清华大学数额最高的西贝尔奖学金，ACM-IEEE HPC Fellowship，Lotfi A. Zadeh Prize，ACM Doctoral Dissertation Award 候选人（81 名伯克利博士中选 2 人），福布斯 30 岁以下精英榜（亚洲），IEEE-CS 超算杰出新人奖。

实验室主页：

https://ai.comp.nus.edu.sg/

实验室成立两年左右，在计算机视觉和人工智能的顶会上发表CVPR 7篇，ICML 2篇，ICLR 2篇，ICCV 3篇，NeurIPS 5篇，ECCV 1篇，AAAI 2篇，获得2次杰出论文，一次Oral, 一次Spotlight。尤老师本人为第一作者或最后作者的最佳/杰出论文数暂时为6。

研究方向

以下灰色部分代表已经有同学在做了，黑色还有名额，下划线代表基本完结，但还是有空间可以做的。

Topic 1: 面向大规模数据的的数据集压缩算法的研究，主要是面对IN-1K和AIGC等数据的压缩，相关成果：

ICCV-2023: Dataset Quantization (https://arxiv.org/pdf/2308.10524.pdf)

Topic 2: 探究数据集压缩算法在除分类之外任务上，除图像之外的数据（例如video等）的应用，相关成果：

NeurIPS-2023: Does Graph Distillation See Like Vision Dataset Counterpart? (https://arxiv.org/pdf/2310.09192)

Topic 3: LLM高效训练优化器设计

Topic 4: 多模态数据集压缩和膨胀，相关成果：

NeurIPS-2023: Expanding small-scale datasets with guided imagination (https://arxiv.org/pdf/2211.13976.pdf)

arXiv: MLLMs-Augmented Visual-Language Representation Learning (https://arxiv.org/abs/2311.18765)

Topic 5: AI for Science, Medical Data Centric AI. 与MIT， Havard， Yale和Cornell等合作project，之前的组里的work:

arXiv: Boosting Unsupervised Contrastive Learning Using Diffusion-Based Data Augmentation From Scratch (https://arxiv.org/abs/2309.07909)

Topic 6: LLM训练数据集压缩，团队发表的首篇无损数据集压缩工作：

arXiv: Towards lossless dataset distillation via difficulty-aligned trajectory matching (https://arxiv.org/abs/2310.05773)

以上是我们近期在关注的一些topic，还有一些的想法就不一一列举出来。我们主要致力于 Resource-Efficient AI 算法研究，与之相关的课题我们都可以进行详细的讨论。

招生要求

1. 如果您是本科生，则需要扎实的基础知识，会有proposal或者代码测试；

2. 如果您是硕士生，希望候选人是以一作身份发表过ICLR, ICML, NIPS, CVPR, ICCV, ECCV会议，并且对Data-Centric AI感兴趣；

3. 如果您是博士生，则需要你的博士课题与我们研究有一定的关系，毕竟读博作出一个体系的工作出来可能影响力更大，对您本人也更好，其他要求与硕士生相同。

实习生成果展示

1. Yanqing Liu, Jianyang Gu, Kai Wang, Zheng Zhu, Wei Jiang, and Yang You 2023. DREAM: Efficient Dataset Distillation by Representative Matching. International Conference on Computer Vision (ICCV-2023). 本科大三期间完成

2. Beining Yang, Kai Wang, Qingyun Sun, Cheng Ji, Xingcheng Fu, Hao Tang, Yang You, and Jianxin Li 2023. Does Graph Distillation See Like Vision Dataset Counterpart? Thirty-Seventh Conference on Neural Information Processing Systems (NeurIPS-2023). 硕士期间第一篇一作顶会

3. keep updating

申请方式

如果感兴趣并且符合上述要求的同学欢迎Email：[email protected]，主题：xx生+姓名+Research Interns申请

同组其他课题

1. 探索推荐模型/CTR 模型在大批量下训练无损的优化器，进一步分析特征频率对优化的影响；

2. 对 LLM 进行 Hessian 分析，开发一个网络分析库以定量分析 GPT 模型的优化曲面性质；

3. 通过实验和理论分析 LLM 大批量训练的性质，并开放更适合大批量的优化器；

4. 通过实验和理论分析 LLM 训练中 Adam 成功的原因，并在此基础上开发新优化器（如引入二阶信息，梯度相关性等）。

招生要求

如果您是本科生，则需要强烈的读博动机，加上扎实的基础知识，会有面试或者代码测试。

申请方式

感兴趣并且符合上述要求的同学欢迎 Email: [email protected]，主题：姓名+Research Interns申请。