来自：包包算法笔记
进NLP群—>加入NLP交流群
人人讨厌八股文，人人都问八股文。八股文主要考察原理理解，被痛恨的原因就是实际工作用不上，其实不满足于当一个碉堡侠的时候，八股也就不是八股了，更多的是原理的谙熟于心。
很多也算不上八股，更多是经验的交流吧。
现在大模型面试的问题还处在一个蓝海阶段，很多面试官自己也问不出太有深度的问题，整理以下仅供参考。
基础知识
1.transformer 八股文
2.attention计算方式以及参数量，attention layer手写，必考。
3.NLU以及NLG各种任务的差异。
4.tokenizer的细节,tokenizer的计算方式，各种tokenizer的优缺点。
5.各种norm方式的优缺点。
6.bert参数量的推演，任何一个transformer结构参数量的推演，和显存占用关系的推演。
大模型算法
1.在指令微调中，如何设置、选择和优化不同的超参数，以及其对模型效果的影响？
2.在指令微调中，如何选择最佳的指令策略，以及其对模型效果的影响？
3.llama, glm，bloom等现有大模型的数据处理，训练细节，以及不足之处模型架构的优化点，包括但不限于attention, norm, embedding
4.解决显存不够的方法有哪些？
5.请解释P-tuning 的工作原理，并说明它与传统的 fine-tuning方法的不同之处。
6.介绍一下Prefix-tuning的思想和应用场景，以及它如何解决一些NLP任务中的挑战
7.Lora的原理和存在的问题讲一下？
8.bf16，fp16半精度训练的优缺点
9.如何增加context length 模型训练中节约显存的技巧。
10.RLHF完整训练过程是什么？RL过程中涉及到几个模型？显存占用关系和SFT有什么区别？
11.RLHF过程中RM随着训练过程得分越来越高，效果就一定好吗？有没有极端情况？
12.encoder only，decoder only，encoder-decoder 划分的具体标注是什么？典型代表模型有哪些？
训练框架
1.Megatron以及deepspeed实现原理，各种参数以及优化策略的作用
2.模型训练以及推理中的显存占用各种混合精度训练的优劣
3.deepspeed的特点是什么？各个zero stage都有什么用？
评测
1.除了loss之外，如何在训练过程中监控模型能力？
2.如果想全面的评测模型能力，有哪些维度以及数据集？评测指标等评测中比较重要的部分要了解.
3.如何评测生成，改写等开放性任务?
4.zeroshot和Fewshot具体做法的区别？
数据
1.bloom,llama， glm等开源模型的数据来源，配比，以及不足之处
2.cot以及ic能力是如何涌现的？与预训练数据有何关系？
3.数据处理的重要步骤，如何保证预训练以及sft时候的数据多样性，数据质量，数据数量等,包括但不限于去重，质量筛选，敏感及有害信息过滤，各种来源数据配比对于模型能力的影响。
进NLP群—>加入NLP交流群
继续阅读
阅读原文
关键词
数据
预训练
大模型
任务
预训练