一、引言

二、模型知识编辑定义

• 可靠性（Reliability）：在给定编辑描述下编辑的成功率，这是模型知识编辑任务最基础的要求。常使用在给定编辑描述下，应用编辑方法后，模型的准确率。
• 泛化性（Generalization）：在给定编辑描述下，模型在编辑范围内的成功率。常使用在编辑范围内输入集合下，应用编辑方法后，模型的准确率。
• 局部性（Locality）：即编辑后的模型不应改变与编辑无关实例的输出。换句话说，编辑操作应专注于特定的知识点或行为，而不影响模型在其他方面的性能。

三、方法

3.1 保留大语言模型参数的方法：

• 基于Memory的方法：这种方法的核心在于将所有编辑示例明确存储在Memory中，并通过一个检索器来提取针对每个新输入最相关的编辑事实，从而引导模型生成相应的编辑事实。SERAC（Mitchell et al. 2022b）就是这种方法的一个典型代表。它采用了一种独特的“反事实模型”（Counterfactual Model），在保留原始模型不变的情况下，引入了额外的处理机制。具体来说，SERAC使用了一种“范围分类器”（Scope Classifier）来计算新输入是否属于存储编辑示例的范围。如果输入与Memory中缓存的任何编辑匹配，那么反事实模型的预测就基于这个输入和最可能的编辑。而如果输入超出了所有编辑的范围，就会给出原始模型的预测。

• 额外参数的方法：这是一种在语言模型中引入额外可训练参数的方法。T-Patcher模型（Huang et al. 2023）是这种方法的一个代表。它在模型的前馈网络（Feed-Forward Network, FFN）的最后一层集成了一个神经元（称为“补丁”），专门用于纠正一个特定的错误。这个“补丁”仅在遇到其对应的错误时才发挥作用。CaliNET模型（Dong et al. 2022）则采用了不同的策略，它集成了几个神经元来处理多个编辑案例。与此不同的是，GRACE模型（Hartvigsen et al. 2022）维护了一个作为适配器（Adapter）的离散代码簿，通过随时间添加和更新元素来编辑模型的预测。这些方法通过在语言模型内部引入额外的可训练参数，提供了一种新的途径来修改和更新模型中的知识。这种方法的优势在于能够在不影响原始模型参数的情况下，针对性地进行知识更新和错误纠正。

3.2 修改大语言模型参数的方法：

• 基于Mete-learning：这类方法利用超网络（Hyperetwork）来学习编辑大语言模型知识的权重变化量（Δ）。Knowledge Edit（De Cao et al. 2021）采用了一个双向长短期记忆网络（Bidirectional-LSTM）作为超网络，来预测每个数据点的权重更新。然而，KE编辑较大的语言模型时，效果并不是很好。为了解决这种问题，MEND（Mitchell et al. 2022）采用了一种新的策略。MEND通过运用梯度的低秩分解（Low-rank Decomposition）减少了计算量，从而更好地编辑大语言模型。
• Locate-and-Edit：这类方法首先识别定位特定知识相关的参数，然后通过直接更新目标参数来修改它们。Knowledge Neuron（Dai et al. 2022）引入了一种“知识归因”（Knowledge Attribution）技术，用于精确定位体现知识的“知识神经元”（即前馈网络（FFN）矩阵中的关键值对），然后更新这些神经元。ROME（Meng et al. 2022）应用因果中介分析（Causal Mediation Analysis）来定位编辑区域。与KN方法不同，ROME修改了整个FFN的第二个线性变化矩阵。ROME将模型编辑视为具有线性等式约束的最小二乘问题，并使用拉格朗日乘数法来解决它。然而，KN和ROME方法都只能一次编辑一条事实知识。为了解决这个局限性，MEMIT（Meng et al. 2023）在ROME的基础上进行了扩展，实现了多个事实知识的同步编辑。在MEMIT的基础上，PMET（Li et al. 2023）引入了注意力值（Attention Value）以获得更好的性能。

四、实验

Batch Edit

Sequential Edit

五、分析

5.1 Portability

• 主语替换（Subject Replace）：由于大多数改写句子只是对关系进行重新表述而保留主语描述，因此通过将问题中的主体替换为别名或同义词来测试泛化能力。这测试了模型是否能将编辑的属性泛化到同一主体的其他描述上。
• 反向关系（Reversed Relation）：当编辑主体和关系的目标时，目标实体的属性也会改变。通过筛选合适的关系（如一对一关系）并询问反向问题，测试模型处理这一点的能力，以检查目标实体是否也得到了更新。
• 一跳推理（One-hop）：修改后的知识应该能够被编辑的语言模型用于下游任务。譬如如果将“Watts Humphrey 就读哪所大学”的答案从Trinity College改为University of Michigan，显然如果当我们问模型“Watts Humphrey 大学时期居住于哪个城市？”时，理想模型应该回答Ann Arbor而不是Dublin。

5.2 Side Effect

• 属性（部分）知识是否被改变（Other Attribution）：本文认为，在编辑之后模型应保持主体的关键属性不发生变化。比如修改Grant Hill的职业时，不应该影响Grant Hill的国籍属性。
• 事实知识是否会被干扰（Distract Neighbourhood）：之前的工作如Hoelscher-Obermaier et al. (2023)发现，如果在其他的输入前拼接编辑的实例，模型倾向于受编辑事实的干扰，并继续产生与编辑相关的结果而不是具体的问题。
• 其他任务性能影响（Other Tasks）：基于Wang et al. (2022)的Skill Neuron理论，即大型语言模型的前馈网络具有特定任务知识能力，而我们编辑语言模型的知识时，很有可能对影响模型的能力，因此本文使用了PIQA数据集来评估模型知识编辑是否可能对其他任务（常识推理）的性能产生负面影响。

六、总结与展望