大语言模型法律推理的神经元层级分析

本文对七种开源大语言模型在法律领域推理中的神经元作用进行了层级分析。通过神经元归因分数排序并抑制关键神经元，发现抑制这些神经元会破坏目标任务准确性，而随机抑制则无影响。研究识别出一小部分跨任务通用神经元，移除它们后，剩余神经元仅影响其来源任务，揭示了每个模型中的任务特异性神经元。在法律领域内，三个基准测试的神经元重叠度较高，且倾向于共同受影响，表明存在跨司法管辖区的法律组件神经元。此外，关键神经元的分布并非普遍集中在中间MLP层，而是取决于输入格式和内容。