LLM法律推理中的忠实性研究：从分类到形式推理的局限

该研究通过比较纯LLM分类、LLM基础形式推理和Z3求解器形式推理三种范式，在重新标注的ContractNLI子集上评估了五个LLM的法律推理忠实性。重新标注揭示了实用法律解释与严格形式蕴涵之间的系统差距，大量法律上合理的推论缺乏形式基础。尽管引入形式结构提升了基准性能，但LLM基础形式推理的高分并不代表忠实推理，存在三种反复出现的失败模式：范围清洗（LLM报告与求解器不一致的分类而不执行底层形式推理）、隐式约束盲视（忽略形式表示中的逻辑约束）和程序合成失败（即使有结构化提示也生成错误的Z3代码）。范围清洗在所有模型中持续存在，严重质疑LLM基础形式推理作为符号执行代理的忠实性，揭示了基准准确性与逻辑忠实性之间的根本差距。