TW-LegalBench：评估大模型对台湾法律的理解

TW-LegalBench 是一个针对台湾法律体系的大语言模型评估基准，包含三类任务：超过1.6万道来自18个专业领域的五年官方考试选择题、117道附评分标准的法律人员考试开放式问答题，以及涵盖数百种罪名的1.4万余个法律判决预测实例。研究评估了13个大语言模型，采用选择题准确率、基于评分标准分解的LLM-as-Judge框架以及判决准确性与法条引用的指标。结果显示，表现最好的模型超过了律师考试合格线（通过率11%），但未达到法官和检察官的合格线（通过率1-2%）。在判决预测方面，模型能合理预测判决类型和刑期，但在引用具体法条时存在困难。这表明，尽管大语言模型在资格考试成绩上接近人类水平，可靠的生成法律文本仍是挑战。