作者张瀚元 本文约3000字建议阅读5分钟 本文介绍了 LFP 基准构建、模型实证揭示法律 AI 的系统性偏见。[ 摘要 ] 随着自然语言处理NLP技术的飞速发展法律判决预测LJP已成为法律科技领域的核心任务之一。然而现有的LJP研究主要集中在基于既定法律事实Fact-based的预测上这一范式在实际应用中存在严重的逻辑与时序悖论在诉讼早期当事人仅掌握证据而非法院认定的事实。针对这一痛点Junkai Liu等人2025的最新研究深入地探讨了一种全新的任务范式——法律事实预测Legal Fact Prediction, LFP。该任务旨在利用当事人提交的证据预测法律事实从而填补从证据到判决的关键缺失环节。本文详尽阐述了LJP领域的现状与局限定义了LFP任务的理论框架并详细介绍了首个LFP基准数据集——LFPBench的构建过程。基于该数据集本文对包括GPT-4o、Claude 3.5 Sonnet以及多个法律垂域大模型在内的前沿模型进行了详尽的实证分析。实验结果表明引入LFP任务能够显著缩小基于证据的预测与基于事实的预测之间的性能差距平均减少了38.5%的准确率损失。同时本文深入剖析了当前模型在处理冲突证据、长文本推理以及在证据数量与顺序上表现出的系统性偏见。本文旨在为法律AI研究人员、从业者及政策制定者提供一份详实、深刻且具有前瞻性的参考资料。第五章 核心实验结果分析 (RQ1)5.1 LFP对判决预测的性能提升下表详细列出了各模型在三种Pineline下的判决预测准确率。这是本研究最核心的数据成果。表3不同LJP Pineline与模型下的判决预测准确率 (%)依据表3数据可以得出以下结论1. LFP的“桥梁”作用显著如果不进行事实预测直接从证据跳到判决Evidence-based通用模型的平均准确率仅为49.77%远低于基于完美事实的58.25%。这证实了“缺少事实”是LJP的巨大短板。引入LFP后通用模型的平均准确率提升至54.92%。这意味着LFP成功填补了约38.5%的性能鸿沟(54.92-49.77)/(58.25-49.77)。这有力地证明了LFP作为中间推理步骤的必要性。2. Qwen2.5的惊人表现值得注意的是Qwen2.5在直接预测Evidence-based时表现较差42.21%但在引入LFP后其准确率飙升至54.67%甚至超过了其基于事实的预测表现这可能是由于模型在生成事实时进行了某种有利于判决的归纳。这表明该模型具有极强的推理潜力但需要正确的引导即LFP任务来激发。3. Claude 3.5的领先地位Claude 3.5在所有通用模型中表现最佳无论是在证据处理还是事实推理上都展现出了SOTA级别的能力其基于事实的预测准确率高达64.49%确立了当前的性能天花板。5.2 法律垂域大模型的“灾难性遗忘”实验结果揭示了一个令人震惊的现象所谓的“法律垂域大模型”在处理复杂LFP任务时表现远不如通用大模型甚至接近随机猜测33%左右。基于对多个模型在复杂法律任务上表现的深度分析一个尤为值得关注的发现是专门的领域微调模型如Law-Llama3.1和LawJustice-Llama的整体性能不仅未能超越其通用基础模型如Llama 3反而在多项关键指标上表现最差。这一反常现象极有可能是由“灾难性遗忘”所导致的。这类模型通常采用“通用基础模型 领域数据微调”的范式进行训练即在通用底座上使用大量简短的法律问答对进行指令微调。此过程虽然让模型高效记忆了大量的法律术语和表面知识但大量短文本指令对的强化学习很可能覆盖并严重削弱了基础模型原本具备的、对处理长文本、进行复杂逻辑链推理以及遵循多步指令至关重要的通用核心能力。与此同时这一发现也对当前普遍的法律AI研发模式提出了严峻的反思。它清晰地表明单纯地对模型进行领域知识的“填鸭式”灌输可能得不偿失甚至会导致模型能力退化。因此未来研发的核心挑战与关键方向在于如何设计更先进的训练方法如分阶段训练、参数高效微调、或引入持续学习机制能够在有效注入精确实用的法律知识的同时稳固地保持乃至增强模型底层的通用推理能力。 这将是推动法律AI从“知识复读机”走向“智能法律推理体”必须解决的根本性问题。5.3 事实质量与判决质量的正相关性研究进一步探究了预测事实的质量如何影响最终判决。通过使用DP-Prompt方法生成不同相似度的法律事实并观察对应的LJP准确率研究绘制了相关性曲线。表4事实相似度与判决准确率的相关性分析由表4可以看出数据呈现出严格的正相关性。预测的法律事实越接近真相Ground Truth判决预测就越准确。这不仅反向验证了LFP任务的重要性也说明LFP模块并非仅仅是产生“中间文本”其实质性的推理质量直接决定了下游任务的成败。第六章 挑战与系统性偏见分析 (RQ2)在验证了LFP的有效性后研究进一步剖析了当前模型在面对复杂法律场景时的局限性与偏见。6.1 “败诉”预测的极高难度模型在预测原告“完全胜诉”时的表现远好于预测“败诉”或“部分胜诉”。表5不同判决结果下的预测准确率分析根据表5可知当前大模型对司法案件的预测存在盲目乐观倾向倾向于高估原告的胜诉概率。这一缺陷突出表现为对“败诉”案件的预测准确率断崖式下跌至平均仅11.99%。究其原因完全胜诉的案件通常证据确凿、逻辑简单而败诉或部分胜诉案件往往涉及复杂的证据博弈与事实认定。目前模型难以深入理解“证据不足”或“反证有效”的法律逻辑倾向于简单地将原告提交证据等同于主张成立在实际应用中可能误导用户盲目诉讼具有显著的风险性。6.2 被告证据的干扰效应数据表明当被告提交证据时模型的预测性能普遍下降。在GPT-4o中无被告证据案件的准确率为51.47%而有被告证据时降至49.39%。这同时说明模型在处理冲突信息Conflict Resolution时存在短板。当面对“原告说东被告说西”的罗生门时模型难以像人类法官一样通过证据效力层级如原件优于复印件来裁决真伪。6.3 证据形式带来的挑战文本 vs 非文本通过对10类案由的细分化分析我们发现模型在不同类型案件中的表现存在显著差异。具体而言在高分领域如劳动报酬追索LPR, 58.6%与预售合同PC, 56.4%两类案件中模型表现较为突出。这类案件通常以合同、工资条等书面文本为主要证据内容结构清晰、逻辑性强便于大语言模型LLM进行理解与分析。相对地在低分领域如生命权/身体权/健康权纠纷RLBH, 34.3%以及婚姻财产纠纷MP, 36.1%中模型表现明显欠佳。此类案件往往依赖医疗影像、事故现场照片、伤情鉴定报告等非文本信息作为关键证据。由于当前的法律事实预测LFP系统仅基于文本描述进行推理大量多模态细节在信息提取过程中丢失导致预测结果准确性受限。由此可见若要提升模型在复杂案件类型上的表现未来的LFP系统亟需向多模态方向发展使其具备直接处理图像证据如“看”图片与音频证据如“听”录音的能力从而更全面、精准地支撑法律事实的分析与预测。6.4 位置偏见 (Position Bias)先后顺序决定胜负研究发现证据输入的顺序竟然会左右模型的判断这揭示了大模型底层的注意力机制缺陷。表6证据顺序对判决预测的偏差影响依据表6可知模型表现出显著的近因效应Recency Bias。当某一方的证据放在最后输入时模型对其更加关注。特别是当原告证据放在最后时模型预测其“完全胜诉”的概率高达36.12%远超真实的17.18%。而这种非理性的偏见在法律场景中是不可接受的。简而言之正义不应取决于谁的文件放在卷宗的最上面。6.5 数量偏见 (Quantity Bias)多即是正义图3 证据数量差值对判决预测偏差的影响折线图。横轴为原告证据数 - 被告证据数纵轴为预测偏差值。数据分析显示模型存在简单的启发式思维证据越多胜算越大。随着原告证据数量优势的扩大Diff 0模型预测“完全胜诉”的概率显著高于真实值。然而在法律实践中证据在质不在量。一份关键的DNA报告胜过一百份无关痛痒的证词。目前的大模型显然还未掌握这一法律逻辑容易被“证据轰炸”所迷惑。未完待续编辑于腾凯校对丁玺茗欢迎在评论区留言与本文作者互动交流作者简介张瀚元现在就读于北京理工大学2023级法学-人工智能专业当前主要研究方向法律智能、数据安全及其他计算机技术在法学场景的具体应用。数据派研究部介绍数据派研究部成立于2017年初以兴趣为核心划分多个组别各组既遵循研究部整体的知识分享和实践项目规划又各具特色算法模型组积极组队参加kaggle等比赛原创手把手教系列文章调研分析组通过专访等方式调研大数据的应用探索数据产品之美系统平台组追踪大数据人工智能系统平台技术前沿对话专家自然语言处理组重于实践积极参加比赛及策划各类文本分析项目制造业大数据组秉工业强国之梦产学研政结合挖掘数据价值数据可视化组将信息与艺术融合探索数据之美学用可视化讲故事网络爬虫组爬取网络信息配合其他各组开发创意项目。点击文末“阅读原文”报名数据派研究部志愿者总有一组适合你~转载须知如需转载请在开篇显著位置注明作者和出处转自数据派THUIDDatapiTHU并在文章结尾放置数据派醒目二维码。有原创标识文章请发送【文章名称-待授权公众号名称及ID】至联系邮箱申请白名单授权并按要求编辑。未经许可的转载以及改编者我们将依法追究其法律责任。关于我们数据派THU作为数据科学类公众号背靠清华大学大数据研究中心分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识努力建设数据人才聚集平台、打造中国大数据最强集团军。新浪微博数据派THU微信视频号数据派THU今日头条数据派THU点击“阅读原文”拥抱组织