1. 项目概述当大语言模型遇上知识图谱最近在知识图谱Knowledge Graph, KG和自然语言处理NLP的交叉领域一个趋势越来越明显大家开始热衷于探索大语言模型LLMs到底能不能干好知识图谱的活儿。从最基础的实体关系抽取到复杂的知识推理甚至是自动构建一个可用的知识图谱ChatGPT、GPT-4这些模型的出现让很多研究者都在重新思考传统pipeline的边界。我关注到浙江大学ZJUNLP团队开源的AutoKG项目它正是对这个问题的系统性回应。这个项目不仅仅是一个工具库更像是一份详尽的“测评报告”和“可行性研究”它通过严谨的实验试图回答在当前阶段用LLMs搞知识图谱到底行不行能行到什么程度以及未来该怎么走得更远简单来说AutoKG项目围绕三个核心部分展开首先是基础能力评估它在多个经典数据集上测试了GPT-3.5、GPT-4等模型在零样本和少样本设置下的知识抽取与推理性能并以全监督的SOTA模型作为基准线进行对比。其次是虚拟知识抽取这部分非常有意思它构建了一个名为VINE的数据集专门用来检验大模型是否具备从文本中“无中生有”、推断出隐含知识的能力。最后是AutoKG的雏形它借鉴了多智能体协作的思想尝试用多个“AI智能体”分工合作来模拟并自动化知识图谱的构建与推理过程。对于任何正在关注LLMs如何赋能知识工程、或者想在实际项目中引入LLMs进行信息提取的研究者和工程师来说这个项目提供的代码、数据和实验洞见都是一个极佳的起点和参考系。2. 核心思路与方案设计解析2.1 为什么是“评估”先行在决定是否将一项新技术引入现有工作流时最忌讳的就是盲目跟风。AutoKG项目的第一步——基础评估体现的正是这种务实精神。它的设计逻辑很清晰在投入大量精力构建复杂系统之前必须先摸清“原材料”即大语言模型的基本功到底扎不扎实。传统知识图谱构建的核心任务之一是关系抽取Relation Extraction, RE和事件抽取Event Extraction, EE。这些任务通常需要大量标注数据来训练专用模型。而大语言模型的魅力在于其强大的泛化能力和指令遵循特性理论上可以通过精心设计的提示词Prompt在零样本或少样本情况下完成类似任务。但“理论上”行不通需要数据说话。因此项目选取了DuIE2.0中文关系抽取、SciERC科学文献实体关系、RE-TACRED关系抽取、MAVEN事件抽取这四个具有代表性的数据集进行测评。这种选型覆盖了通用领域、学术领域以及事件场景评估维度比较全面。注意评估时选择与全监督SOTA模型对比而非从头训练一个模型这个设定非常关键。它回答的问题是“在不进行任务特定微调的情况下现成的、通用的LLM能否达到或接近专用模型的性能” 这直接决定了LLMs作为即插即用工具的可行性。2.2 “虚拟知识”抽取探索LLMs的推理边界这是项目中颇具前瞻性的一部分。传统的知识抽取主要关注文本中明确陈述的事实如“马云创立了阿里巴巴”。但人类知识有很大一部分是隐含的、需要推理的例如从“他气喘吁吁地跑上楼”可以推断出“他可能很累”或“他在赶时间”。这种能力对于构建更丰满、更智能的知识图谱至关重要。项目构建的VINEVirtual Knowledge Extraction数据集就是为了系统性地测试LLMs的这种“脑补”能力。通过设计特定的提示要求模型从给定句子中提取出未明确提及但合理隐含的“虚拟”关系或属性。这项评估的意义在于它不再将LLMs视为简单的模式匹配器而是开始探索其作为“常识推理引擎”的潜力这为知识图谱的自动补全和丰富化打开了新思路。2.3 AutoKG多智能体协作的蓝图前两部分是“能力测评”第三部分则是“系统设计”。单纯让一个大模型去完成从文本理解到图谱构建的全部流程可能会面临任务过于复杂、上下文长度限制、错误累积等问题。AutoKG借鉴了CAMEL多智能体协作框架和LangChain的思想提出了一个多智能体协作的框架。其核心思路是角色扮演与分工。可以设想有这样几个智能体信息提取专家负责阅读原始文本识别并抽取出实体、关系、事件等结构化信息。知识融合工程师负责将提取出的零散知识片段与已有知识图谱进行对齐、消歧和融合解决“苹果”是指公司还是水果的问题。质量检验员负责对融合后的知识进行一致性检查、冲突检测和置信度评估。推理与查询代理负责基于构建好的图谱回答复杂查询或进行逻辑推理。这些智能体通过一个中央协调器或通过彼此对话进行协作共同完成从非结构化文本到结构化知识再到可推理知识库的完整流程。Autokg.py就是这个概念的一个初步实现。它通过设置不同的“角色”提示词让多个LLM调用实例扮演不同角色尝试协作完成任务。虽然这只是一个初步探索但它指明了方向未来的自动化知识工程可能不是单个超级模型单打独斗而是一组专业化模型智能体的团队作业。3. 环境准备与数据预处理实操3.1 项目结构与代码获取要复现或基于AutoKG进行实验第一步是理解其代码结构。项目采用模块化设计将不同任务清晰地分离开AutoKG |-- KG Construction # 知识图谱构建评估关系/事件抽取 | |-- DuIE2.0/ # 中文关系抽取数据集 | |-- MAVEN/ # 事件抽取数据集 | |-- RE-TACRED/ # 关系抽取数据集 | |-- SciERC/ # 科学文献关系抽取数据集 |-- KG Reasoning # 知识图谱推理评估链接预测 | |-- FB15k-237/ # 通用知识图谱链接预测 | |-- ATOMIC2020/ # 常识知识图谱推理 |-- Virtual Knowledge Extraction # 虚拟知识抽取评估 |-- AutoKG/ # 多智能体自动构建系统你需要使用Git将项目克隆到本地git clone https://github.com/zjunlp/AutoKG.git cd AutoKG3.2 数据集下载与预处理项目中的datas文件夹提供了一些样例数据但为了进行完整实验通常需要下载原始数据集。以DuIE2.0为例官方数据集可能较大项目中的duie_processor.py脚本就是用来处理原始数据将其转换为适合提示词工程Prompt Engineering的格式。典型的数据预处理流程如下数据下载根据每个数据集目录下的指引或原始论文链接下载对应的训练、验证、测试集文件。例如DuIE2.0可能需要从指定的竞赛平台下载。格式转换原始数据可能是JSON、JSONL或特定文本格式。预处理脚本如duie_processor.py的工作就是读取这些文件提取出文本句子以及标注好的实体关系三元组头实体关系尾实体。构建提示词-答案对这是连接传统任务与LLMs的关键一步。脚本会将一个样本一句文本和对应的三元组列表转换成两种格式用于评估的提示词一个包含任务指令和输入文本的字符串。例如“请从以下句子中抽取出所有的实体关系三元组。句子[输入文本]”。标准答案将标注的三元组列表格式化成一个规整的字符串如JSON格式作为评估模型输出时的标准答案。运行预处理脚本后你会在prompts文件夹下得到生成好的提示词文件通常包含0-shot和1-shot的版本以及对应的答案文件。实操心得处理不同数据集时务必仔细阅读每个处理器脚本*_processor.py开头的注释和代码了解其输入输出格式。有时你需要根据自己下载的数据路径修改脚本内的文件读取路径。一个常见的坑是编码问题处理中文数据集时确保使用utf-8编码打开文件。3.3 API密钥配置与依赖安装项目的核心评估和AutoKG运行依赖于OpenAI的API。因此你需要准备有效的OPENAI_API_KEY。安装Python依赖项目根目录下通常会有requirements.txt文件。使用pip安装即可。pip install -r requirements.txt如果未提供核心依赖通常包括openai,langchain,tqdm,numpy,pandas等。你可以根据运行脚本时的报错信息逐步安装。配置API密钥这是最关键的一步务必注意安全。绝对不要将API密钥直接硬编码在代码中并上传到Git等公共平台。推荐的方法是通过环境变量设置# 在Linux/Mac的终端中 export OPENAI_API_KEY你的-sk-...密钥 # 在Windows的命令提示符中 set OPENAI_API_KEY你的-sk-...密钥在代码中使用os.environ来获取import os api_key os.environ.get(OPENAI_API_KEY)检查Autokg.py和各个评估脚本看它们是如何读取API密钥的并按照其方式配置。通常脚本中会有类似openai.api_key os.getenv(OPENAI_API_KEY)的语句。可选配置AutoKG部分用到了SERPAPI_API_KEY一个搜索引擎API用于让智能体获取实时信息。如果你不需要联网搜索功能可以忽略或注释掉相关代码。如果需要同样通过环境变量配置。4. 核心评估实验复现与解读4.1 知识构建评估以DuIE2.0为例我们以中文关系抽取数据集DuIE2.0为例详细走一遍评估流程。第一步生成提示词进入对应目录运行处理脚本。这会将数据转换为准备好的提示词。cd “KG Construction/DuIE2.0” python duie_processor.py # 处理数据生成中间文件 python duie_prompts.py # 生成最终的0-shot和1-shot提示词文件运行后prompts文件夹下会生成类似duie_test_0shot_prompts.jsonl和duie_test_1shot_prompts.jsonl的文件。每个JSONL行包含一个prompt给模型的输入和golden_answer标准答案。第二步调用LLM进行推理项目代码中可能已经包含了调用API的脚本或者你需要参考其模式自行编写。核心逻辑是一个循环读取每个提示词通过OpenAI API发送给选定的模型如gpt-3.5-turbo或gpt-4获取模型的补全结果。 关键参数包括model: 指定模型版本。prompt: 输入的提示词。max_tokens: 控制生成答案的最大长度根据任务调整。temperature: 通常设为0以保证输出的确定性便于评估。stop: 可以设置停止序列让模型在生成完结构化答案后自动停止。第三步结果评估模型会返回一段文本作为抽取结果。你需要编写一个解析函数将这段文本解析成三元组列表的格式。然后与golden_answer中的标准三元组列表进行比较。 常用的评估指标包括精确率Precision模型预测正确的三元组数 / 模型预测的总三元组数。召回率Recall模型预测正确的三元组数 / 标准答案中的总三元组数。F1值精确率和召回率的调和平均数。注意事项评估关系抽取的“正确”需要定义匹配标准。是要求实体边界和关系类型都完全匹配还是允许实体指称项有轻微差异项目中的评估脚本会实现这些细节。复现时理解其评估逻辑至关重要否则结果可能无法与论文对标。4.2 知识推理评估链接预测任务知识图谱推理的典型任务是链接预测Link Prediction即给定一个不完整的知识三元组头实体关系预测缺失的尾实体。在FB15k-237这类数据集中评估方式通常是将正确的尾实体放在一堆候选实体中看模型能否将其排名靠前。AutoKG项目采用的方法可能是将链接预测任务转化为文本生成任务。例如构造这样的提示词“知识图谱中包含如下事实… 那么根据‘头实体’和‘关系’最可能的‘尾实体’是什么选项有A) … B) … C) …”。然后让LLM直接生成答案选项或者生成每个选项的概率。这种评估方式直接测试了LLM内部蕴含的知识与结构化知识图谱的吻合度以及其进行多步逻辑推理的能力。运行方式与构建评估类似进入KG Reasoning下的相应目录使用处理好的提示词调用API即可。4.3 虚拟知识抽取实验这部分实验独立于传统任务旨在探索模型的“潜能力”。进入Virtual Knowledge Extraction目录运行提供的脚本处理VINE数据集并生成提示词。cd “Virtual Knowledge Extraction” python VINE_processor.py python VINE_prompts.py生成的提示词会要求模型输出句子中隐含的、而非明确陈述的关系。评估时由于“虚拟知识”没有绝对的标准答案可能需要采用人工评估或使用另一个LLM作为裁判来判断模型生成的内容是否合理、相关。5. AutoKG多智能体系统运行与定制5.1 系统运行初体验AutoKG目录下的Autokg.py是多智能体系统的入口。在确保已配置好OPENAI_API_KEY后直接运行即可启动一个简单的演示cd AutoKG python Autokg.py运行后程序很可能会在控制台模拟多个AI角色如“任务设计者”、“知识提取者”、“图谱构建者”之间的对话。它们会就一个预设或输入的主题如“量子计算”讨论如何分工协作来构建相关知识图谱。你会看到每个角色发出的提示词以及LLM返回的思考过程和结果。这个演示的核心价值在于展示了多智能体协作的框架和交互模式。它验证了通过角色设定和会话管理可以让LLMs进行一定程度的规划和任务分解。5.2 核心机制剖析角色扮演与会话链AutoKG的实现基于LangChain的CAMELAgent或类似的多代理框架。其核心机制包括角色定义为每个智能体赋予一个明确的身份、目标和能力描述。例如assistant_role_name “知识图谱构建专家” assistant_role_desc “你是一位资深的知识工程师擅长从文本中提取结构化信息并将其组织成规范的知识图谱三元组。” user_role_name “领域问题提出者” user_role_desc “你是一个对某个领域感兴趣的用户你会提出具体的问题或提供一段文本要求专家从中构建知识图谱。”这些描述会被写入系统提示词System Message从根本上塑造智能体的行为模式。任务规划通常由一个“任务规划者”智能体根据用户初始请求分解出具体的子任务列表。例如用户说“帮我整理一下关于神经网络的知识”规划者可能分解为“1. 提取神经网络的核心定义和类型。2. 提取著名的神经网络模型及其发明者。3. 提取神经网络的关键技术术语。”会话管理智能体之间通过一个“会话”对象进行交互。每个智能体在轮到自己时会接收到之前的对话历史作为上下文然后结合自己的角色指令生成下一步的发言或行动。LangChain的框架会负责维护这个对话状态。工具调用更高级的智能体可以调用外部工具。例如在RE_CAMEL.py中提到的SERPAPI_API_KEY就是让智能体具备联网搜索能力可以获取最新信息来补充知识。工具调用让智能体从“空想家”变成了“实干家”。5.3 如何定制你自己的AutoKG系统原项目提供了一个范本。要将其用于实际场景你需要进行深度定制定义专属角色根据你的任务需求设计更精细的角色。例如除了通用的“提取者”和“构建者”你可以增加“领域本体校验员”检查概念是否符合领域标准、“冲突消解员”解决不同来源信息的矛盾、“可视化专员”将图谱结构描述出来。优化提示词工程系统提示词是智能体的“灵魂”。你需要为每个角色精心打磨指令明确其输入输出格式、思考步骤、质量要求以及与其他角色协作的规则。例如要求“知识提取者”必须按照“(实体1 关系 实体2)”的JSON列表格式输出方便下游解析。集成专业工具将知识图谱专用工具集成进去是提升效果的关键。例如让智能体调用实体链接API如TagMe、DBpedia Spotlight将提取的实体字符串链接到知识库中的标准实体ID。让智能体调用关系对齐服务将自然语言描述的关系映射到预定义的关系本体如Schema.org, Wikidata properties。让智能体能够操作一个本地的图数据库如Neo4j执行实际的创建节点、添加关系的操作。设计评估与循环机制一个成熟的系统不应是开环的。可以引入一个“质量评估”角色对当前构建的图谱片段进行评分或提出质疑触发其他角色进行修正或补充形成一个迭代优化的闭环。实操心得在初期不要追求大而全的系统。从一个简单的双智能体开始一个提问/给文本一个抽取确保这个基本流程能稳定工作。然后逐步增加角色和功能。同时密切监控API调用成本和响应时间复杂的多轮对话会消耗大量token。6. 实验结果分析与项目启示6.1 从评估数据中我们能读出什么虽然项目论文提供了详细的实验结果但通过运行代码我们可以获得更直观的感受。通常你会发现一些共性结论LLMs在零样本/少样本设置下表现惊人相比需要成千上万标注数据训练的传统模型LLMs仅凭任务描述和一两个例子就能达到相当有竞争力的性能尤其在通用领域的关系抽取上。性能与模型规模强相关GPT-4的表现通常显著优于ChatGPT (GPT-3.5)而后者又优于更早的模型。这体现了“规模就是力量”在知识能力上的体现。存在明显的瓶颈长上下文与复杂结构处理长文档或需要抽取大量三元组时性能可能下降且输出格式容易不稳定。领域特异性在SciERC这样的科学领域专业术语和复杂关系对LLMs仍是挑战。幻觉问题模型可能会生成文本中不存在但看似合理的关系虚-假-正-例影响精确率。评估成本大规模评估需要调用大量API经济成本和时间成本较高。6.2 AutoKG的现状与未来方向当前开源的AutoKG多智能体演示更多是一个概念验证。它展示了可能性但离真正的“自动构建生产级知识图谱”还有距离。它的主要意义在于提供了一个可扩展的框架和明确的范式。未来的发展方向可能包括混合系统Hybrid System将LLMs与传统符号主义方法、小型精调模型结合。LLMs负责理解、分解任务和处理模糊性传统模型或规则负责确保精度、执行标准化操作。例如用LLM解析用户查询并生成一个图谱查询计划然后用高效的图查询引擎去执行。渐进式学习与反馈让系统能够从人工反馈中学习如纠正错误的三元组并逐步改进其抽取和推理策略。这可以将人的专业知识持续注入系统。可解释性与可控性多智能体的对话过程本身提供了一定的可解释性。我们需要进一步设计机制让用户能理解智能体的决策过程并能进行干预和引导。从“构建”到“运维”知识图谱不是静态的需要更新和维护。未来的AutoKG系统可能需要包含“知识演化智能体”能够监测新信息源识别知识冲突并自动或半自动地更新图谱。6.3 给实践者的建议如果你打算在项目中应用相关思想以下建议可能有所帮助从小处着手不要一开始就试图用LLM构建整个企业知识图谱。选择一个具体的、边界清晰的子问题比如“从产品说明书段落中抽取部件与规格关系”先验证LLM在此场景下的效果和成本。提示词工程是核心生产力投入时间精心设计并迭代你的提示词。包括系统指令、少样本示例、输出格式约束等。使用思维链Chain-of-Thought提示往往能提升复杂任务的性能。建立评估管道自动化你的评估流程。准备一个高质量的小型测试集每次调整提示词或流程后快速运行评估用数据驱动优化。关注成本与延迟对于实时应用API调用的延迟和成本必须纳入考量。探索是否可以对关键任务微调一个更小、更快的模型而仅将LLM用于最核心、最复杂的部分。保持批判性思维LLMs很强大但并非万能。对它的输出始终保持校验尤其是用于关键决策时。将其视为一个强大的“副驾驶”或“灵感来源”而非完全可靠的“自动驾驶”。这个项目像一把钥匙为我们打开了利用大语言模型进行知识工程的新大门。它既展示了当前技术的锋芒也清晰地指出了前方的挑战。无论是研究者还是工程师深入其中亲手运行代码、分析结果、尝试改造都是理解这场变革的最佳方式。