在RAG以及Agent的应用领域中,知识图谱可以增强知识库的检索效果(通过搭建知识图谱数据库(GraphRag)实现).在教育医疗以及金融领域应用广泛.图谱graph有节点和边组成一.知识图谱理论1.1知识图谱的整体架构1.2知识图谱架构实现流程1. 文本标注(Doccano标注平台)文本分类序列标注(标注实体和关系)2.实体抽取(通过规则和深度学习模型实现NER任务)基于规则实现NER(jieba词性标注正则表达式)基于深度学习模型实现NER(BiLSTMCRF)3.关系抽取(通过规则、Pipeline和Joint方法实现关系抽取)规则方法实现关系抽取(jieba词性标注规则判断)Pipeline方法实现关系抽取(先对输入的句子进行实体抽取将识别出的实体分别组合;然后再进行关系分类)Joint方法实现关系抽取(基于参数共享的联合实体关系抽取方法CasRel))4.知识融合(理解知识融合常见操作掌握实体消歧方法)实体消歧(基于语义相似度的实体分类:TF-IDF 余弦相似度)5.图谱搭建(使用Python代码与Neo4j交互将实体、关系和属性导入数据库)搭建neo4j图谱1.3搭建成果展示实体与关系的整合1.4应用案例主要的形式就是对两个节点的进行相似度计算,然后推荐一个节点中有,另外一个节点没有的.搜索引擎通过语义理解和实体关联实现智能搜索提供更精准、上下文相关的结果。问答系统支持基于实体和关系的自然语言问答提升语义理解能力回答更准确、更有逻辑推荐系统通过实体之间的语义连接挖掘兴趣点推荐相关的人、物、内容实现个性化推荐数据挖掘发掘实体间的隐含关系进行知识推理和模式发现辅助决策与趋势分析归纳总结对大量信息进行结构化、语义聚合帮助用户理解和总结关键信息风控分析构建关系网络识别潜在风险和异常行为1.5三元组类型三元组类型有两种实体-关系-实体实体-属性-属性值1.6知识融合关系冲突:需要在这些冲突中找到一致性,或者通过可信度评估决定保留哪个版本;比如说张三来自河北,还有一个是张三来自保定.那这个时候需要考虑保留一致性选择河北,还是根据可信度评估选择保定.消除冗余:多个信息来源可能会导致实体有重复的信息关系,知识融合以后需要消除重复项;统一表达:不同来源的实体可能使用不同的名称,知识融合需要把这些描述统一为一致的表达方式;知识拓展:同和多个来源的知识,丰富知识图谱的内容,提升知识的全面性和完整性.知识融合中用到的关键技术:指代消解,实体消歧,实体统一,关系对齐等知识图谱有一个分层架构的概念,分为模式层和数据层.模式层可以类比成python中的类,数据层类比成实例化对象.二.工具应用2.1Doccano:数据标注平台Doccano是一种用于文本标注的开源工具旨在简化和加速标注任务的进行。它提供了一个直观的用户界面使标注人员能够轻松地对文本,语音,图片数据进行标注并创建高质量的训练数据集用于机器学习和自然语言处理任务。Doccano的一些主要特点和功能多种标注类型Doccano支持多种常见的文本标注任务如命名实体识别、文本分类、关系抽取等。您可以根据具体任务的需求选择适当的标注类型。协作标注多个标注人员可以同时使用Doccano进行协作标注。标注人员可以独立地对同一份数据进行标注并进行交互和讨论以提高标注的一致性和准确性。快速导入和导出您可以将原始文本数据以各种格式如CSV、JSON、TXT等导入到Doccano中进行标注。标注完成后您可以将标注结果导出为各种格式方便后续的数据分析和模型训练。2.2Flaskweb服务框架支持异步和高并发2.3 Gunicorn服务组件企业级处理高并发请求2.4Neo4j图数据库Neo4j用来存储三元组的实体关系,是一个高性能的图数据库.2.5小结Doccano标注平台作用在项目中基于Doccano平台完成数据的标注供模型训练使用Flask web服务框架作用在项目中Flask框架是主逻辑服务和句子相关模型服务使用的服务框架。Gunicorn服务组件作用在项目中Gunicorn和Flask框架一同使用能够开启服务处理请求因其高性能的特点能够有效减少服务丢包率。