案例概述llama-index-embeddings-isaacus包包含用于构建Isaacus法律AI嵌入模型应用程序的LlamaIndex集成。此集成允许您轻松连接并使用Kanon 2嵌入器- 在大规模法律嵌入基准(MLEB)上世界上最准确的法律嵌入模型。Isaacus嵌入支持任务特定优化taskretrieval/query优化搜索查询的嵌入taskretrieval/document优化要索引的文档的嵌入在本案例中我们将演示如何使用Isaacus嵌入进行法律文档检索。技术栈与核心依赖llama-index-embeddings-isaacus- LlamaIndex的Isaacus嵌入集成llama-index-llms-openai- LlamaIndex的OpenAI LLM集成llama-index- 核心LlamaIndex框架Kanon 2 Embedder- Isaacus提供的法律领域专用嵌入模型OpenAI GPT-4o-mini- 用于问答生成的大型语言模型环境配置安装依赖%pip install llama-index-embeddings-isaacus %pip install llama-index-llms-openai %pip install llama-index获取Isaacus API密钥在Isaacus平台创建账户添加付款方式以领取您的免费积分创建API密钥设置API密钥import os # 设置您的Isaacus API密钥 isaacus_api_key YOUR_ISAACUS_API_KEY os.environ[ISAACUS_API_KEY] isaacus_api_key案例实现基本使用获取单个嵌入from llama_index.embeddings.isaacus import IsaacusEmbedding # 初始化Isaacus嵌入模型 embed_model IsaacusEmbedding( api_keyisaacus_api_key, modelkanon-2-embedder, ) # 获取单个嵌入 embedding embed_model.get_text_embedding( This agreement shall be governed by the laws of Delaware. ) print(fEmbedding dimension: {len(embedding)}) print(fFirst 5 values: {embedding[:5]})获取批量嵌入# 获取多个法律文本的嵌入 legal_texts [ The parties agree to binding arbitration., Confidential information shall not be disclosed., This contract may be terminated with 30 days notice., ] embeddings embed_model.get_text_embedding_batch(legal_texts) print(fNumber of embeddings: {len(embeddings)}) print(fEach embedding has {len(embeddings[0])} dimensions)任务特定嵌入Isaacus嵌入支持不同任务以获得最佳性能retrieval/document用于要索引的文档retrieval/query用于搜索查询使用适当的任务可以提高检索准确性。文档嵌入用于索引# 对于文档索引时使用 doc_embed_model IsaacusEmbedding( api_keyisaacus_api_key, taskretrieval/document, ) doc_embedding doc_embed_model.get_text_embedding( The Company has the right to terminate this agreement. ) print(fDocument embedding dimension: {len(doc_embedding)})查询嵌入用于搜索# 对于查询get_query_embedding自动使用 query_embedding embed_model.get_query_embedding( What are the termination conditions? ) print(fQuery embedding dimension: {len(query_embedding)})降维处理您可以减少嵌入维度以加快搜索速度并降低存储成本# 使用减少的维度默认为1792 embed_model_512 IsaacusEmbedding( api_keyisaacus_api_key, dimensions512, ) embedding_512 embed_model_512.get_text_embedding(Legal text example) print(fReduced embedding dimension: {len(embedding_512)})完整RAG示例现在让我们使用法律文档Uber的10-K SEC文件构建一个完整的RAG管道。下载法律文档数据!mkdir -p data/10k/ !wget https://raw.githubusercontent.com/run-llama/llama_index/main/docs/examples/data/10k/uber_2021.pdf -O data/10k/uber_2021.pdf加载法律文档from llama_index.core import VectorStoreIndex, SimpleDirectoryReader documents SimpleDirectoryReader(./data/10k/).load_data() print(fLoaded {len(documents)} document(s))使用文档任务构建索引# 初始化文档嵌入模型 embed_model IsaacusEmbedding( api_keyisaacus_api_key, modelkanon-2-embedder, taskretrieval/document, ) # 构建索引 index VectorStoreIndex.from_documents( documentsdocuments, embed_modelembed_model, )使用法律问题查询# 创建检索器 retriever index.as_retriever(similarity_top_k3) # 查询风险因素 retrieved_nodes retriever.retrieve( What are the main risk factors mentioned in the document? ) print(fRetrieved {len(retrieved_nodes)} nodes\n) for i, node in enumerate(retrieved_nodes): print(f\n--- Node {i1} (Score: {node.score:.4f}) ---) display_source_node(node, source_length500)查询法律程序# 查询法律程序 retrieved_nodes retriever.retrieve( What legal proceedings or litigation is the company involved in? ) print(fRetrieved {len(retrieved_nodes)} nodes\n) for i, node in enumerate(retrieved_nodes): print(f\n--- Node {i1} (Score: {node.score:.4f}) ---) display_source_node(node, source_length500)使用LLM构建查询引擎import os # 设置您的OpenAI API密钥 openai_api_key YOUR_OPENAI_API_KEY os.environ[OPENAI_API_KEY] openai_api_key # 设置LLM from llama_index.llms.openai import OpenAI llm OpenAI(modelgpt-4o-mini, temperature0) # 创建查询引擎 query_engine index.as_query_engine( llmllm, similarity_top_k5, ) # 提出一个法律问题 response query_engine.query( What are the companys main regulatory and legal risks? ) display(Markdown(f**Answer:** {response}))异步使用Isaacus嵌入还支持异步操作以在异步应用程序中获得更好的性能import asyncio async def get_embeddings_async(): embed_model IsaacusEmbedding( api_keyisaacus_api_key, ) # 获取异步单个嵌入 embedding await embed_model.aget_text_embedding( Async legal document text ) # 获取异步批量嵌入 embeddings await embed_model.aget_text_embedding_batch( [Text 1, Text 2, Text 3] ) return embedding, embeddings # 运行异步函数 embedding, embeddings await get_embeddings_async() print(fAsync single embedding dimension: {len(embedding)}) print( fAsync batch: {len(embeddings)} embeddings of {len(embeddings[0])} dimensions each )案例效果通过Isaacus嵌入模型我们实现了以下效果法律领域专业化Kanon 2嵌入器专门针对法律文档进行优化在法律任务上表现优异任务特定优化通过区分文档和查询任务提高了检索准确性灵活的维度控制支持降维处理平衡精度和效率完整的RAG管道成功构建了法律文档检索和问答系统异步支持提供异步API适合高并发应用场景案例实现思路本案例的实现基于以下思路领域专业化使用专门针对法律领域训练的嵌入模型提高法律文本理解能力任务区分区分文档嵌入和查询嵌入针对不同任务进行优化灵活配置提供多种配置选项如维度控制、任务类型等完整流程从文档加载到索引构建再到查询和问答提供完整的RAG流程性能优化支持批量处理和异步操作提高处理效率扩展建议多语言支持扩展支持更多语言的法律文档处理自定义微调允许用户使用自己的法律数据微调嵌入模型更多任务类型支持更多法律特定任务如合同分析、合规检查等混合检索结合关键词检索和语义检索提高检索效果法律知识图谱将嵌入与法律知识图谱结合提供更丰富的语义理解可视化工具开发法律文档嵌入的可视化工具帮助理解文档关系评估框架建立专门的法律检索评估框架量化模型性能总结本案例展示了如何使用Isaacus的Kanon 2嵌入模型构建法律文档检索和问答系统。通过任务特定的优化和领域专业化的嵌入模型我们能够实现高质量的法律文本理解和检索。这种解决方案特别适合法律科技应用、合规工具、合同分析等场景。Isaacus嵌入模型为法律AI应用提供了强大的基础使开发者能够构建更准确、更高效的法律智能系统。