本案例演示如何使用 LlamaIndex 与阿里云 OpenSearch 向量搜索版集成实现向量存储和检索功能用于构建基于文档的问答系统。1. 案例目标本案例的主要目标是设置阿里云 OpenSearch 向量存储配置 LlamaIndex 以使用阿里云 OpenSearch 作为向量数据库。文档索引与存储将文档内容加载并存储到阿里云 OpenSearch 向量数据库中。查询与检索基于存储的文档内容实现自然语言查询并获取相关答案。元数据过滤演示如何使用元数据过滤来精确控制搜索结果。连接现有存储展示如何连接到已存在的向量存储并创建索引。2. 技术栈与核心依赖LlamaIndex用于构建基于 LLM 的应用程序的框架llama-index-vector-stores-alibabacloud-opensearchLlamaIndex 的阿里云 OpenSearch 向量存储插件OpenAI API用于生成文本嵌入向量阿里云 OpenSearch 向量搜索版提供高性能向量搜索服务核心依赖安装%pip install llama-index-vector-stores-alibabacloud-opensearch %pip install llama-index3. 环境配置在使用本案例前需要完成以下环境配置阿里云 OpenSearch 实例在阿里云上创建并配置 OpenSearch 向量搜索版实例OpenAI API Key获取有效的 OpenAI API 密钥用于生成嵌入向量配置信息准备 OpenSearch 实例的 endpoint、instance_id、用户名和密码4. 案例实现4.1 导入必要的库和配置日志import logging import sys logging.basicConfig(streamsys.stdout, levellogging.INFO) logging.getLogger().addHandler(logging.StreamHandler(streamsys.stdout))4.2 配置 OpenAI APIimport openai OPENAI_API_KEY getpass.getpass(OpenAI API Key:) openai.api_key OPENAI_API_KEY4.3 准备示例数据# 创建数据目录并下载示例文档 !mkdir -p data/paul_graham/ !wget https://raw.githubusercontent.com/run-llama/llama_index/main/docs/examples/data/paul_graham/paul_graham_essay.txt -O data/paul_graham/paul_graham_essay.txt # 加载文档 from llama_index.core import SimpleDirectoryReader documents SimpleDirectoryReader(./data/paul_graham).load_data() print(fTotal documents: {len(documents)})4.4 设置阿里云 OpenSearch 向量存储# 解决异步IO问题 import nest_asyncio nest_asyncio.apply() # 导入必要的库 from llama_index.core import StorageContext, VectorStoreIndex from llama_index.vector_stores.alibabacloud_opensearch import ( AlibabaCloudOpenSearchStore, AlibabaCloudOpenSearchConfig, ) # 配置 OpenSearch 连接参数 config AlibabaCloudOpenSearchConfig( endpoint*****, # 替换为您的 OpenSearch 端点 instance_id*****, # 替换为您的实例ID usernameyour_username, # 替换为您的用户名 passwordyour_password, # 替换为您的密码 table_namellama, # 替换为您的表名 ) # 创建向量存储和索引 vector_store AlibabaCloudOpenSearchStore(config) storage_context StorageContext.from_defaults(vector_storevector_store) index VectorStoreIndex.from_documents( documents, storage_contextstorage_context )4.5 执行查询# 创建查询引擎并执行查询 query_engine index.as_query_engine() response query_engine.query(What did the author do growing up?) # 显示查询结果 from IPython.display import Markdown, display display(Markdown(f{response}))4.6 连接到现有存储# 连接到已存在的向量存储 from llama_index.core import VectorStoreIndex from llama_index.vector_stores.alibabacloud_opensearch import ( AlibabaCloudOpenSearchStore, AlibabaCloudOpenSearchConfig, ) config AlibabaCloudOpenSearchConfig( endpoint***, instance_id***, usernameyour_username, passwordyour_password, table_namellama, ) vector_store AlibabaCloudOpenSearchStore(config) # 从现有存储的向量创建索引 index VectorStoreIndex.from_vector_store(vector_store) query_engine index.as_query_engine() response query_engine.query( What did the author study prior to working on AI? ) display(Markdown(f{response}))4.7 元数据过滤# 创建带元数据的文档 def my_file_metadata(file_name: str): 根据输入文件名关联不同的元数据 if essay in file_name: source_type essay elif dinosaur in file_name: source_type dinos else: source_type other return {source_type: source_type} # 加载文档并构建索引 md_documents SimpleDirectoryReader( ../data/paul_graham, file_metadatamy_file_metadata ).load_data() md_index VectorStoreIndex.from_documents( md_documents, storage_contextmd_storage_context )4.8 使用元数据过滤查询# 添加过滤器到查询引擎 from llama_index.core.vector_stores import MetadataFilter, MetadataFilters md_query_engine md_index.as_query_engine( filtersMetadataFilters( filters[MetadataFilter(keysource_type, valueessay)] ) ) md_response md_query_engine.query( How long it took the author to write his thesis? ) display(Markdown(f{md_response}))5. 案例效果通过本案例您可以实现将文档内容向量化并存储到阿里云 OpenSearch 向量数据库中使用自然语言查询文档内容如 What did the author do growing up?获取基于文档内容的准确回答使用元数据过滤精确控制搜索结果连接到已存在的向量存储并创建索引6. 案例实现思路本案例的核心实现思路是数据准备下载示例文档作为数据源向量存储配置使用AlibabaCloudOpenSearchStore类配置阿里云 OpenSearch 作为向量数据库文档处理使用SimpleDirectoryReader加载文档索引创建使用VectorStoreIndex将文档内容向量化并存储查询执行通过query_engine执行自然语言查询元数据管理为文档添加元数据并实现基于元数据的过滤查询持久化连接演示如何连接到已存在的向量存储7. 扩展建议批量文档处理扩展系统以支持批量处理多个文档高级元数据过滤实现更复杂的元数据过滤条件如范围查询、多条件组合等混合搜索结合向量搜索和传统文本搜索提高检索精度性能优化针对大规模文档集优化索引和查询性能实时更新实现文档内容的实时更新和增量索引多语言支持扩展系统以支持多语言文档处理和查询自定义嵌入模型集成其他嵌入模型替代 OpenAI如本地模型或其他云服务8. 总结本案例展示了如何使用 LlamaIndex 与阿里云 OpenSearch 向量搜索版集成构建一个基于向量存储的文档问答系统。通过将文档内容向量化并存储在阿里云 OpenSearch 中我们可以实现高效的语义搜索和准确的问答功能。阿里云 OpenSearch 向量搜索版提供了高性能、高可用的向量搜索服务特别适合需要处理大量文档并提供智能问答的企业应用场景。