1. 问题背景当ollama遇上OpenAIEmbeddings最近在折腾LangChain项目时遇到一个挺有意思的问题。我想用本地部署的ollama服务替代OpenAIEmbeddings结果刚跑起来就报了个400错误。错误信息显示invalid input type这让我有点懵——明明参数都配置对了啊。先说说为什么会有这个需求。很多开发者现在都喜欢用ollama本地部署大模型毕竟数据隐私和调用成本都是实打实的优势。而LangChain的OpenAIEmbeddings又是处理文本嵌入的利器如果能把这俩结合起来那真是既省钱又安全。但现实往往比理想骨感直接替换就会遇到这个经典的兼容性问题。我当时的测试代码很简单from langchain_openai import OpenAIEmbeddings embeddings OpenAIEmbeddings( modelbge-large-zh-v1.5, openai_api_basehttp://127.0.0.1:11434/v1/, api_keyollama ) output embeddings.embed_query(你好)看起来人畜无害的几行代码却抛出了openai.BadRequestError。这个错误表面上是说输入类型无效但实际暗藏玄机。接下来就带大家一步步拆解这个问题看看怎么让ollama和OpenAIEmbeddings愉快地玩耍。2. 错误排查从表象到本质2.1 第一反应参数检查遇到报错的第一反应当然是检查参数。我反复核对了ollama的API文档和OpenAIEmbeddings的接口要求openai_api_base确实指向了ollama的/v1/端点api_key按ollama要求设置了任意字符串model参数也正确指定了ollama支持的模型甚至用curl直接测试了API连通性curl http://127.0.0.1:11434/v1/embeddings \ -H Content-Type: application/json \ -d { input: [测试文本], model: bge-large-zh-v1.5 }结果这个请求是能正常返回的说明ollama服务本身没问题。那么问题很可能出在LangChain的封装逻辑上。2.2 深入调试Tokenization的锅用调试器跟踪代码执行发现关键问题出在_get_len_safe_embeddings方法里。OpenAIEmbeddings默认会对输入文本进行Tokenization处理而ollama的API并不需要这个步骤。具体来说原始文本传入后OpenAIEmbeddings会先进行分块和Tokenize处理后的数据结构与ollama API的预期不符ollama收到变形的数据后直接拒绝返回400错误这就解释了为什么curl能通但Python代码不行——数据预处理环节出了问题。要解决这个问题我们需要绕过OpenAIEmbeddings的默认Tokenization逻辑。3. 解决方案定制兼容层3.1 继承与重写最优雅的解决方案是创建OpenAIEmbeddings的子类重写关键方法from typing import List, Optional from langchain_community.embeddings import OpenAIEmbeddings class OllamaCompatibleEmbeddings(OpenAIEmbeddings): def _tokenize(self, texts: List[str], chunk_size: int) - tuple: 禁用Tokenization直接返回原始文本 indices list(range(len(texts))) return (range(0, len(texts), chunk_size), texts, indices)这个_tokenize方法的重写是关键它让后续处理直接使用原始文本跳过了可能导致问题的Tokenization步骤。3.2 同步与异步处理为了完整支持LangChain的各种使用场景我们需要同时处理同步和异步调用def _get_len_safe_embeddings( self, texts: List[str], *, engine: str, chunk_size: Optional[int] None ) - List[List[float]]: 同步版本的嵌入获取 _chunk_size chunk_size or self.chunk_size batched_embeddings: List[List[float]] [] for i in range(0, len(texts), _chunk_size): chunk texts[i: i _chunk_size] response self.client.create( inputchunk, modelself.model, **{k: v for k, v in self._invocation_params.items() if k ! model} ) if not isinstance(response, dict): response response.model_dump() batched_embeddings.extend(r[embedding] for r in response[data]) return batched_embeddings async def _aget_len_safe_embeddings( self, texts: List[str], *, engine: str, chunk_size: Optional[int] None ) - List[List[float]]: 异步版本的嵌入获取 _chunk_size chunk_size or self.chunk_size batched_embeddings: List[List[float]] [] for i in range(0, len(texts), _chunk_size): chunk texts[i: i _chunk_size] response await self.async_client.create( inputchunk, modelself.model, **{k: v for k, v in self._invocation_params.items() if k ! model} ) if not isinstance(response, dict): response response.model_dump() batched_embeddings.extend(r[embedding] for r in response[data]) return batched_embeddings这两个方法的核心修改点是直接使用原始文本列表作为input显式传递model参数保持其他调用参数不变4. 实际应用与效果验证4.1 使用方法改造后的调用方式与原版几乎一致embeddings OllamaCompatibleEmbeddings( modelbge-large-zh-v1.5, openai_api_basehttp://127.0.0.1:11434/v1/, api_keyollama, chunk_size512 ) output embeddings.embed_query(你好)唯一的区别就是把OpenAIEmbeddings换成了我们自定义的OllamaCompatibleEmbeddings类。4.2 性能考量在实际测试中发现几个值得注意的点分块大小ollama对长文本的处理能力有限建议chunk_size不要超过512批处理适当增大batch_size可以提高吞吐量但要注意内存消耗错误处理ollama的错误响应格式与OpenAI略有不同必要时可以重写错误处理逻辑下面是一个更完整的示例展示了如何批量处理文档documents [文档1内容, 文档2内容, ...] embeddings OllamaCompatibleEmbeddings( modelbge-large-zh-v1.5, openai_api_basehttp://127.0.0.1:11434/v1/, api_keyollama ) # 批量获取嵌入 doc_embeddings embeddings.embed_documents(documents) # 查询相似度 query 搜索词 query_embedding embeddings.embed_query(query)5. 深入原理为什么需要这样改5.1 ollama与OpenAI API的差异虽然ollama兼容OpenAI API格式但在一些细节处理上仍有差异特性OpenAI APIollamaTokenization必需可选输入格式Token IDs原始文本模型参数必须指定可选错误响应结构化简化版这些差异正是导致兼容性问题的根源。我们的改造方案本质上是在LangChain这一层做了适配让ollama能够接受OpenAIEmbeddings生成的数据格式。5.2 LangChain的设计哲学LangChain的Embeddings类设计遵循了几个原则安全性默认进行长度检查和Tokenization通用性适配不同后端服务可扩展性允许通过继承进行定制我们的解决方案正是利用了这种可扩展性。通过重写关键方法既保留了LangChain的核心功能又适配了ollama的特殊需求。6. 进阶话题更多可能性6.1 支持其他本地模型这套方案不仅适用于ollama稍作修改就能适配其他兼容OpenAI API的本地服务比如FastChat开源的OpenAI兼容服务LocalAI支持多种开源模型的API服务自定义服务自行实现的兼容端点只需要调整model参数和可能的少量请求参数同样的代码就能跑起来。6.2 性能优化技巧在实际使用中我还发现几个提升效率的小技巧连接池调整httpx的连接池大小减少连接建立开销超时设置根据网络状况适当调整timeout缓存机制对频繁查询的文本可以添加缓存层例如可以这样优化初始化参数embeddings OllamaCompatibleEmbeddings( modelbge-large-zh-v1.5, openai_api_basehttp://127.0.0.1:11434/v1/, api_keyollama, timeout30.0, # 适当延长超时 chunk_size256 # 根据硬件调整 )7. 避坑指南你可能遇到的问题在实际部署过程中我踩过几个坑值得分享版本兼容性不同版本的LangChain可能修改了Embeddings的内部实现需要检查方法签名是否变化模型支持不是所有ollama支持的模型都能完美兼容建议先用小数据量测试内存管理批量处理大量文本时注意监控内存使用必要时手动分批次处理比如有一次我遇到了内存泄漏问题最后发现是异步客户端没有正确关闭。解决方案是在使用完毕后显式调用await embeddings.async_client.close()8. 完整代码示例为了方便大家直接使用这里提供完整的实现代码from typing import List, Optional from langchain_community.embeddings import OpenAIEmbeddings class OllamaCompatibleEmbeddings(OpenAIEmbeddings): 兼容ollama的OpenAIEmbeddings实现 def _tokenize(self, texts: List[str], chunk_size: int) - tuple: indices list(range(len(texts))) return (range(0, len(texts), chunk_size), texts, indices) def _get_len_safe_embeddings( self, texts: List[str], *, engine: str, chunk_size: Optional[int] None ) - List[List[float]]: _chunk_size chunk_size or self.chunk_size batched_embeddings: List[List[float]] [] for i in range(0, len(texts), _chunk_size): chunk texts[i: i _chunk_size] response self.client.create( inputchunk, modelself.model, **{k: v for k, v in self._invocation_params.items() if k ! model} ) if not isinstance(response, dict): response response.model_dump() batched_embeddings.extend(r[embedding] for r in response[data]) return batched_embeddings async def _aget_len_safe_embeddings( self, texts: List[str], *, engine: str, chunk_size: Optional[int] None ) - List[List[float]]: _chunk_size chunk_size or self.chunk_size batched_embeddings: List[List[float]] [] for i in range(0, len(texts), _chunk_size): chunk texts[i: i _chunk_size] response await self.async_client.create( inputchunk, modelself.model, **{k: v for k, v in self._invocation_params.items() if k ! model} ) if not isinstance(response, dict): response response.model_dump() batched_embeddings.extend(r[embedding] for r in response[data]) return batched_embeddings使用这个方案后我的LangChain应用成功切换到了本地ollama服务既保证了数据隐私又大幅降低了API调用成本。整个过程虽然遇到些波折但最终的解决方案既干净又可靠。如果你也面临类似的需求不妨试试这个方案相信能帮你省下不少调试时间。