《AI大模型应知应会100篇》加餐篇:LlamaIndex 与 LangChain 的无缝集成

news2025/5/19 7:35:34

加餐篇:LlamaIndex 与 LangChain 的无缝集成


问题背景:在实际应用中,开发者常常需要结合多个框架的优势。例如,使用 LangChain 管理复杂的业务逻辑链,同时利用 LlamaIndex 的高效索引和检索能力构建知识库。本文在基于 第56篇:LangChain快速入门与应用示例和 第57篇:LlamaIndex使用指南:构建高效知识库基础上,通过 cmd方式集成、基于Streamlit UI集成、基于Ollama本地大模型集成 三个步骤以实战案例展示如何将两者无缝集成,构建一个智能客服系统,抛砖引玉、以飨读者。

在这里插入图片描述

1. LlamaIndex 与 LangChain CMD界面集成

完整代码案例

from langchain_openai import ChatOpenAI
from langchain.prompts import ChatPromptTemplate
from langchain.schema.runnable import RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.core.query_engine import RetrieverQueryEngine
from llama_index.core.retrievers import VectorIndexRetriever

# Step 1: 使用 LlamaIndex 构建知识库索引
# 数据加载:从本地目录加载文档
documents = SimpleDirectoryReader("./knowledge_base").load_data()

# 创建向量索引
index = VectorStoreIndex.from_documents(documents)

# 初始化检索器
retriever = VectorIndexRetriever(index=index, similarity_top_k=5)

# 创建查询引擎
query_engine = RetrieverQueryEngine(retriever=retriever)

# Step 2: 使用 LangChain 构建对话链
# 定义提示模板
prompt = ChatPromptTemplate.from_messages([
    ("system", "你是一个智能客服助手,以下是相关文档内容:\n{context}"),
    ("human", "{query}")
])

# 初始化大模型
llm = ChatOpenAI(model="gpt-4o")

# 将 LlamaIndex 查询引擎嵌入到 LangChain 链中
def retrieve_context(query):
    response = query_engine.query(query)
    return response.response

# 构建 LangChain 链路
chain = (
    {"context": RunnablePassthrough() | retrieve_context, "query": RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)

# Step 3: 执行查询
query = "公司2023年的主要产品有哪些?"
result = chain.invoke(query)
print(result)

输出结果

"根据知识库内容,公司2023年的主要产品包括智能客服系统、数据分析平台和区块链解决方案。"

说明

Step 1: 使用 LlamaIndex 构建知识库索引
  1. 数据加载:通过 SimpleDirectoryReader 加载本地文档(如 PDF、Word 或文本文件)。
  2. 索引构建:使用 VectorStoreIndex 创建向量索引,支持高效的相似性检索。
  3. 查询引擎:通过 RetrieverQueryEngine 提供对索引的访问接口。
Step 2: 使用 LangChain 构建对话链
  1. 提示模板:定义对话模板,动态注入检索到的上下文信息。
  2. 检索函数:通过 RunnablePassthrough 将用户输入传递给 LlamaIndex 查询引擎,获取相关上下文。
  3. 链式调用:将检索结果与用户输入组合后传递给大模型,生成最终答案。
Step 3: 执行查询
  • 用户提问“公司2023年的主要产品有哪些?”时:
    • LlamaIndex 从知识库中检索相关内容。
    • LangChain 将检索到的内容与用户问题结合,生成最终回答。

关键点解析

为什么选择 LlamaIndex 和 LangChain 集成?
  • LlamaIndex 的优势:专注于知识库构建,擅长处理大规模文档和复杂检索任务。
  • LangChain 的优势:提供灵活的链式调用机制,适合管理复杂的业务逻辑。
  • 无缝集成:通过自定义函数(如 retrieve_context),可以轻松将 LlamaIndex 的检索能力嵌入到 LangChain 的工作流中。
代码中的亮点
  1. 动态上下文注入

    • 使用 RunnablePassthrough 动态传递用户输入,并调用 LlamaIndex 的查询引擎。
    • 这种方式确保了检索结果始终与用户问题相关。
  2. 模块化设计

    • LlamaIndex 负责知识库的管理和检索。
    • LangChain 负责对话管理和最终答案生成。
    • 两者的分工明确,便于维护和扩展。

应用场景

  1. 企业智能客服:结合知识库和对话链,构建多轮对话的客服助手。
  2. 文档问答系统:快速检索和生成答案,适用于技术支持和内部培训。
  3. 研究文献分析:通过混合检索和链式调用,生成高质量的研究报告。


2. LlamaIndex 与 LangChain 集成 + 前端 UI

问题背景:为了提升用户体验,我们不仅需要一个强大的后端系统,还需要一个直观、友好的前端界面。以下案例将展示如何结合 LlamaIndexLangChain 构建后端逻辑,同时使用 Streamlit(一个流行的 Python 前端框架)打造一个交互式应用。

完整代码案例

后端逻辑:整合 LlamaIndex 和 LangChain
from langchain_openai import ChatOpenAI
from langchain.prompts import ChatPromptTemplate
from langchain.schema.runnable import RunnablePassthrough
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.core.query_engine import RetrieverQueryEngine
from llama_index.core.retrievers import VectorIndexRetriever

# Step 1: 使用 LlamaIndex 构建知识库索引
def build_knowledge_base():
    # 数据加载:从本地目录加载文档
    documents = SimpleDirectoryReader("./knowledge_base").load_data()

    # 创建向量索引
    index = VectorStoreIndex.from_documents(documents)

    # 初始化检索器
    retriever = VectorIndexRetriever(index=index, similarity_top_k=5)

    # 创建查询引擎
    query_engine = RetrieverQueryEngine(retriever=retriever)
    return query_engine

# Step 2: 使用 LangChain 构建对话链
def build_langchain_chain(query_engine):
    # 定义提示模板
    prompt = ChatPromptTemplate.from_messages([
        ("system", "你是一个智能客服助手,以下是相关文档内容:\n{context}"),
        ("human", "{query}")
    ])

    # 初始化大模型
    llm = ChatOpenAI(model="gpt-4o")

    # 将 LlamaIndex 查询引擎嵌入到 LangChain 链中
    def retrieve_context(query):
        response = query_engine.query(query)
        return response.response

    # 构建 LangChain 链路
    chain = (
        {"context": RunnablePassthrough() | retrieve_context, "query": RunnablePassthrough()}
        | prompt
        | llm
    )
    return chain

前端实现:使用 Streamlit 构建用户界面
import streamlit as st

# 初始化后端逻辑
query_engine = build_knowledge_base()
chain = build_langchain_chain(query_engine)

# Streamlit 应用界面
st.title("智能客服助手")
st.markdown("请输入您的问题,我们将为您快速解答!")

# 用户输入框
user_query = st.text_input("您的问题:", "")

if user_query:
    # 显示加载动画
    with st.spinner("正在为您查找答案..."):
        # 调用后端逻辑生成回答
        response = chain.invoke(user_query)

    # 显示回答
    st.subheader("回答:")
    st.write(response)

    # 显示上下文信息
    st.subheader("参考内容:")
    retrieved_context = query_engine.query(user_query).source_nodes
    for i, node in enumerate(retrieved_context):
        st.write(f"**来源 {i+1}:** {node.node.text[:200]}...")

运行方式

  1. 安装依赖

    pip install llama-index langchain openai streamlit
    
  2. 启动应用

    • 将上述代码保存为 app.py
    • 在终端运行以下命令:
      streamlit run app.py
      
    • 打开浏览器访问 http://localhost:8501,即可看到交互式界面。

输出结果

界面截图
  1. 首页布局

  2. 输入问题

    • 用户输入问题:“公司2023年的主要产品有哪些?”
  3. 生成回答

    回答:
    根据知识库内容,公司2023年的主要产品包括智能客服系统、数据分析平台和区块链解决方案。
    
    参考内容:
    来源 1: 公司2023年发布了一系列新产品,其中包括智能客服系统...
    来源 2: 数据分析平台采用了最新的机器学习算法...
    

说明

Step 1: 后端逻辑
  • LlamaIndex
    • 负责构建知识库索引,支持高效检索。
    • 通过 VectorStoreIndexRetrieverQueryEngine 提供上下文信息。
  • LangChain
    • 负责管理对话链,动态注入检索到的上下文。
    • 通过 RunnablePassthroughChatPromptTemplate 生成最终回答。
Step 2: 前端实现
  • Streamlit
    • 提供了一个简单易用的前端框架,适合快速构建交互式应用。
    • 使用 st.text_input 获取用户输入,st.spinner 显示加载动画,st.write 展示结果。
  • 用户体验
    • 界面简洁直观,用户只需输入问题即可获得答案。
    • 显示参考内容,增强透明度和可信度。

关键点解析

为什么选择 Streamlit?
  • 简单易用:无需复杂的前端开发经验,仅需几行代码即可构建交互式界面。
  • 实时更新:支持动态刷新,用户输入后立即显示结果。
  • 跨平台支持:可在本地或云端部署,方便扩展。
代码中的亮点
  1. 前后端分离
    • 后端逻辑专注于数据处理和业务逻辑。
    • 前端负责用户交互和结果展示。
  2. 动态加载
    • 使用 st.spinner 提供加载动画,提升用户体验。
  3. 参考内容展示
    • 显示检索到的上下文信息,帮助用户理解答案来源。

3. LlamaIndex 与 LangChain 集成 + 前端 UI+ Ollama


在案例中,如果需要将大模型调用从云端(如 OpenAI 的 ChatOpenAI)改为本地运行的 Ollama,我们需要调整代码以适配 Ollama 提供的接口。以下是详细的调整步骤和完整代码示例。

模型接口说明

  1. Ollama 简介

    • Ollama 是一个用于本地运行大语言模型(LLM)的工具,支持多种开源模型(如 Llama、Mistral、GPT-NeoX 等)。
    • 它提供了 RESTful API 接口,可以通过 HTTP 请求与本地模型交互。
  2. 调整点

    • 替换 langchain_openai.ChatOpenAI 为适配 Ollama 的自定义实现。
    • 使用 ollama 的 Python SDK 或直接通过 HTTP 请求调用本地模型。
    • 修改 LangChain 的链式调用逻辑,确保与 Ollama 的输出格式兼容。

本地Ollama大模型调用代码实现

后端逻辑:整合 LlamaIndex 和 LangChain + Ollama

from langchain.prompts import ChatPromptTemplate
from langchain.schema.runnable import RunnablePassthrough
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.core.query_engine import RetrieverQueryEngine
from llama_index.core.retrievers import VectorIndexRetriever
import requests

# Step 1: 使用 LlamaIndex 构建知识库索引
def build_knowledge_base():
    # 数据加载:从本地目录加载文档
    documents = SimpleDirectoryReader("./knowledge_base").load_data()

    # 创建向量索引
    index = VectorStoreIndex.from_documents(documents)

    # 初始化检索器
    retriever = VectorIndexRetriever(index=index, similarity_top_k=5)

    # 创建查询引擎
    query_engine = RetrieverQueryEngine(retriever=retriever)
    return query_engine

# Step 2: 配置 Ollama 模型调用
class OllamaLLM:
    def __init__(self, model_name="llama2", base_url="http://localhost:11434"):
        self.model_name = model_name
        self.base_url = base_url

    def invoke(self, prompt):
        # 发送请求到 Ollama
        response = requests.post(
            f"{self.base_url}/api/generate",
            json={
                "model": self.model_name,
                "prompt": prompt,
                "stream": False
            }
        )
        if response.status_code == 200:
            result = response.json()
            return result.get("response", "")
        else:
            raise Exception(f"Error calling Ollama: {response.text}")

# Step 3: 使用 LangChain 构建对话链
def build_langchain_chain(query_engine, ollama_llm):
    # 定义提示模板
    prompt = ChatPromptTemplate.from_messages([
        ("system", "你是一个智能客服助手,以下是相关文档内容:\n{context}"),
        ("human", "{query}")
    ])

    # 将 LlamaIndex 查询引擎嵌入到 LangChain 链中
    def retrieve_context(query):
        response = query_engine.query(query)
        return response.response

    # 构建 LangChain 链路
    chain = (
        {"context": RunnablePassthrough() | retrieve_context, "query": RunnablePassthrough()}
        | prompt
        | ollama_llm.invoke
    )
    return chain

前端实现:使用 Streamlit 构建用户界面

import streamlit as st

# 初始化后端逻辑
query_engine = build_knowledge_base()
ollama_llm = OllamaLLM(model_name="llama2")  # 使用本地 Ollama 模型
chain = build_langchain_chain(query_engine, ollama_llm)

# Streamlit 应用界面
st.title("智能客服助手")
st.markdown("请输入您的问题,我们将为您快速解答!")

# 用户输入框
user_query = st.text_input("您的问题:", "")

if user_query:
    # 显示加载动画
    with st.spinner("正在为您查找答案..."):
        # 调用后端逻辑生成回答
        response = chain.invoke(user_query)

    # 显示回答
    st.subheader("回答:")
    st.write(response)

    # 显示上下文信息
    st.subheader("参考内容:")
    retrieved_context = query_engine.query(user_query).source_nodes
    for i, node in enumerate(retrieved_context):
        st.write(f"**来源 {i+1}:** {node.node.text[:200]}...")

运行方式

  1. 安装依赖

    pip install llama-index langchain requests streamlit
    
  2. 启动 Ollama

    • 确保 Ollama 已安装并运行在本地(默认地址为 http://localhost:11434)。
    • 下载并加载目标模型(如 llama2):
      ollama pull llama2
      
  3. 启动应用

    • 将上述代码保存为 app.py
    • 在终端运行以下命令:
      streamlit run app.py
      
    • 打开浏览器访问 http://localhost:8501

输出结果

界面截图
  1. 首页布局

  2. 输入问题

    • 用户输入问题:“公司2023年的主要产品有哪些?”
  3. 生成回答

    回答:
    根据知识库内容,公司2023年的主要产品包括智能客服系统、数据分析平台和区块链解决方案。
    
    参考内容:
    来源 1: 公司2023年发布了一系列新产品,其中包括智能客服系统...
    来源 2: 数据分析平台采用了最新的机器学习算法...
    

关键调整点解析

  1. Ollama 模型调用

    • 使用 requests.post 向 Ollama 的 /api/generate 接口发送请求。
    • 参数包括 model(模型名称)和 prompt(输入提示)。
    • 返回值为 JSON 格式,提取 response 字段作为模型输出。
  2. LangChain 集成

    • 自定义 OllamaLLM 类,提供与 LangChain 兼容的 invoke 方法。
    • OllamaLLM.invoke 嵌入到链式调用中,替代原有的云端模型。
  3. 性能优化

    • 本地运行模型减少了网络延迟,提升了响应速度。
    • 可根据硬件性能选择合适的模型(如 llama2mistral 等)。

应用场景

  1. 离线环境:适用于无法访问云端服务的场景,如内网部署。
  2. 隐私保护:数据完全在本地处理,避免敏感信息泄露。
  3. 低成本运行:无需支付云端服务费用,适合预算有限的项目。

通过将大模型调用从云端切换为本地 Ollama,我们实现了更高的灵活性和隐私保护。结合 LlamaIndexLangChain 的强大功能,以及 Streamlit 的友好界面,最终构建了一个高效、易用的智能客服应用。

如果你有任何疑问或想法,欢迎在评论区交流讨论!


总结

通过本案例,我们展示了如何将 LlamaIndexLangChain 的强大功能与 Streamlit 的友好界面以及本地Ollama大模型API相结合,构建一个完整的智能客服应用。这种组合不仅提升了系统的功能性,还极大地改善了用户体验。

如果你有任何疑问或想法,欢迎在评论区交流讨论!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2327882.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

元素三大等待

硬性等待(强制等待) 线程休眠,强制等待 Thread.sleep(long millis);这是最简单的等待方式,使用time.sleep()方法来实现。在代码中强制等待一定的时间,不论元素是否已经加载完成,都会等待指定的时间后才继…

【DY】信息化集成化信号采集与处理系统;生物信号采集处理系统一体机

MD3000-C信息化一体机生物信号采集处理系统 实验平台技术指标 01、整机外形尺寸:1680mm(L)*750mm(w)*2260mm(H); 02、实验台操作面积:750(w)*1340(L)(长*宽); 03、实验台面离地高度&#xf…

康谋分享 | 仿真驱动、数据自造:巧用合成数据重构智能座舱

随着汽车向智能化、场景化加速演进,智能座舱已成为人车交互的核心承载。从驾驶员注意力监测到儿童遗留检测,从乘员识别到安全带状态判断,座舱内的每一次行为都蕴含着巨大的安全与体验价值。 然而,这些感知系统要在多样驾驶行为、…

Vue 数据传递流程图指南

今天,我们探讨一下 Vue 中的组件传值问题。这不仅是我们在日常开发中经常遇到的核心问题,也是面试过程中经常被问到的重要知识点。无论你是初学者还是有一定经验的开发者,掌握这些传值方式都将帮助你更高效地构建和维护 Vue 应用 目录 1. 父…

【C语言】strstr查找字符串函数

一、函数介绍 strstr 是 C 语言标准库 <string.h> 中的字符串查找函数&#xff0c;用于在主字符串中查找子字符串的首次出现位置。若找到子串&#xff0c;返回其首次出现的地址&#xff1b;否则返回 NULL。它是处理字符串匹配问题的核心工具之一。 二、函数原型 char …

机器学习、深度学习和神经网络

机器学习、深度学习和神经网络 术语及相关概念 在深入了解人工智能&#xff08;AI&#xff09;的工作原理以及它的各种应用之前&#xff0c;让我们先区分一下与AI密切相关的一些术语和概念&#xff1a;人工智能、机器学习、深度学习和神经网络。这些术语有时会被交替使用&#…

数字孪生在智慧城市中的前端呈现与 UI 设计思路

一、数字孪生技术在智慧城市中的应用与前端呈现 数字孪生技术通过创建城市的虚拟副本&#xff0c;实现了对城市运行状态的实时监控、分析与预测。在智慧城市中&#xff0c;数字孪生技术的应用包括交通流量监测、环境质量分析、基础设施管理等。其前端呈现主要依赖于Web3D技术、…

Android OpenGLES 360全景图片渲染(球体内部)

概述 360度全景图是一种虚拟现实技术&#xff0c;它通过对现实场景进行多角度拍摄后&#xff0c;利用计算机软件将这些照片拼接成一个完整的全景图像。这种技术能够让观看者在虚拟环境中以交互的方式查看整个周围环境&#xff0c;就好像他们真的站在那个位置一样。在Android设备…

LETTERS(DFS)

【题目描述】 给出一个rowcolrowcol的大写字母矩阵&#xff0c;一开始的位置为左上角&#xff0c;你可以向上下左右四个方向移动&#xff0c;并且不能移向曾经经过的字母。问最多可以经过几个字母。 【输入】 第一行&#xff0c;输入字母矩阵行数RR和列数SS&#xff0c;1≤R,S≤…

NVM 多版本Node.js 管理全指南(Windows系统)

&#x1f9d1; 博主简介&#xff1a;CSDN博客专家、全栈领域优质创作者、高级开发工程师、高级信息系统项目管理师、系统架构师&#xff0c;数学与应用数学专业&#xff0c;10年以上多种混合语言开发经验&#xff0c;从事DICOM医学影像开发领域多年&#xff0c;熟悉DICOM协议及…

C,C++语言缓冲区溢出的产生和预防

缓冲区溢出的定义 缓冲区是内存中用于存储数据的一块连续区域&#xff0c;在 C 和 C 里&#xff0c;常使用数组、指针等方式来操作缓冲区。而缓冲区溢出指的是当程序向缓冲区写入的数据量超出了该缓冲区本身能够容纳的最大数据量时&#xff0c;额外的数据就会覆盖相邻的内存区…

《Linux内存管理:实验驱动的深度探索》【附录】【实验环境搭建 2】【vscode搭建调试内核环境】

1. 如何调试我们的内核 1. GDB调试 安装gdb sudo apt-get install gdb-multiarchgdb-multiarch是多架构版本&#xff0c;可以通过set architecture aarch64指定架构 QEMU参数修改添加-s -S #!/usr/bin/shqemu-7.2.0-rc1/build/aarch64-softmmu/qemu-system-aarch64 \-nogr…

Flutter项目之登录注册功能实现

目录&#xff1a; 1、页面效果2、登录两种状态界面3、中间按钮部分4、广告区域5、最新资讯6、登录注册页联调6.1、网络请求工具类6.2、注册页联调6.3、登录问题分析6.4、本地缓存6.5、共享token6.6、登录页联调6.7、退出登录 1、页面效果 import package:flutter/material.dart…

ctfshow VIP题目限免 源码泄露

根据题目提示是源代码泄露&#xff0c;右键查看页面源代码发现了 flag

移动神器RAX3000M路由器变身家庭云之七:增加打印服务,电脑手机无线打印

系列文章目录&#xff1a; 移动神器RAX3000M路由器变身家庭云之一&#xff1a;开通SSH&#xff0c;安装新软件包 移动神器RAX3000M路由器变身家庭云之二&#xff1a;安装vsftpd 移动神器RAX3000M路由器变身家庭云之三&#xff1a;外网访问家庭云 移动神器RAX3000M路由器不刷固…

《函数基础与内存机制深度剖析:从 return 语句到各类经典编程题详解》

一、问答题 &#xff08;1&#xff09;使用函数的好处是什么&#xff1f; 1.提升代码的复用性 2.提升代码的可维护性 3.增强代码的可读性 4.提高代码的灵活性 5.方便进行单元测试 &#xff08;2&#xff09;如何定义一个函数&#xff1f;如何调用一个函数&#xff1f; 在Pytho…

Python | 使用Matplotlib绘制Swarm Plot(蜂群图)

Swarm Plot&#xff08;蜂群图&#xff09;是一种数据可视化图表&#xff0c;它用于展示分类数据的分布情况。这种图表通过将数据点沿着一个或多个分类变量轻微地分散&#xff0c;以避免它们之间的重叠&#xff0c;从而更好地显示数据的分布密度和分布趋势。Swarm Plot特别适用…

新版本Xmind结合DeepSeek快速生成美丽的思维导图

前言 我的上一篇博客&#xff08;https://quickrubber.blog.csdn.net/article/details/146518898&#xff09;中讲到采用Python编程可以实现和Xmind的互动&#xff0c;并让DeepSeek来生成相应的代码从而实现对内容的任意修改。但是&#xff0c;那篇博客中提到的Xmind有版本的限…

set和map封装

目录 set和map区别 set和map的插入 set和map的实现 修改红黑树的模板参数 修改比较时使用的变量 迭代器的实现 迭代器的定义 *解引用重载 ->成员访问重载 自增重载 重载 封装迭代器 RBTree迭代器封装 封装set迭代器 对set迭代器进行修改 封装map迭代器 修改…

【Linux】Orin NX + Ubuntu22.04配置国内源

1、获取源 清华源 arm 系统的源,可以在如下地址获取到 https://mirror.tuna.tsinghua.edu.cn/help/ubuntu-ports/ 选择HTTPS,否则可能报错: 明文签署文件不可用,结果为‘NOSPLIT’(您的网络需要认证吗?)查看Orin NX系统版本 选择jammy的源 2、更新源 1)备份原配…