一、ollama私有大模型本地部署1.智聊机器人概述① 知道什么是聊天机器人能够听懂人话并且说出人话的程序。1基本定义一个用来模拟人类对话或聊天的程序。2主要应用客服支持、智能助手、社交互动、教育学习等。3关键问题机器如何判断一条输入句子的合理性机器的回复是否是人类可以理解或者是人类习惯在日常生活中习惯表达的4解决方法利用自然语言处理、机器学习等技术。当前最热大模型技术② 了解聊天机器人的特点1自然语言理解NLP能够理解用户输入自然语言并从中提取意图和关键信息。2对话管理通过对话引擎维持对话的连贯性根据上下文生成合适的回答。3个性化交互可以根据用户的历史记录和偏好提供定制化回答。4多功能性除了聊天还可以执行任务如查询信息、预订服务、提供帮助等。图灵测试同一个问题机器和人回答另外一些猜哪些话是机器回答哪些是人回答的③ 了解聊天机器人的应用场景1客户服务在电商、、金融等领域自动解答用户问题提供24*7的客户支持。2娱乐一些聊天机器人可以与用户进行趣味对话提供娱乐体验。3教育用于语言学习、知识问答等教育场景。4智能家居控制家电设备如灯光、空调等。5医疗健康提供健康咨询、预约挂号等服务。...④常见聊天机器人DeepSeek由杭州深度求索人工智能基础技术研究有限公司研发其核心优势在于性能卓越、低成本开发和开源策略Kimi智能助手由月之暗面科技有限公司开发支持超长上下文最高200万汉字适合长文本处理和复杂对话。通义千问阿里云推出的人工智能助手适合办公场景。提供高效的信息处理能力。讯飞星火科大讯飞出品支持语言输入和语音朗读回复适合语言交互场景。豆包字节跳动推出支持抖音和今日头条的内容信息获取适合内容创作和信息检索。什么是聊天机器人聊天机器人是一种基于人工智能的自然语言处理技术开发的软件程序能够通过文本或语音与用户进行交互模拟人类对话。它可以根据用户输入的问题或指令生成相应的回答或执行特定的操作。⑤ 熟悉智聊机器人项目效果2.前端和后端的技术栈3.ollama安装4.ollama命令5.ollama私有大模型安装二、智聊机器人1.智聊机器人项目需求该项目旨在构建一个基于大模型的智能聊天机器人利用其强大的自然语言处理和生成能力为用户提供高效、精准、个性化的对话服务。该聊天机器人将集成先进的大规模预训练语言模型如Deepseek、Qwen等具备自然语言理解、多轮对话、情感分析、智能问答等核心功能并可根据具体应用场景进行定制化拓展如客服咨询、教育辅导、娱乐互动等。一核心对话功能需求1.自然语言处理2.实时对话交互二用户界面功能需求1.简洁明了的布局2.交互式体验根据上述功能需求项目采用模块化设计前端通过Streamlit等框架实现简洁易用的交互界面后端基于ollma等平台进行模型部署和管理确保系统的高效性和可拓展性。2.如何搭建聊天机器人常见的搭建聊天机器人方式有三种分别是1.使用无代码平台搭建无代码平台允许用户通过可视化界面快速创建聊天机器人无需编程基础。例如扣子(Coze) 是一个由字节跳动开发的智能体应用开发平台支持集成多种大语言模型(如DeepSeek)并可以快速接入微信公众号。搭建步骤:1.注册并登录平台访问扣子官网使用抖音或飞书扫码登录。2.创建应用填写智能体名称、功能介绍和图标。3.配置机器人- 选择模型如 DeepSeek或其他大模型- 添加插件如联网、绘画等- 编写开场白并测试对话效果4.接入平台将机器人接入微信公众号或其他平台配置必要的参数如AppID2.使用开源框架开发如果你有一定的编程基础可以使用开源框架(如ChatterBot)和Web 框架(如Flask)来开发聊天机器人其中ChatterBot 是一个开源的Python库用于创建聊天机器人。它通过机器学习技术来生成对话内容能够根据用户输入自动学习和生成回答。ChatterBot库对话生成能力有限生成文本可能不够自然大模型出来之前使用较多搭建步骤1.安装必要的库安装Flask 和 ChatterBot。2.编写代码创建一个Flask应用集成ChatterBot 并训练模型。3.创建前端界面使用HTML和JavaScript 创建一个简单的聊天界面4.部署应用将应用部署到服务器如Heroku或本地服务器。3.基于大语言模型的集成如果你希望使用更强大语言模型(如DeepSeek或QWen)可以通过本地部署或云服务快速搭建聊天机器人。适合有一定技术能力的企业需要高度定制化功能的聊天机器人。适合大模型出来后有更好对话效果场景目前企业纷纷采用方式。搭建步骤:1.部署模型使用 01lama部署QWen或DeepSeek。2.配置机器人通过01lama的API配置聊天机器人设置模型、对话历史等参数。3.接入微信或其他平台使用Gewechat 框架将机器人接入微信。3.搭建聊天机器人3种方式区别- 如果需求简单且希望快速上线优先选择无代码平台。coze、dify- 如果需求复杂需要高度定制化功能建议选择开源框架。- 如果需要高质量的对话体验且预算充足可以选择基于大语言模型的集成。当前项目我们选择基于开源框架和基于大语言模型集成的综合方式来开发聊天机器人不仅能保障适合数据隐私和安全性要求还可以实现高质量对话体验。4.智聊机器人项目架构前端界面Streamlit 框架- 特点:使用Streamlit框架搭建用户界面提供简洁、交互式的Web应用。- 技术细节:- Streamlit 是一个基于Python的开源框架适合快速开发数据科学和机器学习相关的Web应用。- 你通过Streamlit创建了一个用户界面包括输入框、发送按钮和对话展示区域。- 用户可以通过网页与聊天机器人进行实时对话。后端模型01lama平台的 Qwen/DeepSeek 模型- 特点基于ollama平台部署 QwenDeepSeek模型作为后端核心提供自然语言处理和对话生成能力。- 技术细节:- ollama是一个开源的AI模型部署平台支持多种大语言模型(LLM)。- Qwen是一个高性能的语言模型能够处理和生成自然语言文本。- 通过后端服务调用Qwen模型将用户输入传递给模型并获取模型的回复。- 前端界面采用Streamlit框架搭建用户界面Streamlit是一个简单易用的Python库能够快速创建美观、交互式的 Web应用使用户能够通过网页与聊天机器人进行实时对话。- 对话交互用户可以通过 Streamlit 界面输入文本聊天机器人基于 Qwen模型对输入内容进行理解和处理生成相应的回复并展示在界面上实现流畅的对话交互。- 后端模型利用ollama平台的Qwen模型该模型具备出色的自然语言处理能力能够理解和生成自然语言文本为聊天机器人提供核心的对话处理功能。- 模型调用后端服务负责将用户输入传递给Qwen模型并获取模型生成的回复然后将回复内容返回给前端界面进行展示确保对话的实时性和准确性。5.大模型分类大模型的分类方式多样涵盖了从架构、应用场景到训练目标等多个维度。选择合适的大模型需要综合考虑任务需求、数据规模、计算资源等因素。modelscope魔搭社区https://www.modelscope.cn/modelscoze扣子https://www.coze.cn/DeepSeektongyiqwen...常见的有:自然语言处理模型计算机视觉(CV)模型语音模型多模态模型页面可以直接免费使用为什么要本地部署大模型或者充值使用官网的apikey一个是通用的主要适合聊天的。目的是为了定制化给企业干活的。① 自然语言处理模型自然语言大模型(Large Language Models,LLMs)是基于深度学习的模型旨在理解和生成人类语言。它们通过大规模文本数据训练能够执行多种自然语言处理(NLP)任务如专注于文本生成、理解、翻译等任务.举例:GPT系列(OpenAI)、BERT (Google)、T5 (Google)② 计算机视觉(CV)模型视觉大模型(Large Visual Models)核心是通过大规模数据和复杂模型架构实现对图像和视频的深度理解和生成。与传统计算机视觉模型相比视觉大模型具有更强的泛化能力和多任务适应性能够处理复杂的视觉任务如图像分类、目标检测、语义分割、图像生成等。举例: Stable Diffusion, Vision Transformers (ViT), DALL . E (OpenAI) CLIP (OpenAI)③ 语音大模型语音大模型是基于深度学习技术构建的人工智能模型主要用于处理语音相关的任务如语音识别(ASR)、语音合成(TTS)、语音翻译等。近年来随着深度学习和大规模数据训练的发展语音大模型在性能和功能上取得了显著进展能够支持多语言、多场景的复杂任务。举例:Whisper(OpenA[)、WaveNet(DeepMind)、讯飞星火。总结大模型有那些应用场景?机器翻译、文本生成、对话系统、聊天机器人等应用常用的热门大模型有哪些?讯飞星火认知大模型阿里通义大模型深度求索DeepSeek...三.智聊机器人私有大模型方案1.为什么要私有大模型定制化与自主控制允许高度定制和完全自主控制灵活性更高且不依赖外部网络适合特定场景需求。数据隐私与安全确保敏感数据不离开内部网络避免云服务可能带来的数据泄露风险尤其适合有严格合规要求的行业。性能与延迟减少数据传输时间提供低延迟和稳定性能适合需要实时响应的应用场景。成本控制长期来看本地部署可能比持续支付云服务费用更经济且允许根据需求灵活调整硬件资源。①私有大模型解决方案随着AI的发展越来越多的开发者投入到大模型开发中他们期望能自身笔记本上运行大模型以便开发。越来越多的企业积极改造自身产品融入AI技术他们期望能私有化大模型以保证数据安全。这些诉求直接推动社区出现了两个这方面的产品ollama和LMstudio。OllamaLM Studio产品定位开源的大型语言模型本地运行框架闭源的本地大型语言模型工作站集模型训练、部署、调试于一体技术特点高度智能化自主学习和适应能力强-便捷性高操作简单易懂-安全性强数据传输和存储严格保护高性能采用先进计算架构和算法优化-可定制化支持用户定制模型结构和训练策略易用性友好的用户界面和丰富的文档支持功能提供预训练模型访问和微调功能-支持多种模型架构和定制模型-用户友好界面简化模型实验和部署过程丰富的训练数据和算法库-可视化训练监控界面-强大的调试工具支持模型性能优化资源要求需要一定的内存或显存资源来运行大型模型-支持跨平台(macOS、Linux,Windows)构建和训练复杂模型可能需要大量计算资源和专业技能社区生态社区生态活跃开发者主流本地运行时-快速适配新发布的模型未知(未提及具体社区生态活跃度)②智聊项目私有大模型方案ollma作为一个开源的轻量级工具适合熟悉命令行界面的开发人员和高级用户进行模型实验和微调。它提供了广泛的预训练模型和灵活的定制选项同时保持了高度的便捷性和安全性。最重要它是开源的同时还提供API对于开发有先天优势备受欢迎和使用!因此智聊机器人项目选择基于ollama在本地部署DeepSeek,Qwen等大模型。③ollama 介绍ollama是一款旨在简化大型语言模型本地部署和运行过程的开源软件。ollama提供了一个轻量级、易于扩展的框架让开发者能够在本地机器上轻松构建和管理LLMs(大型语言模型)通过o1lama开发者可以导入和定制自己的模型无需关注复杂的底层实现细节。网址https://ollama.com④ ollama下载ollama是一款旨在简化大型语言模型本地部署和运行过程的开源软件。ollama共支持三种平台- Window: https://ollama. com/download/01lamaSetup. exe- Mac: https://ollama. com/download/01lama-darwin. zip- Linux: https://ollama. com/download/ollama-linux-amd64⑤ ollama 特点1.简单易用提供命令行工具和 API支持快速本地部署主流大语言模型(如Llama 2、Mistral等)适合开发者和研究人员快速上手。2.高效轻量占用资源少支持GPU 加速和量化技术能够在本地高效运行降低对计算资源的依赖。3.灵活管理支持通过 Modelfile 自定义模型参数允许热加载和切换模型并可从Hugging Face 等平台导入自定义模型。4.隐私安全本地化部署确保数据不上传云端适合对隐私和安全性要求高的场景如医疗、金融等领域。总结1.ollama是什么?是一款旨在简化大型语言模型本地部署和运行过程的开源软件。2.如何查看ollama支持的模型?通过ollama 官方模型库https://ollama.com/librarydeepseek-r1, qwen, llava等④ ollama安装与使用- 基于window中ollama部署私有大模型示例1部署deepseek大模型通过https://ollama.com/library查找要使用的模型命令ollama run deepseek-r1:1.5b示例2部署qwen大模型通过https://ollama.com/library查找要使用的模型命令ollama run qwen2:1.5b修改ollama路径- 基于mac中ollama部署私有大模型- 基于Linux中ollama部署私有大模型⑤ allama指令详解ollama客户端指令run 运行模型show 显示模型信息pull 下载模型list 查看本地模型ps 查看运行的模型cp 复制模型rm 删除模型⑥ allama对话指令说明基本指令/? 查看支持的指令/bye 推出对话模型/show 显示模型信息/? shortcuts 查看快捷键多行输入指令对话调整指令/set 设置对话参数/clear 清理上下文模型调整指令/load 动态切换模型/save 储存模型四.基于工具调用本地模型实现聊天效果1.Apifox工具调用本地大模型①了解ollama的api聊天效果Apiox工具介绍Apifox是一款集API设计、开发、测试于一体的协作平台旨在提升开发团队的API开发效率。它结合了Postman、Swagger、Mock.js等工具的功能提供一体化的解决方案适用于前端、后端和测试人员。官网:https://apifox.com/Apifox是一款功能强大且易于使用的API工具适合开发、测试和产品团队使用。快速入门下载安装访问 Apifox官网 下载客户端。创建项目登录后创建一个新项目选择项目类型如 RESTful API。设计 API在项目中添加API接口定义请求方法、路径、参数等。调试与测试使用调试功能发送请求验证接口返回结果。②Apifox工具导入ollamaAPI为了方便后续使用程序接入011ama中的大模型在此可以先通过Apifox进行Api的快速体验与学习。在资料文件夹中 01lama.apifox.json文件提供了供Apifox软件导入的json内容再此我们先导入到Apifox软件中快速体验一下API相关功能。③Apifox工具调用私有大模型1配置ollama大模型服务器地址2输入请求问题点击发送获取响应结果2.ChatBox工具调用本地大模型实现聊天体验一下页面调用本地模型聊天效果①Chatbox工具介绍Chatbox是一款功能强大、易于使用的开源AI 工具适合开发者、学生、办公人员等多种用户群体。1.下载安装访问Chatbox官网下载并安装适合您操作系统的安装包(Windows、macOS 或Linux)。2.配置API打开 Chatbox进入设置菜单。选择ollama中本地部署的模型并保存配置。3.开始对话主界面创建对话窗口在输入框中输入问题或指令。4.保存和退出聊天记录会自动保存到本地。② Chatbox工具设置本地大模型打开chatbox软件选择ollama本地服务器中大模型(注意:以下获取的时本地ollama安装的模型)五.智聊机器人项目Streamlitollama本地私有大模型deepseek和qwen等1.前端使用streamlit快速构建页面安装streamlit模块pip install streamlit入门案例2.后端调用ollama本地大模型安装ollama模块pip install ollama入门案例3.前后端联调实现智聊机器人① 聊天机器人概述什么是聊天机器人1基本定义一个用来模拟人类对话或聊天的程序。2主要应用客服支持、智能助手、社交互动、教育学习等。3关键问题机器如何判断一条输入句子的合理性机器的回复是否是人类可以理解或者是人类习惯在日常生活中习惯表达的4解决方法利用自然语言处理、机器学习等技术。当前最热大模型技术② Streamlit技术详解Streamlit框架介绍Streamlit是一个开源Python库。它旨在让数据科学家和工程师能够以最少的代码和配置将他们的数据分析和模型展示转化为交互式的Web 应用。Streamlit 的设计目标是简单易用同时保持高度的灵活性和可定制性。官网地址https://streamlit.io1streamlit第三方库的安装1.打开Anaconda Prompt2.conda env list 查看环境3.conda activate kyai4 切换到kyai4环境4.pip install streamlit 安装streamlit5.streamlit hello 安装完成体验一下2streamlit框架特点简单易用Streamlt的API非常简洁只需要几行代码就可以创建一个基本的应用程序。无需复杂的前端开发知识Python代码直接决定了应用的界面和功能。快速开发支持热重载代码修改后自动更新应用无需手动重启服务器。丰富的内置组件和功能可以快速实现常见的数据可视化和交互操作。高度可定制支持自定义CSS样式可以对应用的外观进行精细调整。可以集成第三方库和框架如Plotly、Altair、Pandas等扩展应用的功能。强大的社区支持官方文档详细且拥有一个活跃的社区提供了大量的示例和教程帮助用户快速上手。3streamlit框架安装cmd命令行安装pip install streamlit -i https://pypi. tuna. tsinghua. edu. cn/simplecmd命令行运行streamlit hello详见官网https://docs.streamlit.io/get-started/installation4streamlit框架常见组件Streamlit提供了许多内置组件用于创建交互式界面文本和标题st.write()st.title()st.header()st.subheader()等输入控件st.text_input ()st. slider()st.selectbox()st.checkbox()st.button()等显示数据st.dataframe()st.table()st.json()等显示图表st.pyplot()st.altair_chart()st. bokeh_chart ()st.plotly_chart ()等布局st.sidebar()st.columns()st.expander()等详见官网https://docs. streamlit.io/develop/api-reference4streamlit框架入门案例命令行运行程序stream run python脚本# 1.导包 # 先安装pip install streamlit import streamlit as st # TODO 注意streamlit的文件不能右键直接运行 # streamlit运行命令streamlit run 文件 # 2.设置标题 st.title(用户注册平台) # 3.添加分割线 st.divider() # 4.获取用户名 user_name st.text_input(请输入用户名) # 5.获取密码 user_pwd st.text_input(请输入密码, typepassword) # 6.获取年龄 user_age st.number_input(请输入年龄, value18, min_value0, max_value150) # 7.获取性别 user_sex st.radio(请选择性别, (男, 女, 保密), horizontalTrue) # 8.获取出生日期 user_bir st.date_input(请选择出生日期) # 9.获取身高 user_height st.slider(请输入身高, value170, min_value0, max_value300) # 10.提交按钮 # 非空即为True if st.button(确认): # 写到页面 st.write(f您输入的内容是 用户名{user_name} 密码{user_pwd} 年龄{user_age} 性别{user_sex} 出生日期{user_bir} 身高{user_height} ) # 写到本地本地 w覆盖 a追加 with open(用户注册信息.txt, w, encodingutf-8) as f: f.write(f您输入的内容是 用户名{user_name} 密码{user_pwd} 年龄{user_age} 性别{user_sex} 出生日期{user_bir} 身高{user_height} ) print(恭喜您信息录入成功)import os os.system(streamlit run 02_streamlit构建注册平台.py)③ 从零构建聊天机器人1streamlit构建智聊机器人前端页面# 1.导包 import streamlit as st # 2.添加标题 st.title(智聊机器人) # 3.添加分割线 st.divider() # 4.构建ai和用户的聊天窗口 # 4.1 AI的开场白 st.chat_message(assistant).write(你好我是智聊机器人你可以向我提问任何问题。) # 4.2 获取用户的输入 prompt st.chat_input(请输入您的问题) st.chat_message(user).write(prompt) # 4.3 展示AI的答案 # 非空即为True if prompt: # TODO 后续此处要根据上述用户的问题调用大模型获取答案 # 此处先写一个固定的答案 st.chat_message(assistant).write(很高兴为您服务。)2v1版本没有上下文记录# 1.导包 import streamlit as st import ollama_utils # 2.添加标题 st.title(智聊机器人) # 3.添加分割线 st.divider() # 4.构建ai和用户的聊天窗口 # 4.1 AI的开场白 st.chat_message(assistant).write(你好我是智聊机器人你可以向我提问任何问题。) # 4.2 获取用户的输入 prompt st.chat_input(请输入您的问题) # 4.3 展示AI的答案 # 非空即为True if prompt: # 如果用户输入了问题再展示问题 st.chat_message(user).write(prompt) # TODO 提前封装message消息列表 messages [{role: user, content: prompt}] # TODO 当问题回应比较慢的时候可以添加spinner(思考中...) with st.spinner(思考中...): # TODO 此处要根据上述用户的问题调用大模型获取答案 llm_result ollama_utils.get_ollama_chat_result(messages) # TODO 此处直接把ai生成的答案返回到页面中 st.chat_message(assistant).write(llm_result)import os # os直接执行命令 os.system(streamlit run streamlit_app_V1.py)3v2版本有上下文记录# 1.导包 import streamlit as st import ollama_utils # 2.添加标题 st.title(智聊机器人) # 3.添加分割线 st.divider() # TODO 5.提前创建message列表用于添加和展示历史聊天记录 # st.session_state格式 - {message:[{AI开场白},{用户问题1},{AI答案1},{用户问题2},{AI答案2}...]} if message not in st.session_state: # 首次没有历史列表那就创建一个空列表 st.session_state[message] [] # 提前添加一个AI开场白消息到message列表中 st.session_state[message].append( {role: assistant, content: 你好我是智聊机器人你可以向我提问任何问题。} ) # TODO 4.构建ai和用户的聊天窗口 # TODO 4.1 遍历历史消息把每个消息依次展示到页面 for message in st.session_state[message]: # TODO 首次只拿到了AI的开场白后续拿到的是问答历史记录 st.chat_message(message[role]).write(message[content]) # # 获取消息的role # role message[role] # # 获取消息的内容 # content message[content] # # 根据role展示不同的消息 # if role assistant: # # AI的开场白 # st.chat_message(assistant).write(content) # else: # # 用户的问题 # st.chat_message(user).write(content) # 4.2 获取用户的输入 prompt st.chat_input(请输入您的问题) # 4.3 展示AI的答案 # 非空即为True if prompt: # 如果用户输入了问题再展示问题 st.chat_message(user).write(prompt) st.session_state[message].append({role: user, content: prompt}) # 存储用户问题历史 # TODO 当问题回应比较慢的时候可以添加spinner(思考中...) with st.spinner(思考中...): # TODO 此处要根据上述用户的问题调用大模型获取答案 llm_result ollama_utils.get_ollama_chat_result(st.session_state[message][-20:]) # 建议把最近的20个问答发送给模型即可 # TODO 此处直接把ai生成的答案返回到页面中 st.chat_message(assistant).write(llm_result) st.session_state[message].append({role: assistant, content: llm_result}) # 存储ai历史import os # os直接执行命令 os.system(streamlit run streamlit_app_V2.py)