基于InternLM的情感调节大师FunGPT

news2025/6/6 18:30:05

基于书生系列大模型，社区用户不断创造出令人耳目一新的项目，从灵感萌发到落地实践，每一个都充满智慧与价值。“与书生共创”将陆续推出一系列文章，分享这些项目背后的故事与经验。欢迎订阅并积极投稿，一起分享经验与成果，推动大模型技术的普及与进步。

本文来自社区投稿，作者Alannikos，书生大模型实战营学员。本文将向大家介绍孵化于书生大模型实战营的项目 ，基于 InternLM 的情感调节大师 FunGPT。

1.项目介绍

在这个快节奏的世界里，我们需要一点调味剂来调和生活。无论是需要一点甜言蜜语来提振精神，还是需要一剂犀利怼语来释放压力，FunGPT 都能满足您的需求。FunGPT 基于 InternLM2.5 系列大模型，利用 XTuner 进行QLoRA指令微调，使模型能够满足用户的个性化要求。同时为了方便用户，我们还发布了 1.8B 系列小模型，减量不减效果；此外，我们还利用 LMDeploy 对多个模型使用感知权重量化（AWQ）算法进行W4A16量化，既节省显存又提升推理速度！

🍬 甜言蜜语模式：

  • 心情提升器🌟✨：当您感到低落，我们的甜言蜜语模式能让您的心情瞬间飙升，就像尝了一颗超级甜的蜜糖。
  • 自信加油站💪🌈：同时我们的赞师傅会用合适且独特的方式夸奖您，让您的自信心爆棚。

🔪 犀利怼语模式：

  • 压力释放阀：当您感到压力山大，我们的怼人模式能让您在怼人的同时，找到释放的出口。
  • 幽默吐槽机😂👅：怼师傅的言语不仅犀利，而且幽默风趣，在怼人的过程中，您还能体会到脑洞大开的怼人方式。

项目地址：

https://github.com/Alannikos/FunGPT

视频地址：

https://www.bilibili.com/video/BV1EGBYYtEMA/

InternLM GitHub：

https://github.com/InternLM/InternLM

LMDeploy GitHub

https://github.com/InternLM/lmdeploy

XTuner GitHub：

https://github.com/InternLM/xtuner

在这里插入图片描述

项目架构图

2.技术方法

数据生成

在大模型微调过程中，我们可以借助许多方法进行有监督微调（SFT），不论是通过原生的 LoRA 微调等技术，还是通过封装好的工具，比如 XTuner，我们都需要准备高质量的微调数据。但是通过人工手动标注数据的成本较高，对于大部分个人开发者来说，效率比较低下，本项目的方案就是采用大模型 API 来生成我们所需要的多轮对话数据集，例如使用 InternLM 等（现阶段可直接使用 EDG4LLM 工具，该工具内置 InternLM 等主流模型API），这样的方式简单且易于控制。通常来说，生成的数据集还是能够达到较好的微调效果。

LLM 使用

大语言模型是本项目的核心组件，我们选用了开源的 InternLM2.5 系列作为基础模型。InternLM2.5 具有强大的理解和生成能力，支持长上下文窗口，并且具有较好的中文理解能力。详细的使用方法请参考 https://github.com/Alannikos/FunGPT/blob/main/LLM/models/internlm2_5_7b_chat.py

在本项目中，LLM主要负责对用户输入进行理解和回复生成，同时还需要处理多模态输入，并与ASR和TTS模块进行协同工作。

ASR 使用

语音识别模块采用了开源的 SenseVoice 模型，该模型具有优秀的多语言语音识别能力，支持中英文等多语言识别，准确率较高，且能够较好地处理背景噪声。具体的部署和使用说明请查看https://github.com/Alannikos/FunGPT/blob/main/ASR/models/sensevoice.py

在实际应用中，ASR 模块负责将用户的语音输入转换为文本，并传递给 LLM 进行处理。我们提供了流式识别接口，也支持实时语音转写。

TTS 使用

语音合成模块使用了开源的 ChatTTS 模型，该模型能够生成自然流畅的语音。支持多说话人合成，并且可以调节语速和音色等参数。详细的配置和使用方法请参考https://github.com/Alannikos/FunGPT/blob/main/TTS/models/chattts.py

TTS 模块主要负责将 LLM 生成的文本转换为语音输出，支持批量合成模式。我们还提供了情感控制接口，可以根据文本内容自动调整语气和语调，使输出更加自然。

模型微调

为了适应特定场景的需求，我们提供了完整的模型微调流程。本项目主要采用了XTuner提供的QLoRA参数微调方法，该工具提供了友好的配置模板和完善的训练监控。具体的微调流程和参数设置请参考https://github.com/Alannikos/FunGPT/blob/main/Finetune/BoostBot/scripts/internlm2_5_chat_7b_qlora_alpaca_e3_copy.py

微调支持指令对齐、多轮对话等多种任务类型。我们提供了预处理脚本来转换数据格式，同时XTuner也支持增量训练，可以在已有模型基础上继续优化。

模型量化

为了在有限的计算资源下部署大模型，量化是一个重要的优化手段。我们使用 LMDeploy 进行模型量化，在保持模型性能的同时减少显存占用，详细的量化流程请参考 https://github.com/InternLM/lmdeploy

量化完成后，可以通过 LMDeploy 的 Benchmark 进行效果对比，同时 LMDeploy 还提供了不同量化策略的性能对比数据，帮助用户选择最适合的量化方案。

3.快速使用

3.1 部署环境

  • 操作系统：Ubuntu 20.04.6 LTS
  • CPU：Intel® Xeon® Platinum 8369B CPU @ 2.90GHz（在线 GPU 服务器）
  • 显卡：NVIDIA A100-SXM4-80GB， NVIDIA-SMI 535.54.03，Driver Version: 535.54.03，CUDA Version: 12.2
  • Python: 3.10.0

3.2 关键依赖信息

Python==3.10.0
torch==2.4.1
torch-complex==0.4.4
torchaudio==2.4.1
torchvision==0.16.2
chattts==0.1.1
streamlit==1.38.0
audio-recorder-streamlit==0.0.10

3.3 部署步骤

Clone 代码或者手动下载代码放置服务器：
git clone https://github.com/Alannikos/FunGPT
配置 Python 环境(推荐使用 conda)
  • 进入项目的根目录
cd FunGPT
  • 创建conda环境
conda create -n FunGPT python==3.10.0
  • 安装第三方库
pip install -r requirements.txt

# 大概需要1h左右
下载模型
TTS 模型（若使用则必选）
  • git-lfs 安装 由于涉及到模型文件的下载，首先需要保证 git-lfs 已经成功安装。对于 Linux 用户来说，可按照下面的命令安装：
apt install git-lfs
  • 启动LFS
git lfs install
  • 下载 TTS 模型到指定路径
# 1. 进入指定目录
cd /FunGPT/TTS/weights

# 2. 从huggingface下载模型
git clone https://huggingface.co/2Noise/ChatTTS
  • 无法访问 HuggingFace 用户，可从镜像源下载
# 2. 从镜像源下载模型
git clone https://hf-mirror.com/2Noise/ChatTTS
ASR 模型（若使用则必选）

由于涉及到模型文件的下载，首先需要保证 git-lfs 已经成功安装。对于 Linux 用户来说，可按照下面的命令安装：

# 已下载用户可忽略此条命令
apt install git-lfs
  • 启动 LFS
git lfs install
  • 下载 TTS 模型到指定路径
# 1. 进入指定目录
cd /FunGPT/ASR/weights

# 2. 从huggingface下载模型
git clone https://huggingface.co/FunAudioLLM/SenseVoiceSmall
  • 无法访问 HuggingFace 用户，可从镜像源下载
# 2. 从镜像源下载模型
git clone https://hf-mirror.com/FunAudioLLM/SenseVoiceSmall
LLM 模型（必选）

对于 LLM 模型的选择，我们提供了多个选择，效果最佳的模型为 BanterBot-7b-chat 和 BoostBot-7b-chat，其次量化的模型效果也非常不错；此处为了节约下载时间，我们选择了这两个 1_8B 模型: BanterBot-1_8b-chat 和 BoostBot-1_8b-chat 来作为示例，大家可以按照需求自由进行替换即可。

  • 启动LFS
git lfs install
  • 下载 LLM 模型到指定路径
# 1. 进入指定目录
cd /FunGPT/LLM/weights

# 2. 从huggingface下载BanterBot-1_8b-chat模型
https://huggingface.co/Alannikos768/BanterBot_1_8b-chat

# 3. 从huggingface下载BoostBot-1_8b-chat模型
https://huggingface.co/Alannikos768/BoostBot_1_8b-chat
  • 无法访问 HuggingFace用户，可从 OpenXLab 下载
# 2. 从OpenXLab下载BanterBot-1_8b-chat模型(国内用户)
git clone https://code.openxlab.org.cn/Alannikos/BanterBot-1_8b-chat.git

# 3. 从OpenXLab下载BoostBot-1_8b-chat模型(国内用户)
git clone https://code.openxlab.org.cn/Alannikos/BoostBot-1_8b-chat.git
运行网页脚本
conda activate FunGPT

streamlit run app.py --server.address=127.0.0.1 --server.port=7860

3.4 模型体验

  • 如果是在远程服务器上运行的，需要进行端口映射
ssh -p port user@ip -CNg -L 7860:127.0.0.1:7860 -o StrictHostKeyChecking=no
  • 然后在体验应用 打开浏览器，输入http://127.0.0.1:7860，然后点击对应界面即可体验 FunGPT

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2401975.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【性能调优系列】深入解析火焰图：从基础阅读到性能优化实战

【性能调优系列】深入解析火焰图：从基础阅读到性能优化实战

博客目录 一、火焰图基础：结构与阅读方法二、深入分析火焰图：关键观察点与性能瓶颈识别1. 识别最宽的函数块2. HTTP 请求处理分析3. 数据库操作分析4. 业务逻辑分析 三、性能优化实战：从火焰图到解决方案1. 线程池性能优化2. 数据库访问优化3…
阅读更多...
Docker 与容器技术的未来：从 OCI 标准到 eBPF 的演进

Docker 与容器技术的未来：从 OCI 标准到 eBPF 的演进

Docker 的出现无疑是云计算发展史上的一个里程碑。它以其直观的打包、分发和运行方式，极大地简化了应用程序的部署和管理，从而推动了微服务架构和 DevOps 文化的普及。然而，容器技术的未来并非仅仅局限于 Docker，它正朝着更深层次的标准化和更底层的操作系统内核创新方向演…
阅读更多...
PLC远程控制网关支持多塘口水环境数据边缘计算与远程安全传输的配置指南

PLC远程控制网关支持多塘口水环境数据边缘计算与远程安全传输的配置指南

一、项目背景 渔业养殖是关系到我国食物安全和海洋经济发展的重要产业，随着科技的不断进步，传统的养殖模式面临着诸多挑战，如养殖环境复杂、水质变化难以实时监测、设备运行状态不稳定等，这些问题不仅增加了养殖成本，还…
阅读更多...
C++11 中 final 和 override 从入门到精通

C++11 中 final 和 override 从入门到精通

文章目录 一、引言二、final 关键字2.1 final 关键字的基本概念2.2 final 关键字的语法2.3 final 关键字的使用示例2.3.1 防止类被继承2.3.2 防止虚函数被重写 2.4 final 关键字的使用场景2.5 final 关键字的注意事项 三、override 关键字3.1 override 关键字的基本概念3.2 ove…
阅读更多...
大数据-275 Spark MLib - 基础介绍 机器学习算法 集成学习 随机森林 Bagging Boosting

大数据-275 Spark MLib - 基础介绍 机器学习算法 集成学习 随机森林 Bagging Boosting

点一下关注吧！！！非常感谢！！持续更新！！！ 大模型篇章已经开始！ 目前已经更新到了第 22 篇：大语言模型 22 - MCP 自动操作 FigmaCursor 自动设计原型 Java篇开…
阅读更多...
git互联GitHub 使用教程

git互联GitHub 使用教程

一、下载git Git 公司 右键 git config --global user.name "name" git config --global user.email "email" ssh-keygen -t rsa -C email ：生成的ssh密钥需要到github 网站中保存ssh 二、GitHub新建repository 三、本地git互联GitHub 找…
阅读更多...
SpringBoot+Mysql实现的停车场收费小程序系统+文档

SpringBoot+Mysql实现的停车场收费小程序系统+文档

💗博主介绍💗：✌在职Java研发工程师、专注于程序设计、源码分享、技术交流、专注于Java技术领域和毕业设计✌ 温馨提示：文末有 CSDN 平台官方提供的老师 Wechat / QQ 名片 :) Java精品实战案例《700套》 2025最新毕业设计选题推荐…
阅读更多...
面向对象进阶 | 深入探究 Java 静态成员与继承体系

面向对象进阶 | 深入探究 Java 静态成员与继承体系

个人主页 文章专栏 文章目录 个人主页文章专栏 一、static（静态）1.static 静态变量代码展示内存图 2.static 静态方法工具类：练习： 3.static注意事项4.重新认识main方法 二、继承1.继承概述2.继承的特点3.子类到底能继承父类中的…
阅读更多...
人脸识别技术成为时代需求，视频智能分析网关视频监控系统中AI算法的应用

人脸识别技术成为时代需求，视频智能分析网关视频监控系统中AI算法的应用

一、应用背景：时代需求与技术革新的双重驱动​ 1）传统安防系统的困境​：传统监控系统依赖人工逐帧筛查海量视频，在人流密集场所极易漏检，且缺乏实时锁定和主动预警能力，面对突发安全事件响应迟缓。​ 2&a…
阅读更多...
pc端小卡片功能-原生JavaScript金融信息与节日日历

pc端小卡片功能-原生JavaScript金融信息与节日日历

代码如下 <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>金融信息与节日日历</title><…
阅读更多...
Go语言学习--＞第一个go程序--hello world!

Go语言学习--＞第一个go程序--hello world!

Go语言学习–&#xff1e;第一个go程序–hello world! 1 写代码前的准备 1 创建编写代码的文件夹 2 使用vscode打开3 项目初始化 **go mod init*&#xff08;初始化一个go mod&#xff09;Go Module 是 Go 1.11 版本引入的官方依赖管理系统&#xff0c;用于替代传统的 GOPATH…
阅读更多...
高雄市12岁以下身心障碍儿童口腔保健合作院所名单数据集

高雄市12岁以下身心障碍儿童口腔保健合作院所名单数据集

描述&#xff1a; 关键字&#xff1a;儿童、口腔、保健、院所、名单 字段特征&#xff1a;序号、院所分级、合作医疗院所、市话、地址 语言&#xff1a;繁体 行数/数量&#xff1a;129行&#xff0c;5列 数据量 &#xff1a;7.27KB 格式&#xff1a;CSV、JSON、XML 目录…
阅读更多...
破局新能源消纳难题！安科瑞智慧能源平台助力10KV配电网重构未来

破局新能源消纳难题！安科瑞智慧能源平台助力10KV配电网重构未来

一、政策驱动&#xff1a;新型配电网迎来 “智慧化” 刚需 随着分布式光伏、工商业储能、电动汽车充电桩等新型电力设施大规模并网&#xff0c;传统 10kV 配电网正面临 “高渗透、强波动、多交互” 的运行挑战。2025 年 6 月 1 日正式实施的《配电网通用技术导则》&#xff08;…
阅读更多...
TIA博途中的程序导出为PDF格式的具体方法示例

TIA博途中的程序导出为PDF格式的具体方法示例

TIA博途中的程序导出为PDF格式的具体方法示例 如下图所示&#xff0c;选中想要导出为PDF的程序块&#xff0c;右击选择“打印”&#xff0c; 如下图所示&#xff0c;选择“导出为WPS PDF” 或者“Microsoft Print to PDF”&#xff0c; 如下图所示&#xff0c;设置文档布局相关…
阅读更多...
【大模型:知识图谱】--4.neo4j数据库管理（cypher语法1）

【大模型:知识图谱】--4.neo4j数据库管理（cypher语法1）

使用neo4j的cypher语法对图数据库进行管理&#xff1b;官网地址&#xff1a;Create, start, and stop databases - Operations Manual 目录 1.neo4j--简介 1.1.Neo4j版本的标准数据库 1.2.默认数据库 1.3.每用户主数据库 1.4.system数据库 2.neo4j--数据库管理 2.1.命名…
阅读更多...
数字化时代养老机构运营实训室建设方案：养老机构运营沙盘实训模块设计

数字化时代养老机构运营实训室建设方案：养老机构运营沙盘实训模块设计

在数字化浪潮席卷各行各业的当下&#xff0c;养老机构运营实训室建设方案中的养老机构运营沙盘实训模块设计&#xff0c;已成为培养专业养老运营人才的关键环节&#xff0c;它需紧密贴合时代需求&#xff0c;构建兼具前瞻性与实用性的实训体系。点击获取实训室建设方案 一、养…
阅读更多...
自由开发者计划 004：创建一个苹果手机长截屏小程序

自由开发者计划 004：创建一个苹果手机长截屏小程序

一. 背景 年初&#xff0c;一个漂亮姐姐突然问我&#xff0c;iphone这么多年一直没法长截屏&#xff0c;你们程序员就没个办法把这个硬伤补上吗&#xff1f; 虎躯一震&#xff0c;脑瓜子嗡嗡的&#xff0c;这么多年的iphone资深用户&#xff0c;最初也不是没有想过这个问题&am…
阅读更多...
工作流引擎-18-开源审批流项目之 plumdo-work 工作流，表单，报表结合的多模块系统

工作流引擎-18-开源审批流项目之 plumdo-work 工作流，表单，报表结合的多模块系统

工作流引擎系列 工作流引擎-00-流程引擎概览 工作流引擎-01-Activiti 是领先的轻量级、以 Java 为中心的开源 BPMN 引擎&#xff0c;支持现实世界的流程自动化需求 工作流引擎-02-BPM OA ERP 区别和联系 工作流引擎-03-聊一聊流程引擎 工作流引擎-04-流程引擎 activiti 优…
阅读更多...
【虚拟机版本号】如果忘记了版本号，这样查找版本号

【虚拟机版本号】如果忘记了版本号，这样查找版本号

【虚拟机版本号】如果忘记了版本号&#xff0c;这样查找版本号 找到虚拟机的文件&#xff1a; 然后用记事本打开这个&#xff1a;.vmx文件 然后搜索.version
阅读更多...
基于RK3568的多网多串电力能源1U机箱解决方案，支持B码，4G等

基于RK3568的多网多串电力能源1U机箱解决方案，支持B码，4G等

基于RK3568的多网多串电力能源1U机箱解决方案&#xff0c;结合B码对时和4G通信能力&#xff0c;可满足电力自动化、能源监控等场景的高可靠性需求。核心特性如下&#xff1a; 一、硬件配置 ‌处理器平台‌ 搭载RK3568四核Cortex-A55处理器&#xff0c;主频1.8GHz-2.0GHz&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023