Flowise国产化适配麒麟V10昇腾910B环境部署验证报告1. 引言当可视化AI工作流遇上国产算力想象一下你手头有一个45万开发者都在用的开源神器——Flowise它能让你像搭积木一样通过拖拽节点就构建出复杂的AI应用比如智能客服、文档问答机器人。但问题是它默认支持的模型服务大多是国外的或者依赖特定的GPU硬件。现在我们拿到了一个更“接地气”的任务把它搬到国产的麒麟V10操作系统上并且用上国产的昇腾910B AI处理器。这不仅仅是换个地方运行那么简单而是一次从底层环境到上层应用的全栈适配验证。这篇文章就是这次“搬家”的完整记录。我会带你一步步走完在麒麟V10系统上基于vLLM部署本地大模型并最终让Flowise成功跑起来的全过程。无论你是想在企业内部署安全的AI工作流还是对国产软硬件生态感兴趣这篇实战报告都能给你提供清晰的路线图和避坑指南。2. 环境准备认识我们的“新家”在开始动手之前我们先搞清楚要在什么样的环境里工作。这次部署验证的核心是一个完全国产化的技术栈。2.1 硬件与操作系统CPU鲲鹏920处理器。这是基于ARM架构的国产服务器CPU和常见的x86架构有些不同会影响到后续一些软件包的安装。AI加速卡昇腾910B。这是本次验证的核心我们需要让Flowise通过vLLM来调用它的算力。操作系统麒麟V10服务器版。这是一个基于Linux的国产操作系统其软件源和包管理与CentOS/Ubuntu等有差异。2.2 核心软件组件我们的目标架构很简单底层是昇腾卡和vLLM服务提供模型推理能力上层是Flowise提供可视化编排界面。它们之间通过标准的APIOpenAI兼容格式进行通信。这意味着只要vLLM服务提供的API和OpenAI的格式一致Flowise就能像调用GPT一样调用我们本地部署的模型完全无需修改Flowise的代码。3. 基础环境与依赖安装麒麟V10系统默认的软件包可能不够全我们首先需要配置好基础环境。3.1 系统更新与基础工具打开终端我们先更新系统并安装一些必备工具# 更新系统软件包列表 sudo yum makecache sudo yum update -y # 安装编译和基础依赖 sudo yum install -y git curl wget cmake make gcc gcc-c python3-devel openssl-devel bzip2-devel libffi-devel这里注意麒麟V10使用的是yum包管理器而不是Ubuntu的apt。3.2 安装Node.js与pnpmFlowise的后端是用Node.js写的前端构建依赖pnpm。由于麒麟V10的默认源里Node.js版本可能较旧我们直接从官方下载安装。# 下载并安装Node.js 18LTS版本兼容性好 wget https://nodejs.org/dist/v18.20.4/node-v18.20.4-linux-arm64.tar.xz sudo tar -xJf node-v18.20.4-linux-arm64.tar.xz -C /usr/local --strip-components1 rm node-v18.20.4-linux-arm64.tar.xz # 验证安装 node -v # 应输出 v18.20.4 npm -v # 安装pnpm更快的包管理器 npm install -g pnpm pnpm -v3.3 安装Python及关键库vLLM和模型运行需要Python环境。我们使用conda来管理可以避免系统Python环境被污染。# 下载并安装MinicondaARM64版本 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh bash Miniconda3-latest-Linux-aarch64.sh -b -p $HOME/miniconda3 rm Miniconda3-latest-Linux-aarch64.sh # 初始化conda将conda加入当前shell环境 $HOME/miniconda3/bin/conda init bash source ~/.bashrc # 创建一个专门的Python 3.9环境vLLM兼容性好 conda create -n flowise-ascend python3.9 -y conda activate flowise-ascend # 安装PyTorch及其昇腾版本CANN # 注意此处需要根据昇腾官方提供的whl包具体路径安装以下为示例 # pip install torch-xxx.whl torch_npu-xxx.whl # 安装vLLM等依赖将在后续步骤进行关键点PyTorch的昇腾适配版本需要从华为昇腾社区获取确保与你的CANN异构计算架构驱动版本匹配。4. 部署vLLM并启动本地模型服务vLLM是一个高性能的推理引擎能让大模型在GPU或NPU上跑得更快。我们的目标是在昇腾910B上启动一个vLLM服务。4.1 安装vLLM与昇腾适配由于官方vLLM主要支持CUDA我们需要使用为昇腾适配的版本。通常昇腾社区会提供修改版的vLLM。# 激活之前创建的conda环境 conda activate flowise-ascend # 克隆昇腾适配的vLLM仓库示例仓库实际以社区提供为准 git clone https://gitee.com/ascend/vllm.git cd vllm # 安装vLLM及其依赖 pip install -e . # 使用-e模式安装方便后续修改 # 验证vLLM是否可导入 python -c import vllm; print(vLLM import success)4.2 准备模型文件vLLM需要加载模型权重。这里以一个小参数量的开源模型为例例如Qwen-7B演示流程。# 创建一个目录存放模型 mkdir -p ~/models cd ~/models # 假设我们已经下载好了Qwen-7B的模型权重并存放在当前目录 # 模型目录结构应类似于 # Qwen-7B-Chat/ # ├── config.json # ├── model.safetensors # └── ...重要提示确保你拥有所使用的模型权重文件的合法版权或使用权。可以从ModelScope、Hugging Face等平台下载开源模型。4.3 启动vLLM服务现在我们启动vLLM服务它会加载模型并提供一个OpenAI兼容的API端点。# 回到vLLM目录启动服务 cd ~/vllm # 启动API服务器指定模型路径和端口 python -m vllm.entrypoints.openai.api_server \ --model ~/models/Qwen-7B-Chat \ --served-model-name Qwen-7B-Chat \ --host 0.0.0.0 \ --port 8000 \ --npu-device 0 # 指定使用第一个昇腾设备 --tensor-parallel-size 1 # 张量并行大小根据模型大小和卡数调整 --max-model-len 4096 # 模型最大上下文长度参数解释--model你的模型权重路径。--served-model-name客户端调用时使用的模型名称。--host 0.0.0.0允许任何IP访问生产环境请谨慎。--port 8000服务监听的端口。--npu-device指定使用哪块昇腾卡。--tensor-parallel-size如果模型太大可以分到多张卡上。看到输出中有“Uvicorn running on http://0.0.0.0:8000”等信息说明服务启动成功。4.4 测试vLLM API打开另一个终端测试API是否正常工作。curl http://localhost:8000/v1/models如果返回类似下面的JSON说明模型服务已就绪{ object: list, data: [ { id: Qwen-7B-Chat, object: model, created: 1677610602, owned_by: vllm } ] }你也可以用一个小脚本测试一下文本生成curl http://localhost:8000/v1/completions \ -H Content-Type: application/json \ -d { model: Qwen-7B-Chat, prompt: 你好请介绍一下你自己。, max_tokens: 100 }5. 部署与配置Flowise本地模型服务已经在8000端口跑起来了现在我们来部署Flowise并让它连接上我们的vLLM服务。5.1 获取Flowise源码# 切换到应用目录 cd /app # 克隆Flowise仓库使用国内镜像或原地址 git clone https://github.com/FlowiseAI/Flowise.git cd Flowise5.2 配置环境变量Flowise通过环境变量来配置我们需要告诉它使用我们本地的模型服务而不是OpenAI。# 进入server配置目录 cd packages/server # 复制环境变量示例文件 cp .env.example .env # 编辑.env文件关键配置如下 nano .env在.env文件中你需要关注或添加以下几行# 数据库配置使用SQLite即可简单 DATABASE_TYPEsqlite DATABASE_PATH./database.sqlite # 安全相关设置一个密钥 SECRETKEYyour-secret-key-here-change-me # 关键配置指定自定义的LLM API基础地址 # 这将使Flowise将所有LLM请求发往你的vLLM服务 CUSTOM_OPENAI_API_BASEhttp://localhost:8000/v1 # 虽然我们用自己的服务但Flowise的OpenAI节点需要一个API KEY占位符 OPENAI_API_KEYkakajiang重点CUSTOM_OPENAI_API_BASE这个变量是核心。设置后当你在Flowise画布上添加一个“OpenAI”节点时它实际上会把请求发送到http://localhost:8000/v1也就是我们的vLLM服务。5.3 安装依赖并构建# 回到Flowise根目录 cd /app/Flowise # 使用pnpm安装所有依赖包括前端和后端 pnpm install # 构建项目 pnpm build # 这个过程可能需要几分钟请耐心等待5.4 启动Flowise服务构建完成后就可以启动服务了。pnpm start启动成功后你会看到类似下面的输出表明服务已在3000端口运行Flowise server is listening on port 30006. 使用Flowise连接本地模型现在打开浏览器访问http://你的服务器IP:3000。你会看到Flowise的登录界面。6.1 登录与初始化使用提供的演示账号登录账号/邮箱kakajiangkakajiang.com密码KKJiang123.首次登录后你可以创建一个新的工作流Flow。6.2 构建你的第一个本地模型工作流创建新Flow点击左侧菜单的“Flows”然后点击“Add New”。添加LLM节点从右侧节点面板中拖拽一个“OpenAI”节点到画布上。配置模型点击该节点在右侧配置面板中Model Name填写Qwen-7B-Chat必须与vLLM启动时--served-model-name参数一致。OpenAI API Key可以任意填写如kakajiang因为请求已被重定向到本地此Key仅作为占位符。Temperature等参数根据你的需求调整。添加Prompt节点拖拽一个“Prompt Template”节点编写你的提示词例如“请用中文回答以下问题{{question}}”。连接节点将Prompt节点的输出连接到OpenAI节点的输入。添加输入输出拖拽“Chat Input”和“Chat Output”节点并连接到流程中。运行测试点击画布上方的“运行”按钮在Chat Input中输入问题看看是否能从Chat Output中收到来自本地Qwen-7B模型的回答。6.3 验证成功的关键如果一切顺利你应该能看到Flowise界面正常响应。在Flowise中提问后能收到连贯、合理的文本回复。同时在运行vLLM服务的终端窗口中能看到推理请求的日志输出这证明Flowise的请求确实发送到了本地vLLM服务并由昇腾910B完成了计算。7. 部署验证总结与经验经过以上步骤我们成功完成了在麒麟V10操作系统和昇腾910B硬件环境下Flowise与本地vLLM模型的集成部署。这次验证证明了几个关键点可行性Flowise这种高度依赖外部AI服务的前沿开源项目完全可以在国产化软硬件平台上运行。核心在于其良好的架构设计通过环境变量即可灵活切换API后端。关键桥梁vLLM的OpenAI兼容API起到了至关重要的作用。它标准化了模型服务的接口使得上游应用如Flowise无需为每一个底层硬件或模型进行适配。适配重点本次适配的主要工作量集中在底层驱动昇腾CANN、PyTorch昇腾版本以及vLLM的昇腾后端支持上。一旦这个基础栈打通上层的应用部署就变得非常标准和平滑。性能表现在昇腾910B上7B参数量级的模型推理响应速度在可接受范围内能够满足交互式工作流构建和测试的需求。对于更复杂的生产流程可能需要进一步优化模型加载、批处理等参数。7.1 可能遇到的问题与解决思路依赖安装失败麒麟V10的软件源可能缺少某些包。解决方案是寻找ARM架构aarch64的替代包或从源码编译。vLLM启动错误最常见的是模型格式不兼容或NPU驱动问题。确保使用vLLM支持的模型格式如Hugging Face格式并确认昇腾驱动和CANN工具包安装正确。Flowise连接超时检查.env文件中CUSTOM_OPENAI_API_BASE的地址和端口是否正确并确保服务器防火墙开放了相应端口3000和8000。内存不足大模型加载需要大量内存。确保系统交换空间swap足够或考虑使用量化版本的模型以减少内存占用。7.2 下一步探索方向这次部署只是一个起点在此基础上还可以做很多事集成更多国产模型尝试接入盘古、ChatGLM、Baichuan等其他优秀的国产大模型。构建复杂应用利用Flowise的可视化能力搭建企业知识库问答、智能客服工单处理、自动化报告生成等真实业务流。研究性能优化深入vLLM和昇腾的配置参数针对具体模型和业务场景进行吞吐量和延迟的调优。实现生产部署研究使用PostgreSQL作为Flowise的数据库配置Nginx反向代理和SSL证书并设置系统服务实现开机自启。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。