从零搭建AI工作站:Gemma3大模型本地部署+WebUI配置全套方案

news2025/7/19 13:40:55

文章目录

    • 前言
    • 1. 安装Ollama
    • 2.Gemma3模型安装与运行
    • 3. 安装Open WebUI图形化界面
      • 3.1 Open WebUI安装运行
      • 3.2 添加模型
      • 3.3 多模态测试
    • 4. 安装内网穿透工具
    • 5. 配置固定公网地址
    • 总结

前言

如今各家的AI大模型厮杀得如火如荼,每天都有新的突破。今天我要给大家安利一款来自谷歌的Gemma3开源大模型。这款模型有10亿、40亿、120亿和270亿参数等多个版本,让你可以根据自己的需求自由选择。

在多项基准测试中,Gemma 3系列的表现相当抢眼,尤其是27B参数的版本更是力压群雄,击败了o1-preview、o3-mini high和DeepSeek V3等强敌。它不仅支持140多种语言,中文表现也十分出色,更令人惊喜的是其强大的多模态能力——能够处理视觉输入并生成文本输出。

接下来,就让我们一起动手,在家用级Windows电脑上安装部署Gemma3:27B大模型,并搭配一个酷炫的WebUI界面,让你与AI互动更加得心应手。

1744091869943

1. 安装Ollama

本例中使用的是Windows11系统专业版,通过Ollama运行Gemma3:27B大模型,之前曾经发布过如何在Windows安装Ollama的教程,有需要的同学可以看看这篇文章:Windows本地部署Deepseek-R1大模型并使用Web界面远程交互

简单来说,就是访问Ollama的官网:Download Ollama on Windows

image-20250408144901346

下载对应版本的ollama安装程序并安装:

image-20250408144936715

2.Gemma3模型安装与运行

然后在Ollama的官网点击Models,可以看到排在最上边的就是Gemma3模型全家桶:

image-20250408145138702

点进去之后,在左侧的下拉选项中能看到目前有4个量级的模型,分别是1b/4b/12b/27b和对应所需的储存空间:

image-20250408145434595

本例使用gemma3:27b模型进行演示,**支持多模态(视觉)**27B 参数模型(128k 上下文窗口),需要准备20G以上硬盘空间,右边是运行命令:

image-20250408145622588

Ollama安装完成之后,打开cmd或者powershell等终端工具,执行命令就可以下载模型了:

ollama run gemma3:27b

PS:默认会下载模型到C盘,如果想修改下载位置,可以在终端中执行下方命令来指定模型文件的存放目录,这里以d:\ollama为例,大家可以自定义:

set OLLAMA_MODELS=d:\ollama

如果你之前安装过ollama,在执行命令后出现如下图提示,那么关闭终端,请先升级ollama到最新版本。

image-20250408153616855

更新后,即可正常下载:

image-20250408154135178

模型下载完成之后,安装成功后会提示success:

image-20250408161835787

自动进入对话状态,直接输入内容就能提问了:

image-20250408150619788

3. 安装Open WebUI图形化界面

现在我们已经能够在本地Windows电脑上使用Gemma3 27B模型解答问题了,但在命令行中对话可能不是很美观,在复制回答时也不太方便,我们可以通过安装一个图形化界面来解决这个问题。

不过在此之前,我们需要配置Ollama的环境变量,在终端中分别执行下方命令以便后续远程调用大模型:

setx OLLAMA_HOST "0.0.0.0"
setx OLLAMA_ORIGINS "*"

然后点击电脑桌面右下角的ollama图标退出并重启服务。

本例以Open WebUI这个图形化界面为例,使用Docker进行安装,它的界面和平时在网页中和其他大模型聊天非常相似。当然,大家也可以选择其他的方式,比如使用page assist浏览器插件,lobechat,cherry studio等。

如果大家之前未安装过Docker,可以参考下方教程进行Docker安装:Docker安装——Linux、Windows、MacOS

3.1 Open WebUI安装运行

访问Open WebUI的github页面: https://github.com/open-webui/open-webui

如果你的Ollama和Open WebUI在同一台主机,执行这行命令在cmd终端中就可以在本地快速进行部署:

image-20240412140749937

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

将上边在Docker中部署Open WebUI的命令复制后粘贴到终端中,回车:

image-20240412144132799

安装完成后,打开Docker Desktop,可以看到Open WebUI的web界面地址为:https://localhost:3000

image-20240412144401182

点击后会在浏览器打开登录界面:

image-20240412144744192

使用自己的邮箱注册账号,密码要记好,下次登录时需要用到:

image-20240412144927140

添加模型后就能在浏览器中使用web界面来和Gemma3 27B模型聊天了!

image-20250408162703645

3.2 添加模型

点击右上角的设置,可以修改当前界面的语言为简体中文:然后点击保存即可。

image-20240412145306289

点击上方选择一个模型旁边的加号+可以增加大模型,点击下拉按钮可以选择当前使用哪一个已安装的模型,这里选择刚才安装的gemma3:27b,接下来就可以愉快的跟大模型在网页中聊天了!

image-20250408162829645

image-20250408164042496

到这里就成功在Windows电脑本地部署了gemma3:27b模型并使用Open WebUI在网页中与AI交互啦。

3.3 多模态测试

现在我们上传一张图片测试一下效果:(点击对话框左侧加号即可上传图片)

image-20250408165103486

确实有点东西,识别物品的效果还是不错的,还给出了一个结论。

再来测试上传一张人物照片给它,让它分析一下拍摄效果并给出优化建议:

image-20250408170901214

1744103447878

感觉似乎分析的也还行,大家感兴趣的话也可以稍后自己部署一下进行测试。

4. 安装内网穿透工具

但如果想实现不在同一网络环境下,也能随时随地在浏览器中使用Open WebUI与本地部署的gemma3:27b大模型在网页中聊天,那就需要借助cpolar内网穿透工具来实现公网访问了!接下来介绍一下如何安装cpolar内网穿透,过程同样非常简单:

首先进入cpolar官网:

cpolar官网地址: https://www.cpolar.com

点击免费使用注册一个账号,并下载最新版本的cpolar:

image-20250307152003085登录成功后,点击下载cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。

image-20240319175308664

cpolar安装成功后,在浏览器上访问http://localhost:9200,使用cpolar账号登录,登录后即可看到配置界面,结下来在WebUI管理界面配置即可。

img

接下来配置一下 Open WebUI 的公网地址:

登录后,点击左侧仪表盘的隧道管理——创建隧道,

  • 隧道名称:gem27(可自定义命名,注意不要与已有的隧道名称重复)
  • 协议:选择 http
  • 本地地址:3000 (本地访问的地址)
  • 域名类型:选择随机域名
  • 地区:选择China Top

1744103682229

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网访问地址,有两种访问方式,一种是http 和https:

image-20250408171521306

使用上面的任意一个公网地址,在手机或任意设备的浏览器进行登录访问,即可成功看到 Open WebUI 界面,这样一个公网地址且可以远程访问就创建好了,使用了cpolar的公网域名,无需自己购买云服务器,即可到随时在线访问Open WebUI来在网页中使用本地部署的gemma3:27b大模型了!

image-20250408171805771

小结

为了方便演示,我们在上边的操作过程中使用cpolar生成的HTTP公网地址隧道,其公网地址是随机生成的。这种随机地址的优势在于建立速度快,可以立即使用。然而,它的缺点是网址是随机生成,这个地址在24小时内会发生随机变化,更适合于临时使用。

如果有长期远程访问Open WebUI使用gemma3:27b模型,或者异地访问与使用其他本地部署的服务的需求,但又不想每天重新配置公网地址,还想让公网地址好看又好记并体验更多功能与更快的带宽,那我推荐大家选择使用固定的二级子域名方式来为Open WebUI配置一个公网地址。

5. 配置固定公网地址

接下来演示如何为其配置固定的HTTP公网地址,该地址不会变化,方便分享给别人长期查看你部署的项目,而无需每天重复修改服务器地址。

配置固定http端口地址需要将cpolar升级到专业版套餐或以上。

登录cpolar官网,点击左侧的预留,选择保留二级子域名,设置一个二级子域名名称,点击保留:

image-20250408171952309

保留成功后复制保留成功的二级子域名的名称:mygem27,大家也可以设置自己喜欢的名称。

image-20250408172009637

返回Cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道:gem27,点击右侧的编辑:

image-20250408172111336

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名:mygem27

点击更新(注意,点击一次更新即可,不需要重复提交)

image-20250408172153785

更新完成后,打开在线隧道列表,可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名:

image-20250408172230906

最后,我们使用上边任意一个固定的公网地址访问,可以看到访问成功,这样一个固定且永久不变的公网地址就设置好了,可以随时随地在公网环境异地在线访问本地部署的Open WebUI来使用gemma3:27b大模型了!

image-20250408172435086

总结

经过简单的测试,这款多模态大模型的表现确实令人惊艳,不仅在性能上表现优异,而且还能在家用级硬件上轻松运行。这无疑大大降低了普通用户接触和使用高端AI技术的门槛。未来,Gemma3的发展潜力无限,让我们拭目以待吧!如果你也对这个项目感兴趣,不妨动手试试看,有任何疑问欢迎随时留言交流,我们共同探讨、一起成长!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2378197.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

贝叶斯优化Transformer融合支持向量机多变量时间序列预测,Matlab实现

贝叶斯优化Transformer融合支持向量机多变量时间序列预测,Matlab实现 目录 贝叶斯优化Transformer融合支持向量机多变量时间序列预测,Matlab实现效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.BO-TransformerSVM多变量时间序列预测&#xff0c…

C++_STL_map与set

1. 关联式容器 在初阶阶段,我们已经接触过STL中的部分容器,比如:vector、list、deque、 forward_list(C11)等,这些容器统称为序列式容器,因为其底层为线性序列的数据结构,里面 存储的是元素本身。那什么是…

项目依赖版本修改

React项目 因UI库无法兼容React19版本,故此降低React版本至18.x (为什么不升级UI库版本,因为没有最新版,而且找不到好的替代品) package.json 先修改package.json文件中你想修改的依赖版本号 "dependencies": { - "react": "^19.1.0", - "…

蚁群算法赋能生鲜配送:MATLAB 实现多约束路径优化

在生鲜农产品配送中,如何平衡运输效率与成本控制始终是行业难题。本文聚焦多目标路径优化,通过 MATLAB 实现蚁群算法,解决包含载重限制、时间窗约束、冷藏货损成本的复杂配送问题。代码完整复现了从数据生成到路径优化的全流程,助…

机器学习与人工智能:NLP分词与文本相似度分析

自然语言处理 你有没有想过,生成式 AI 工具或大型语言模型背后究竟发生了什么?自然语言处理(NLP)是这些工具的核心,它使计算机能够理解人类语言。换句话说,NLP 是连接人类交流和机器(如计算机&…

记录一下seata后端数据库由mariadb10切换到mysql8遇到的SQLException问题

文章目录 前言一、问题记录二、参考帖子三、记录store.db.driverClassName 前言 记录一下seata后端数据库由mariadb10切换到mysql8遇到的SQLException问题。 一、问题记录 17:39:23.709 ERROR --- [ionPool-Create-1134013833] com.alibaba.druid.pool.DruidDataSource : …

CUDA学习笔记

CUDA入门笔记 总览 CUDA是NVIDIA公司对其GPU产品提供的一个编程模型,在2006年提出,近年随着深度学习的广泛应用,CUDA已成为针对加速深度学习算法的并行计算工具。 以下是维基百科的定义:一种专有的并行计算平台和应用程序编程接…

c++ 类的语法3

测试下默认构造函数。demo1&#xff1a; void testClass3() {class Demo { // 没显示提供默认构造函数&#xff0c;会有默认构造函数。public:int x; // 普通成员变量&#xff0c;可默认构造};Demo demo1;//cout << "demo1.x: " << demo1.x << en…

Python 之类型注解

类型注解允许开发者显式地声明变量、函数参数和返回值的类型。但是加不加注解对于程序的运行没任何影响&#xff08;是非强制的&#xff0c;且类型注解不影响运行时行为&#xff09;&#xff0c;属于 有了挺好&#xff0c;没有也行。但是大型项目按照规范添加注解的话&#xff…

【linux】Web服务—搭建nginx+ssl的加密认证web服务器

准备工作 步骤&#xff1a; 一、 新建存储网站数据文件的目录 二、创建一个该目录下的默认页面&#xff0c;index.html 三、使用算法进行加密 四、制作证书 五、编辑配置文件&#xff0c;可以选择修改主配置文件&#xff0c;但是不建议 原因如下&#xff1a; 自定义一个配置文…

基于HTTP头部字段的SQL注入:SQLi-labs第17-20关

前置知识&#xff1a;HTTP头部介绍 HTTP&#xff08;超文本传输协议&#xff09;头部&#xff08;Headers&#xff09;是客户端和服务器在通信时传递的元数据&#xff0c;用于控制请求和响应的行为、传递附加信息或定义内容类型等。它们分为请求头&#xff08;Request Headers&…

实战解析MCP-使用本地的Qwen-2.5模型-AI协议的未来?

文章目录 目录 文章目录 前言 一、MCP是什么&#xff1f; 1.1MCP定义 1.2工作原理 二、为什么要MCP&#xff1f; 2.1 打破碎片化的困局 2.2 实时双向通信&#xff0c;提升交互效率 2.3 提高安全性与数据隐私保护 三、MCP 与 LangChain 的区别 3.1 目标定位不同 3.…

RabbitMQ高级篇-MQ的可靠性

目录 MQ的可靠性 1.如何设置数据持久化 1.1.交换机持久化 1.2.队列持久化 1.3.消息持久化 2.消息持久化 队列持久化&#xff1a; 消息持久化&#xff1a; 3.非消息持久化 非持久化队列&#xff1a; 非持久化消息&#xff1a; 4.消息的存储机制 4.1持久化消息&…

fpga系列 HDL : Microchip FPGA开发软件 Libero Soc 项目仿真示例

新建项目 项目初始界面中创建或导入设计文件&#xff1a; 新建HDL文件 module test (input [3:0] a,input [3:0] b,output reg [3:0] sum,output reg carry_out );always (*) begin{carry_out, sum} a b; endendmodule点击此按钮可进行项目信息的重新…

DeepSearch:WebThinker开启AI搜索研究新纪元!

1&#xff0c;项目简介 WebThinker 是一个深度研究智能体&#xff0c;使 LRMs 能够在推理过程中自主搜索网络、导航网页&#xff0c;并撰写研究报告。这种技术的目标是革命性的&#xff1a;让用户通过简单的查询就能在互联网的海量信息中进行深度搜索、挖掘和整合&#xff0c;从…

springCloud/Alibaba常用中间件之Setinel实现熔断降级

文章目录 SpringCloud Alibaba:依赖版本补充Sentinel:1、下载-运行&#xff1a;Sentinel(1.8.6)下载sentinel&#xff1a;运行&#xff1a;Sentinel <br> 2、流控规则① 公共的测试代码以及需要使用的测试Jmeter①、流控模式1. 直接:2. 并联:3. 链路: ②、流控效果1. 快速…

Deeper and Wider Siamese Networks for Real-Time Visual Tracking

现象&#xff1a; the backbone networks used in Siamese trackers are relatively shallow, such as AlexNet , which does not fully take advantage of the capability of modern deep neural networks. direct replacement of backbones with existing powerful archite…

黑马程序员C++2024版笔记 第0章 C++入门

1.C代码的基础结构 以hello_world代码为例&#xff1a; 预处理指令 #include<iostream> using namespace std; 代码前2行是预处理指令&#xff0c;即代码编译前的准备工作。&#xff08;编译是将源代码转化为可执行程序.exe文件的过程&#xff09; 主函数 主函数是…

foxmail - foxmail 启用超大附件提示密码与帐号不匹配

foxmail 启用超大附件提示密码与帐号不匹配 问题描述 在 foxmail 客户端中&#xff0c;启用超大附件功能&#xff0c;输入了正确的账号&#xff08;邮箱&#xff09;与密码&#xff0c;但是提示密码与帐号不匹配 处理策略 找到 foxmail 客户端目录/Global 目录下的 domain.i…

Crowdfund Insider聚焦:CertiK联创顾荣辉解析Web3.0创新与安全平衡之术

近日&#xff0c;权威金融科技媒体Crowdfund Insider发布报道&#xff0c;聚焦CertiK联合创始人兼CEO顾荣辉教授在Unchained Summit的主题演讲。报道指出&#xff0c;顾教授的观点揭示了Web3.0生态当前面临的挑战&#xff0c;以及合规与技术在推动行业可持续发展中的关键作用。…