借助 Keras 3 轻松上手 Gemma 模型

news2025/6/24 6:26:28

62a5ae53537f4cf8a219238800af8d40.png

作者 / Keras 产品经理 Martin Görner

Keras 团队非常高兴地宣布，KerasNLP 集合现已支持 Gemma！Gemma 是先进的轻量级开放模型系列，采用了与构建 Gemini 模型相同的研究和技术。借助 Keras 3，Gemma 可以在 JAX、PyTorch 和 TensorFlow 上运行。在此版本中，Keras 还推出了专为大语言模型 (LLM) 而设计的几项新功能: 新的 LoRA API (低秩适应) 和大规模模型并行训练能力。

  • KerasNLP

    https://keras.io/api/keras_nlp/

  • Gemma

    http://ai.google.dev/gemma

  • Keras 3

    https://keras.io/keras_3/

  • 模型并行训练

    https://keras.io/guides/distribution/

您可以访问以下页面，直接深入了解代码示例: 

  • Gemma 模型入门指南

  • 使用 LoRA 微调 Gemma 模型

  • 在多个 GPU/TPU 上微调 Gemma 模型

  • Gemma 模型入门指南

    https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/get_started.ipynb

  • 使用 LoRA 微调 Gemma 模型

    https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynb

  • 在多个 GPU/TPU 上微调 Gemma 模型

    https://www.kaggle.com/code/nilaychauhan/keras-gemma-distributed-finetuning-and-inference

开始了解

Gemma 模型有便携式的 2B 和 7B 两种权重规模。与同类开放模型，甚至一些更大的开放模型相比，Gemma 模型具有显著优势。例如:

  • 在 MMLU 语言理解基准测试中，Gemma 7B 的答题正确率为 64.3% (相比之下，Mistral-7B 为 62.5%，Llama2-13B 为 54.8%)，创下同类最佳成绩记录

  • Gemma 将小学数学问题 GSM8K 基准分数记录提升了至少 11 个百分点 (Gemma 7B 为 46.4%，Mistral-7B 为 35.4%，Llama2-13B 为 28.7%)

  • Gemma 将编码挑战 HumanEval 的答题正确率记录提升了至少 6.1 个百分点 (Gemma 7B 为 32.3%，Mistral 7B 为 26.2%，Llama2 13B 为 18.3%)

  • 具有显著优势

    https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf

Gemma 模型提供了大家熟悉的 KerasNLP API 和易读性极高的 Keras 实现。您只需使用一行代码，便可以实例化模型。代码如下所示:

gemma_lm = keras_nlp.models.GemmaCausalLM.from_preset("gemma_2b_en")

然后直接在文本提示上运行模型。标记化是内置的，但您也可以根据需要轻松地将模型拆分出来。欢迎您阅读 Keras NLP 指南，了解如何操作。

gemma_lm.generate("Keras is a", max_length=32)
> "Keras is a popular deep learning framework for neural networks..."

  • Keras NLP 指南

    https://keras.io/guides/keras_nlp/getting_started/

欢迎您立即尝试: Gemma 模型入门指南

https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/get_started.ipynb

使用 LoRA 微调 Gemma 模型

得益于 Keras 3，您可以自由选择运行模型的后端。切换方式如下: 

os.environ["KERAS_BACKEND"] = "jax"  # Or "tensorflow" or "torch".
import keras # import keras after having selected the backend

Keras 3 引入了多项专为大语言模型 (LLM) 而设计的新功能，其中最主要的功能是一个用于高效微调参数的新 LoRA API (低秩适应)。该功能的激活方式如下: 

gemma_lm.backbone.enable_lora(rank=4)
# Note: rank=4 replaces the weights matrix of relevant layers with the 
# product AxB of two matrices of rank 4, which reduces the number of 
# trainable parameters.

这行代码将可训练参数的数量从 25 亿减少到 130 万！

立即尝试: 使用 LoRA 微调 Gemma 模型

https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynb

在多个 GPU/TPU 上微调 Gemma 模型

Keras 3 还支持大规模模型训练，而 Gemma 是尝试这类训练的理想模型。新的 Keras 分发 API 提供数据并行和模型并行两种分布式训练选项。这个新的 API 的设计初衷在于实现多后端兼容，但目前仅针对 JAX 后端实现，因为其可扩展性已被验证 (Gemma 模型就是使用 JAX 进行训练的)。

  • Keras 分发 API

    https://keras.io/guides/distribution/

采用分布式设置对更大的 Gemma 7B 模型进行微调是非常有用的，例如在 Kaggle 上可以免费获得的具有 8 个 TPU 核心的 TPUv3，或 Google Cloud 上的 8-GPU 机器。以下是使用模型并行形式配置模型，从而实现分布式训练的方法: 

device_mesh = keras.distribution.DeviceMesh(
   (1, 8), # Mesh topology
   ["batch", "model"], # named mesh axes
   devices=keras.distribution.list_devices() # actual accelerators
)




# Model config
layout_map = keras.distribution.LayoutMap(device_mesh)
layout_map["token_embedding/embeddings"] = (None, "model")
layout_map["decoder_block.*attention.*(query|key|value).*kernel"] = (
   None, "model", None)
layout_map["decoder_block.*attention_output.*kernel"] = (
   None, None, "model")
layout_map["decoder_block.*ffw_gating.*kernel"] = ("model", None)
layout_map["decoder_block.*ffw_linear.*kernel"] = (None, "model")




# Set the model config and load the model
model_parallel = keras.distribution.ModelParallel(
   device_mesh, layout_map, batch_dim_name="batch")
keras.distribution.set_distribution(model_parallel)
gemma_lm = keras_nlp.models.GemmaCausalLM.from_preset("gemma_7b_en")
# Ready: you can now train with model.fit() or generate text with generate()

此代码段的作用是将 8 个加速器设置为一个 1 x 8 矩阵，其中的两个维度分别被称为 "批处理 (batch)" 和 "模型 (model)"。模型权重在 "模型" 维度上进行分片 (shard)，即在这 8 个加速器之间进行分割。而由于 "批处理" 维度为 1，所以数据批处理不会被分区。

立即尝试: 在多个 GPU/TPU 上微调 Gemma 模型

https://www.kaggle.com/code/nilaychauhan/keras-gemma-distributed-finetuning-and-inference

未来计划

我们即将发布一份指南，向您介绍如何正确地对 Transformer 模型进行分区并编写上述 6 行关于分区设置的代码。欢迎您持续关注我们的最新动态。

您可能已注意到，层的分区是通过层名称上的正则表达式定义的。您可以使用以下代码段查看层名称。我们运行此代码段来构建前文提到的 LayoutMap。

# This is for the first Transformer block only,
# but they all have the same structure
tlayer = gemma_lm.backbone.get_layer('decoder_block_0')
for variable in tlayer.weights:
 print(f'{variable.path:<58}  {str(variable.shape):<16}')

这里只需一些分区提示，完整的 GSPMD 模型并行处理就可以运行，这是因为 Keras 将这些设置传递给功能强大的 XLA 编译器，该编译器会计算出分布式计算的所有其他详细信息。

  • GSPMD

    https://arxiv.org/abs/2105.04663

  • XLA 编译器

    https://github.com/openxla/xla

我们希望您拥有愉快的 Gemma 模型使用之旅，也希望这份指令微调教程能对您有所帮助。Kaggle 模型中心现已支持用户上传自己微调的权重 (Weights)，您可以前往 Kaggle 上的 Gemma 模型页面，与社区分享微调后的权重 (Weights)，或者查看其他用户创建的内容！

  • 指令微调教程

    https://ai.google.dev/gemma/docs/lora_tuning

  • Gemma 模型页面

    https://www.kaggle.com/models/google/gemma

eae82ae587a67dbf1c71441f04700493.png

dc8997c97f044002db6d1219b56835d9.png

174083cfb5546b003c23374903ee9015.png

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1584442.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【MySQL数据库 | 第二十四篇】Limit语句的性能问题和调优策略

【MySQL数据库 | 第二十四篇】Limit语句的性能问题和调优策略

前言&#xff1a; MySQL作为最流行的关系型数据库管理系统之一&#xff0c;被广泛应用于各种规模和类型的应用程序中。其强大的功能和灵活的查询语言使得开发人员能够高效地执行各种数据操作和分析。 然而&#xff0c;在处理大量数据或复杂查询时&#xff0c;一些开发人员可能…
阅读更多...
【QT+QGIS跨平台编译】175：【QGIS_App跨平台编译】—【错误处理：未定义的class APP_EXPORT】

【QT+QGIS跨平台编译】175：【QGIS_App跨平台编译】—【错误处理：未定义的class APP_EXPORT】

点击查看专栏目录 文章目录 一、未定义的class APP_EXPORT二、错误处理 一、未定义的class APP_EXPORT 报错信息&#xff1a; 二、错误处理 第18行增加&#xff1a; #include "qgis_app.h"
阅读更多...
【MYSQL锁】透彻地理解MYSQL锁

【MYSQL锁】透彻地理解MYSQL锁

&#x1f525;作者主页&#xff1a;小林同学的学习笔录 &#x1f525;mysql专栏&#xff1a;小林同学的专栏 目录 1.锁 1.1 概述 1.2 全局锁 1.2.1 语法 1.2.1.1 加全局锁 1.2.1.2 数据备份 1.2.1.3 释放锁 1.2.1.4 特点 1.2.1.5 演示 1.3 表级锁 1.3.1 介绍 …
阅读更多...
区块链：开启信任的新时代

区块链：开启信任的新时代

区块链是一种基于去中心化、分布式的数据存储、传输、记录和验证的数据库技术。它通过一串使用密码学算法链接起来的区块&#xff0c;形成了一个公开透明、不可篡改的数据记录系统。 区块链技术的核心特点就是去中心化。在传统的中心化系统中&#xff0c;数据存储和记录往往由…
阅读更多...
正则表达式 速成

正则表达式 速成

正则表达式的作用 正则表达式&#xff0c;又称规则表达式,&#xff08;Regular Expression&#xff0c;在代码中常简写为regex、regexp或RE&#xff09;&#xff0c;是一种文本模式&#xff0c;包括普通字符&#xff08;例如&#xff0c;a 到 z 之间的字母&#xff09;和特殊字…
阅读更多...
蓝桥杯嵌入式速成

蓝桥杯嵌入式速成

蓝桥杯嵌入式速成 cubmx创建工程利用官方提供的LCD代码创建工程&#xff08;15届不能用&#xff09;利用官方提供的LCD代码创建工程&#xff08;15届能用&#xff09;Keil配置头文件注意其他注意 LED闪烁 按键短按长按双击 LCD高亮行高亮字符 RTCADCI2Cuart接收发送 PWMDAC定时…
阅读更多...
c++的学习之路：22、多态（1）

c++的学习之路：22、多态（1）

摘要 本章主要是说一些多态的开头。 目录 摘要 一、多态的概念 二、多态的定义及实现 2.1、多态的构成条件 2.2、虚函数 2.3、虚函数的重写 2.4、C11 override 和 final 2.5、重载、覆盖(重写)、隐藏(重定义)的对比 三、思维导图 一、多态的概念 多态的概念&#…
阅读更多...
ELK 企业级日志分析系统 简单介绍

ELK 企业级日志分析系统 简单介绍

目录 一 ELK 简介 1&#xff0c; elk 是什么 2&#xff0c;elk 架构图 3&#xff0c;elk 日志处理步骤 二 Elasticsearch 简介 1&#xff0c; Elasticsearch 是什么 2&#xff0c; Elasticsearch 的核心概念 3&#xff0c; Elasticsearch 的原理 三 Logstas…
阅读更多...
遥感图像处理：从畸变消除到专题信息提取

遥感图像处理：从畸变消除到专题信息提取

​ ​ ​在遥感技术的应用中&#xff0c;图像处理是不可或缺的关键步骤。从消除各种辐射畸变和几何畸变&#xff0c;到利用增强技术突出景物的光谱和空间特征&#xff0c;再到进一步理解、分析和判别处理后的图像&#xff0c;这一过程为我们呈现了一幅幅更为真实、清晰的…
阅读更多...
uniapp区分app、h5、小程序

uniapp区分app、h5、小程序

APP端 标签内 <!-- #ifdef APP-PLUS --><view> APP端 </view> <!-- #endif --> JSCSS内 /*#ifdef APP-PLUS*/console.log(APP端) /*#endif*/ H5端 标签内 <!-- #ifdef H5 --><view> H5端 </view> <!-- #endif --> JSC…
阅读更多...
网盘——登录跳转

网盘——登录跳转

在界面设计这块&#xff0c;当登录界面上输入的账号和密码都正确的情况下&#xff0c;直接跳转到好友界面&#xff0c;否则不跳转 1、在opewidget.h里面定义一个单例模式 static OpeWidget &getInstance(); 2、添加定义 产生一个静态的操作界面的对象。操作界面这个对象他…
阅读更多...
MapTracker：Tracking with Strided Memory Fusion for Consistent Vector HD Mapping

MapTracker：Tracking with Strided Memory Fusion for Consistent Vector HD Mapping

参考代码&#xff1a;MapTracker 动机与出发点 为了提升帧间检测的稳定性通常会添加时许信息&#xff0c;这个可以BEV特征处做时序融合&#xff0c;也可以是用当前帧query去cross-attn历史帧信息&#xff0c;则更多的时候是将之前帧信息与当前做融合或者cross-attn实现信息传…
阅读更多...
ReLU Strikes Back: Exploiting Activation Sparsity in Large Language Models

ReLU Strikes Back: Exploiting Activation Sparsity in Large Language Models

iclr 2024 oral reviewer 评分 688 1 intro 目前LLM社区中通常使用GELU和SiLU来作为替代激活函数&#xff0c;它们在某些情况下可以提高LLM的预测准确率 但从节省模型计算量的角度考虑&#xff0c;论文认为经典的ReLU函数对模型收敛和性能的影响可以忽略不计&#xff0c;同时…
阅读更多...
亚信安慧AntDB-T数据库重分布的实现原理

亚信安慧AntDB-T数据库重分布的实现原理

摘要&#xff1a; 亚信安慧AntDB-T是一款通用企业级、高可用、高性能的原生分布式关系型数据库&#xff0c;具有多种分片方式。在数据库的使用过程中&#xff0c;随着数据的变更和增长&#xff0c;需要重新修改表的分片方式。 AntDB-T数据库支持重分布命令&#xff0c;在内核…
阅读更多...
如何在极狐GitLab 启用依赖代理功能

如何在极狐GitLab 启用依赖代理功能

本文作者&#xff1a;徐晓伟 GitLab 是一个全球知名的一体化 DevOps 平台&#xff0c;很多人都通过私有化部署 GitLab 来进行源代码托管。极狐GitLab 是 GitLab 在中国的发行版&#xff0c;专门为中国程序员服务。可以一键式部署极狐GitLab。 本文主要讲述了如何在[极狐GitLab…
阅读更多...
【测试开发学习历程】python面向对象

【测试开发学习历程】python面向对象

1 面向对象的基本概念 面向对象&#xff1a;是把构成问题事务分解成各个对象&#xff0c;建立对象的目的不是为了完成一个步骤&#xff0c;而是为了描叙某个事物在整个解决问题的步骤中的行为。 怎么理解面向对象&#xff1f; 面向对象是一种编程思想&#xff0c;就是把要解决…
阅读更多...
Substance 3D2024版 下载地址及安装教程

Substance 3D2024版 下载地址及安装教程

Substance 3D是Adobe公司推出的一套全面的3D设计和创作工具集合&#xff0c;用于创建高质量的3D资产、纹理和材质。 Substance 3D包括多个功能强大的软件和服务&#xff0c;如Substance 3D Painter、Substance 3D Designer和Substance 3D Sampler等。这些工具提供了广泛的功能…
阅读更多...
了解大语言模型的参数高效微调（Parameter-Effcient Fine-Tuning）

了解大语言模型的参数高效微调（Parameter-Effcient Fine-Tuning）

&#x1f349; CSDN 叶庭云&#xff1a;https://yetingyun.blog.csdn.net/ 大语言模型在众多应用领域实现了突破性的进步&#xff0c;显著提升了各种任务的完成度。然而&#xff0c;其庞大的规模也带来了高昂的计算成本。这些模型往往包含数十亿甚至上千亿参数&#xff0c;需要…
阅读更多...
VRRP虚拟路由实验（华为）

VRRP虚拟路由实验（华为）

思科设备参考&#xff1a;VRRP虚拟路由实验&#xff08;思科&#xff09; 一&#xff0c;技术简介 VRRP&#xff08;Virtual Router Redundancy Protocol&#xff09;是一种网络协议&#xff0c;用于实现路由器冗余&#xff0c;提高网络可靠性和容错能力。VRRP允许多台路由器…
阅读更多...
vue商城项目vue shop vite

vue商城项目vue shop vite

Vue Shop 是一个基于 Vue.js 框架构建的电子商务平台&#xff0c;它利用了 Vue 的响应式数据绑定和组件化的特点&#xff0c;为用户提供了一种快速开发和部署在线商店的解决方案。Vite 是一种现代化的前端构建工具&#xff0c;它提供了快速的冷启动、即时模块热更新&#xff08…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023