K8S中构建双架构镜像-从零到成功

news2025/5/13 7:12:12

背景介绍

公司一个客户的项目使用的全信创的环境，服务器采用arm64的机器，而我们的应用全部是amd64的，于是需要对现在公司流水线进行arm64版本的同步镜像生成。本文介绍从最开始到最终生成双架构的全部过程，以及其中使用的相关配置文件。如果大家有需要请仔细阅读。

环境介绍

K8S 版本:

Client Version: v1.32.3
Kustomize Version: v5.5.0
Server Version: v1.32.3

CICD平台： KubeSphere 4.1.3 (这个平台无关紧要，只有理解思路就可以了)

镜像仓库: Harbor 2.13.0 ，使用私有的域名和自签的证书，这个场景应该是大多数自建harbor的情况，我在自签证书上踩了很多坑，如果有条件的使用授信的CA的证书

思路介绍

  • 运用buildkit 工具进行多架构构建
  • 流水线步骤: 克隆代码 -> 编译代码 -> 构建多架构镜像并推送， 在Dockerfile中判定容器的架构并拷贝不同的应用制品，如果是Java和VUEJS不需要做这个判定。

前置条件

  • 在harbor中已经具备同一个镜像tag，不同的架构的镜像。其中包含： binfmt,buildkit,openeuler(应用运行的基础镜像）

步骤

一 、解决buildkit拉取和上传镜像对证书的不信任

  • 获取自建harbor的ca证书文件
echo -n | openssl s_client -showcerts -connect harbor.easzlab.io.local:443 |   sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > harbor-ca.crt
  • 将harbor 的ca文件添加到buildkit的镜像中,对下面的命令如果有疑虑请参考我的另外一个文章【Docker多架构镜像构建踩坑记】，这个命令会同时构建出来多架构的基础镜像并推送到仓库中
docker buildx build --platform=linux/amd64,linux/arm64 --network host --add-host harbor.wldc.site:10.159.16.5 --build-arg HTTP_PROXY=socks5://10.32.4.150:10808 --build-arg HTTPS_PROXY=socks5://10.32.4.150:10808 --build-arg NO_PROXY=localhost,127.0.0.1,.wldc.site,.wldc.site --build-arg http_proxy=socks5://10.32.4.150:10808 --build-arg https_proxy=socks5://10.32.4.150:10808 --build-arg no_proxy=localhost,127.0.0.1,.wldc.site,.wldc.site --push -t harbor.easzlab.io.local/base/buildkit:v0.21.1 .

Dockerfile 文件

FROM moby/buildkit:v0.21.1
# 安装 ca-certificates
RUN apk add --no-cache ca-certificates git
# 复制证书并更新
COPY harbor-ca.crt /usr/local/share/ca-certificates/harbor.crt
RUN update-ca-certificates
RUN mkdir -p /root/.docker
COPY config.json /root/.docker/config.json #config.json 文件是用于buildkit推送到仓库的认证信息通过docker login 以后就会自动创建~/.docker/config.json ,把这个文件copy到与Dockerfile同一目录

二、初始化K8S worker节点支持多架构

  • 在命令行运行如下yaml
kubectl apply -f binfmt-daemonset.yaml #如果所有的pod都Completed以后可以把这个daemonset删除

#binfmt-daemonset.yaml文件内容
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: binfmt
spec:
  selector:
    matchLabels:
      name: binfmt
  template:
    metadata:
      labels:
        name: binfmt
    spec:
      containers:
        - name: install-binfmt
          image: harbor.easzlab.io.local/base/binfmt:latest
          args: ["--install", "all"]
          securityContext:
            privileged: true  # 必须：允许加载 binfmt_misc
      hostPID: true
      restartPolicy: Never #容器运行以后会成为complete状态，如果再次运行会变成failed状态
      nodeSelector:
        kubernetes.io/os: linux
      tolerations:
        - operator: Exists

三、将新创建的buildkit镜像添加到Jenkins的PodTemplate中

  • 在KubeSphere中找到这个配置文件，namespace: kubesphere-devops-system
    在这里插入图片描述
  • 每一个agent模板中都添加buildkit的容器
    在这里插入图片描述
                - name: "buildkit"
                  image: "harbor.easzlab.io.local/base/buildkit:v0.21.1"
                  command: "sleep"
                  args: "infinity"
                  ttyEnabled: true
                  privileged: true
                  resourceRequestCpu: "500m"
                  resourceLimitCpu: "4000m"
                  resourceRequestMemory: "500Mi"
                  resourceLimitMemory: "8192Mi"
  • 创建buildkit的服务端
kubectl apply -f buildkit-service.yaml -n kubesphere-devops-worker #jenkins流水线启动的pod都在kubesphere-devops-worker 这个空间中，所有服务也创建在这里

buildkit服务文件内容

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: buildkitd
  labels:
    app: buildkitd
spec:
  replicas: 1
  selector:
    matchLabels:
      app: buildkitd
  template:
    metadata:
      labels:
        app: buildkitd
    spec:
      hostAliases:
        - ip: "10.159.16.5"
          hostnames:
            - "harbor.easzlab.io.local"
      containers:
        - name: buildkitd
          image: harbor.easzlab.io.local/base/buildkit:v0.21.1
          imagePullPolicy: Always
          args:
            - --addr
            - unix:///run/buildkit/buildkitd.sock
            - --addr
            - tcp://0.0.0.0:1234
          ports:
            - containerPort: 1234
          readinessProbe:
            exec:
              command:
                - buildctl
                - debug
                - workers
            initialDelaySeconds: 5
            periodSeconds: 30
          livenessProbe:
            exec:
              command:
                - buildctl
                - debug
                - workers
            initialDelaySeconds: 5
            periodSeconds: 30
          securityContext:
            privileged: true
---

apiVersion: v1
kind: Service
metadata:
  name: buildkitd
  labels:
    app: buildkitd
spec:
  selector:
    app: buildkitd
  ports:
    - name: tcp
      port: 1234
      targetPort: 1234
      protocol: TCP
  • 调整流水线的jenkins文件，把之前docker build 和docker push的步骤替换成为buildctl方式，其中一个golang的应用的jenkins文件如下(如果是java的应用不存在判定架构，直接jar包运行在不同的jvm上就可以)：
    在这里插入图片描述
pipeline {
  agent {
    node {
      label 'go'  //使用golang的agent，这个agent里面定义了4个容器，分别是base,buildkit,go,jnlp
    }

  }
  stages {
    stage('clone code') {
      agent none
      steps {
        //使base容器把代码拉取到jenkins的cicd worker pod中
        container('base') {
          git(url: 'https://git.abc.cn/background/openapi/openapi-front-api.git', credentialsId: 'tenxcloud', branch: '$BRANCH_NAME', changelog: true, poll: false)
        }

      }
    }

    stage('代码编译') {
      agent none
      steps {
      // 使用golang的容器把二进制制品制作出来
        container('go') {
          sh '''export GO111MODULE=on
go env -w GOPROXY=http://10.159.1.2:8081/repository/gogroup/,direct
#打包amd64的制品
GOOS=linux 
GOARCH=amd64
go build -mod=vendor -a -v -o app-amd64 main.go
#打包arm64的制品
GOOS=linux 
GOARCH=arm64
go build -mod=vendor -a -v -o app-arm64 main.go'''
        }

      }
    }

    stage('构建镜像并上传') {
      agent none
      steps {
        //使用buildkit 容器构建双架构镜像
        container('buildkit') {
          withCredentials([usernamePassword(credentialsId: 'harbor', passwordVariable: 'DOCKER_PASSWORD', usernameVariable: 'DOCKER_USERNAME')]) {
            sh '''
 # 生成Dockerfile文件，这个地方需要注意一下命令里面的单引号，双引号和各种转义符，我踩了比较多的坑
tee Dockerfile <<-'EOF'
FROM harbor.easzlab.io.local/base/openeuler:24.03-lts
ARG TARGETARCH
COPY ./app-amd64 /app/app-amd64
COPY ./app-arm64 /app/app-arm64
RUN if [ "\$TARGETARCH" = "amd64" ]; then \
      mv /app/app-amd64 /app/app; \
      rm -f  /app/app-arm64; \
    elif [ "\$TARGETARCH" = "arm64" ]; then \
      mv /app/app-arm64 /app/app; \
      rm -f  /app/app-amd64; \
    else \
      echo "Unsupported arch: \$TARGETARCH"; \
      exit -1; \
    fi

COPY yml /app/yml
WORKDIR /app
RUN chmod +x /app/app
CMD ["/app/app"]
EOF

BUILD_TIME=`date +%Y%m%d%H%M%S`
buildctl --addr tcp://buildkitd.kubesphere-devops-worker:1234 build \
--frontend=dockerfile.v0 \
--local context=. \
--local dockerfile=. \
--opt platform=linux/amd64,linux/arm64 \
--output type=image,name=$REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-${BUILD_TIME}-$BUILD_NUMBER,push=true
'''
          }

        }

      }
    }

  }
  environment {
    DOCKER_CREDENTIAL_ID = 'dockerhub'
    KUBECONFIG_CREDENTIAL_ID = 'kubeconfig'
    REGISTRY = 'harbor.easzlab.io.local'
    DOCKERHUB_NAMESPACE = 'release'
    APP_NAME = 'openapi-front-api'
    SONAR_CREDENTIAL_ID = 'sonar-token'
    BUILD_TIME = ''
  }
  parameters {
    string(name: 'BRANCH_NAME', defaultValue: 'master', description: '')
  }
}
  • 运行流水线，检验多架构的镜像是否上次成功
    在这里插入图片描述
  • 验证多架构镜像,同一个tag，不同得架构都可以拉取成功。
    在这里插入图片描述
    PS： 如有疑问可以仔细看一下整篇文章。如果还是有问题，私信给我，我看到就会回复。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2374484.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

c语言第一个小游戏：贪吃蛇小游戏03

c语言第一个小游戏：贪吃蛇小游戏03

我们为贪吃蛇的节点设置为一个结构体&#xff0c;构成贪吃蛇的身子的话我们使用链表&#xff0c;链表的每一个节点是一个结构体 显示贪吃蛇身子的一个节点 我们这边node就表示一个蛇的身体 就是一小节 输出结果如下 显示贪吃蛇完整身子 效果如下 代码实现 这个hasSnakeNode(…
阅读更多...
​​​​​​​大规模预训练范式（Large-scale Pre-training）

​​​​​​​大规模预训练范式（Large-scale Pre-training）

大规模预训练指在巨量无标注数据上&#xff0c;通过自监督学习训练大参数量的基础模型&#xff0c;使其具备通用的表征与推理能力。其重要作用如下&#xff1a; 一 跨任务泛化 单一模型可在微调后处理多种NLP&#xff08;自然语言处理&#xff09;、CV&#xff08;计算机视觉…
阅读更多...
WPF之高级绑定技术

WPF之高级绑定技术

文章目录 引言多重绑定&#xff08;MultiBinding&#xff09;基本概念实现自定义IMultiValueConverterMultiBinding在XAML中的应用示例使用StringFormat简化MultiBinding 优先级绑定&#xff08;PriorityBinding&#xff09;基本概念PriorityBinding示例实现PriorityBinding的后…
阅读更多...
调出事件查看器界面的4种方法

调出事件查看器界面的4种方法

方法1. 方法2. 方法3. 方法4.
阅读更多...
使用vite重构vue-cli的vue3项目

使用vite重构vue-cli的vue3项目

一、修改依赖 首先修改 package.json&#xff0c;修改启动方式与相应依赖 移除vue-cli并下载vite相关依赖&#xff0c;注意一些peerDependency如fast-glob需要手动下载 # 移除 vue-cli 相关依赖 npm remove vue/cli-plugin-babel vue/cli-plugin-eslint vue/cli-plugin-rout…
阅读更多...
数据治理域——数据治理体系建设

数据治理域——数据治理体系建设

摘要 本文主要介绍了数据治理系统的建设。数据治理对企业至关重要&#xff0c;其动因包括应对数据爆炸增长、提升内部管理效率、支撑复杂业务需求、加强风险防控与合规管理以及实现数字化转型战略。其核心目的是提升数据质量、统一数据标准、优化数据资产管理、支撑业务发展和…
阅读更多...
onGAU：简化的生成式 AI UI界面，一个非常简单的 AI 图像生成器 UI 界面，使用 Dear PyGui 和 Diffusers 构建。

onGAU：简化的生成式 AI UI界面，一个非常简单的 AI 图像生成器 UI 界面，使用 Dear PyGui 和 Diffusers 构建。

​一、软件介绍 文末提供程序和源码下载 onGAU&#xff1a;简化的生成式 AI UI界面开源程序&#xff0c;一个非常简单的 AI 图像生成器 UI 界面&#xff0c;使用 Dear PyGui 和 Diffusers 构建。 二、Installation 安装 文末下载后解压缩 Run install.py with python to setup…
阅读更多...
【第52节】Windows编程必学之从零手写C++调试器下篇(仿ollydbg)

【第52节】Windows编程必学之从零手写C++调试器下篇(仿ollydbg)

目录 一、引言 二、调试器核心功能设计与实现 三、断点功能 四、高级功能 五、附加功能 六、开发环境与实现概要 七、项目展示及完整代码参考 八、总结 一、引言 在软件开发领域&#xff0c;调试器是开发者不可或缺的工具。它不仅能帮助定位代码中的逻辑错误&#xff0…
阅读更多...
uni-app学习笔记五--vue3插值表达式的使用

uni-app学习笔记五--vue3插值表达式的使用

vue3快速上手导航&#xff1a;简介 | Vue.js 模板语法 插值表达式 最基本的数据绑定形式是文本插值&#xff0c;它使用的是“Mustache”语法 (即双大括号)&#xff1a; <span>Message: {{ msg }}</span> 双大括号标签会被替换为相应组件实例中 msg 属性的值。同…
阅读更多...
C++类与对象（二）：六个默认构造函数（一）

C++类与对象（二）：六个默认构造函数（一）

在学C语言时&#xff0c;实现栈和队列时容易忘记初始化和销毁&#xff0c;就会造成内存泄漏。而在C的类中我们忘记写初始化和销毁函数时&#xff0c;编译器会自动生成构造函数和析构函数&#xff0c;对应的初始化和在对象生命周期结束时清理资源。那是什么是默认构造函数呢&…
阅读更多...
从逻辑学视角探索数学在数据科学中的系统应用：一个整合框架

从逻辑学视角探索数学在数据科学中的系统应用：一个整合框架

声明&#xff1a;一家之言&#xff0c;看个乐子就行。 图表采用了两个维度组织知识结构&#xff1a; 垂直维度&#xff1a;从上到下展示了知识的抽象到具体的演进过程&#xff0c;分为四个主要层级&#xff1a; 逻辑学基础 - 包括数理逻辑框架和证明理论数学基础结构 - 涵盖…
阅读更多...
Matplotlib 完全指南：从入门到精通

Matplotlib 完全指南：从入门到精通

前言 Matplotlib 是 Python 中最基础、最强大的数据可视化库之一。无论你是数据分析师、数据科学家还是研究人员&#xff0c;掌握 Matplotlib 都是必不可少的技能。本文将带你从零开始学习 Matplotlib&#xff0c;帮助你掌握各种图表的绘制方法和高级技巧。 目录 Matplotli…
阅读更多...
如何有效追踪需求的实现情况

如何有效追踪需求的实现情况

有效追踪需求实现情况&#xff0c;需要清晰的需求定义、高效的需求跟踪工具、持续的沟通反馈机制&#xff0c;其中高效的需求跟踪工具尤为关键。 使用需求跟踪工具能确保需求实现进度可视化、提高团队协作效率&#xff0c;并帮助识别和管理潜在风险。例如&#xff0c;使用专业的…
阅读更多...
自动驾驶技术栈——DoIP通信协议

自动驾驶技术栈——DoIP通信协议

一、DoIP协议简介 DoIP&#xff0c;英文全称是Diagnostic communication over Internet Protocol&#xff0c;是一种基于因特网的诊断通信协议。 DoIP协议基于TCP/IP等网络协议实现了车辆电子控制单元(ECU)与诊断应用程序之间的通信&#xff0c;常用于汽车行业的远程诊断、远…
阅读更多...
C++ 与 Go、Rust、C#：基于实践场景的语言特性对比

C++ 与 Go、Rust、C#：基于实践场景的语言特性对比

目录 ​编辑 一、语法特性对比 1.1 变量声明与数据类型 1.2 函数与控制流 1.3 面向对象特性 二、性能表现对比​编辑 2.1 基准测试数据 在计算密集型任务&#xff08;如 10⁷ 次加法运算&#xff09;中&#xff1a; 在内存分配测试&#xff08;10⁵ 次对象创建&#xf…
阅读更多...
如何更改默认字体：ONLYOFFICE 协作空间、桌面编辑器、文档测试示例

如何更改默认字体：ONLYOFFICE 协作空间、桌面编辑器、文档测试示例

在处理办公文件时&#xff0c;字体对提升用户体验至关重要。本文将逐步指导您如何在 ONLYOFFICE 协作空间、桌面应用及文档测试示例中自定义默认字体&#xff0c;以满足个性化需求&#xff0c;更好地掌控文档样式。 关于 ONLYOFFICE ONLYOFFICE 是一个国际开源项目&#xff0c…
阅读更多...
设计模式之工厂模式(二)：实际案例

设计模式之工厂模式(二)：实际案例

设计模式之工厂模式(一) 在阅读Qt网络部分源码时候&#xff0c;发现在某处运用了工厂模式&#xff0c;而且编程技巧也用的好&#xff0c;于是就想分享出来&#xff0c;供大家参考&#xff0c;理解的不对的地方请多多指点。 以下是我整理出来的类图&#xff1a; 关键说明&#x…
阅读更多...
基于VeRL源码深度拆解字节Seed的DAPO

基于VeRL源码深度拆解字节Seed的DAPO

1. 背景与现状&#xff1a;从PPO到GRPO的技术演进 1.1 PPO算法的基础与局限 Proximal Policy Optimization&#xff08;PPO&#xff09;作为当前强化学习领域的主流算法&#xff0c;通过重要性采样比率剪裁机制将策略更新限制在先前策略的近端区域内&#xff0c;构建了稳定的…
阅读更多...
zst-2001 历年真题 软件工程

zst-2001 历年真题 软件工程

软件工程 - 第1题 b 软件工程 - 第2题 c 软件工程 - 第3题 c 软件工程 - 第4题 b 软件工程 - 第5题 b 软件工程 - 第6题 0.未完成&#xff1a;未执行未得到目标。1.已执行&#xff1a;输入-输出实现支持2.已管理&#xff1a;过程制度化&#xff0c;项目遵…
阅读更多...
基于WSL用MSVC编译ffmpeg7.1

基于WSL用MSVC编译ffmpeg7.1

在windows平台编译FFmpeg&#xff0c;网上的大部分资料都是推荐用msys2mingw进行编译。在win10平台&#xff0c;我们可以采用另一种方式&#xff0c;即wslmsvc 实现window平台的ffmpeg编译。 下面将以vs2022ubuntu22.04 为例&#xff0c;介绍此方法 0、前期准备 安装vs2022 &…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023