Lychee-Rerank快速部署GitHub Actions自动构建阿里云ACR镜像托管方案你是不是也遇到过这样的烦恼面对一堆文档想快速找出和某个问题最相关的那几篇手动筛选费时费力用在线API又担心数据隐私。今天我要分享一个纯本地的解决方案——Lychee-Rerank相关性评分工具并且教你如何用GitHub Actions自动构建再托管到阿里云ACR镜像仓库实现一套自动化、安全、高效的部署流程。简单来说这个工具能帮你做一件事你给它一个问题比如“如何快速部署AI模型”和一堆候选文档它能自动给每篇文档打分告诉你哪些文档和你的问题最相关。整个过程完全在本地运行数据不出你的服务器安全又省心。下面我就带你从零开始一步步搭建这套系统。1. 项目核心Lychee-Rerank工具是什么在深入部署之前我们先搞清楚我们要部署的到底是什么。Lychee-Rerank是一个专门用于“查询-文档”相关性打分的工具。想象一下这个场景你有一个内部知识库里面存放了几百篇技术文档。当同事问你一个具体的技术问题时你不需要手动去翻找只需要把问题抛给这个工具并指定知识库里的文档作为候选集它就能在几秒钟内告诉你哪几篇文档最能解答这个问题并且用分数0到1之间量化它们的相关程度。它的核心工作原理很巧妙输入你需要提供三样东西。指令告诉模型这次打分要遵循什么规则。比如“请判断以下文档是否与查询问题相关”。查询就是你的问题比如“Python中如何高效处理大型CSV文件”候选文档集一个列表里面包含所有待评分的文档内容。处理工具会基于一个轻量级的语言模型我们这里用的是Qwen2.5-1.5B按照特定的格式将指令、查询和每个文档组合起来让模型做一个二分类判断这个文档是否相关答案是“是”或“否”。输出模型不是直接输出“是”或“否”而是输出它认为“是”的概率。这个概率值就是该文档的相关性分数。最后所有文档会按照这个分数从高到低排序给你。这个方案最大的几个优势纯本地推理所有计算都在你的机器上完成不需要连接任何外部API彻底杜绝了数据泄露的风险。无使用限制不像很多云服务有调用次数或并发限制你可以随心所欲地使用。可视化结果通过一个简洁的Web界面结果不仅有序排列还会用绿色高相关、橙色中相关、红色低相关直观标记并配有进度条一眼就能看出质量分布。接下来我们就看看如何让这个好用的工具搭配上自动化的“流水线”。2. 环境准备与项目结构在开始自动化部署之前我们需要在本地准备好项目的“原材料”。这里假设你已经在本地开发并测试好了Lychee-Rerank应用。2.1 核心文件清单一个典型的可部署项目至少包含以下文件lychee-rerank-project/ ├── app.py # 主应用文件例如使用Streamlit构建的Web界面 ├── rerank_model.py # 核心的模型加载与推理逻辑 ├── requirements.txt # Python依赖包列表 ├── Dockerfile # 定义如何构建Docker镜像 ├── .github/workflows/ # GitHub Actions 自动化工作流配置后续创建 │ └── build-and-push.yml └── README.md # 项目说明文档2.2 编写关键的DockerfileDockerfile是构建镜像的“食谱”它决定了最终镜像里包含什么。一个针对AI模型应用的Dockerfile需要特别注意模型文件的处理和运行环境的配置。# 使用一个包含CUDA和Python的轻量级基础镜像以支持GPU推理 FROM nvcr.io/nvidia/pytorch:23.10-py3 # 设置工作目录 WORKDIR /app # 复制依赖列表并安装 COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 复制应用代码 COPY . . # 下载或准备模型文件这里假设模型文件通过其他方式存入镜像或运行时下载 # 示例如果模型文件在项目内直接COPY # COPY ./models ./models # 暴露Streamlit默认端口 EXPOSE 8501 # 设置健康检查可选 HEALTHCHECK --interval30s --timeout3s --start-period5s --retries3 \ CMD python -c import requests; requests.get(http://localhost:8501/_stcore/health) || exit 1 # 启动命令 CMD [streamlit, run, app.py, --server.port8501, --server.address0.0.0.0]关键点说明基础镜像选择我们选择了NVIDIA官方维护的PyTorch镜像它预装了CUDA和PyTorch省去了复杂的环境配置。如果你只用CPU可以选择更小的python:3.10-slim镜像。依赖安装使用国内镜像源如清华源可以加速下载。模型处理对于Qwen2.5-1.5B这样的大模型直接打包进镜像会导致镜像体积巨大可能超过10GB。更优的做法是将模型文件单独存储在云存储如阿里云OSS中。在容器启动时通过启动脚本再从OSS下载到容器内的本地目录。这样镜像本身很小便于分发和更新。健康检查这是一个好习惯让容器编排平台如Kubernetes能知道你的应用是否健康运行。3. 使用GitHub Actions实现自动构建手动构建镜像、打标签、推送到仓库太麻烦了。GitHub Actions可以让你在每次推送代码到仓库时自动完成这些工作。3.1 创建GitHub Actions工作流文件在你的项目根目录下创建.github/workflows/build-and-push.yml文件。name: Build and Push Docker Image to ACR # 触发条件当代码推送到main分支时或者手动触发时 on: push: branches: [ main ] workflow_dispatch: # 允许在GitHub页面上手动触发 # 设置环境变量 env: REGISTRY: registry.cn-hangzhou.aliyuncs.com # 阿里云容器镜像服务地址 IMAGE_NAME: ${{ secrets.ACR_NAMESPACE }}/lychee-rerank # 镜像名称命名空间从Secret读取 jobs: build-and-push: runs-on: ubuntu-latest permissions: contents: read packages: write steps: # 1. 检出代码 - name: Checkout repository uses: actions/checkoutv4 # 2. 设置Docker构建环境 - name: Set up Docker Buildx uses: docker/setup-buildx-actionv3 # 3. 登录到阿里云容器镜像服务 (ACR) - name: Log in to Alibaba Cloud Container Registry uses: docker/login-actionv3 with: registry: ${{ env.REGISTRY }} username: ${{ secrets.ACR_USERNAME }} password: ${{ secrets.ACR_PASSWORD }} # 4. 提取元数据标签、镜像名 - name: Extract metadata (tags, labels) for Docker id: meta uses: docker/metadata-actionv5 with: images: ${{ env.REGISTRY }}/${{ env.IMAGE_NAME }} tags: | typeref,eventbranch # 分支名作为标签 typeref,eventpr typesemver,pattern{{version}} typesemver,pattern{{major}}.{{minor}} typesha,prefix{{branch}}- # 5. 构建并推送Docker镜像 - name: Build and push Docker image uses: docker/build-push-actionv5 with: context: . push: true tags: ${{ steps.meta.outputs.tags }} labels: ${{ steps.meta.outputs.labels }} cache-from: typegha cache-to: typegha,modemax3.2 在GitHub仓库配置密钥这个工作流需要访问你的阿里云ACR仓库所以不能把用户名密码写在代码里。我们需要在GitHub仓库设置中配置Secrets。进入你的GitHub项目页面。点击Settings-Secrets and variables-Actions。点击New repository secret添加以下三个密钥ACR_USERNAME: 你的阿里云ACR登录用户名。ACR_PASSWORD: 你的阿里云ACR登录密码建议使用访问令牌更安全。ACR_NAMESPACE: 你在ACR中的命名空间例如mycompany。配置完成后每次你向main分支推送代码GitHub Actions就会自动运行构建Docker镜像并推送到你指定的阿里云ACR仓库中。4. 在阿里云ACR中托管与部署镜像镜像构建好并推送到ACR后你就可以在任何支持Docker的环境里拉取并运行它了。4.1 从ACR拉取并运行镜像假设你的镜像最终被推送到registry.cn-hangzhou.aliyuncs.com/mycompany/lychee-rerank:main。在目标服务器上确保已安装Docker运行以下命令# 1. 登录阿里云ACR (如果之前没登录过) docker login --username你的用户名 registry.cn-hangzhou.aliyuncs.com # 按提示输入密码 # 2. 拉取镜像 docker pull registry.cn-hangzhou.aliyuncs.com/mycompany/lychee-rerank:main # 3. 运行容器 # 注意这里假设模型文件在容器启动时从OSS下载所以需要将OSS的访问密钥通过环境变量传入。 # 同时将宿主机的8501端口映射到容器的8501端口。 docker run -d \ --name lychee-rerank \ -p 8501:8501 \ -e OSS_ACCESS_KEY_ID你的AccessKey \ -e OSS_ACCESS_KEY_SECRET你的AccessKeySecret \ -e OSS_ENDPOINToss-cn-hangzhou.aliyuncs.com \ -e OSS_BUCKET_NAMEyour-model-bucket \ registry.cn-hangzhou.aliyuncs.com/mycompany/lychee-rerank:main运行参数解释-d: 后台运行。--name: 给容器起个名字方便管理。-p 8501:8501: 端口映射将本地的8501端口映射到容器的8501端口Streamlit默认端口。-e: 设置环境变量。这里传递了阿里云OSS的认证信息以便容器内的启动脚本能下载模型文件。4.2 进阶部署使用Docker Compose对于更复杂的环境比如还需要连接数据库、Redis等使用docker-compose.yml管理会更方便。version: 3.8 services: lychee-rerank: image: registry.cn-hangzhou.aliyuncs.com/mycompany/lychee-rerank:main container_name: lychee-rerank ports: - 8501:8501 environment: - OSS_ACCESS_KEY_ID${OSS_ACCESS_KEY_ID} - OSS_ACCESS_KEY_SECRET${OSS_ACCESS_KEY_SECRET} - OSS_ENDPOINToss-cn-hangzhou.aliyuncs.com - OSS_BUCKET_NAMEyour-model-bucket - MODEL_CACHE_DIR/app/models # 模型缓存目录 volumes: - ./model_cache:/app/models # 将模型缓存挂载到本地避免重复下载 restart: unless-stopped # 容器退出时自动重启除非手动停止然后创建一个.env文件来存放敏感信息不要提交到GitOSS_ACCESS_KEY_ID你的AccessKey OSS_ACCESS_KEY_SECRET你的AccessKeySecret最后运行docker-compose up -d即可启动所有服务。5. 总结与最佳实践通过以上步骤我们成功搭建了一个从代码到服务的自动化流水线本地开发完成Lychee-Rerank工具的开发和测试。自动构建代码推送至GitHub后GitHub Actions自动构建Docker镜像。镜像托管构建好的镜像自动推送到阿里云ACR安全存储和管理。一键部署在任何有Docker的环境一条命令即可拉取和运行最新版本的应用。一些提升体验的最佳实践模型管理对于大模型强烈建议将模型文件与应用程序镜像分离。使用云存储OSS并在容器初始化时下载可以保持镜像轻量化并独立更新模型。版本标签在GitHub Actions中使用语义化版本如v1.0.0或Git提交哈希作为镜像标签而不是简单的latest便于回滚和追踪。安全扫描可以在GitHub Actions流水线中加入镜像安全扫描步骤如使用Trivy确保基础镜像和依赖没有已知漏洞。多环境部署可以配置不同的GitHub Actions工作流或变量分别构建推送到测试环境和生产环境对应的ACR命名空间。这套方案不仅适用于Lychee-Rerank任何需要容器化部署的AI应用或Web服务都可以借鉴。它实现了开发与运维的衔接让持续集成和持续部署CI/CD变得简单可靠你可以更专注于工具本身的功能优化。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。