10分钟极速部署DolphinSchedulerKubernetes工作流编排的终极指南【免费下载链接】dolphinschedulerApache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code项目地址: https://gitcode.com/GitHub_Trending/dol/dolphinschedulerApache DolphinScheduler是一款现代化的数据编排平台通过低代码方式实现高性能工作流的敏捷创建。本文将带你通过Kubernetes环境快速部署这一强大工具即使是新手也能在10分钟内完成从环境准备到界面访问的全流程。为什么选择Kubernetes部署DolphinSchedulerKubernetes部署模式特别适合需要调度大量任务的生产环境它能提供卓越的可扩展性和稳定性。相比Standalone模式适合新手体验和伪集群部署适合功能验证K8s部署具备以下优势自动扩缩容能力应对任务量波动内置高可用机制保障服务稳定运行简化的运维管理降低集群维护成本图1DolphinScheduler支持的多样化任务类型与复杂工作流定义部署前的准备工作在开始部署前请确保你的环境满足以下要求Kubernetes集群1.12版本Helm工具3.1.0版本具备PV供应能力的基础设施如果你还没有安装Helm可以通过以下命令快速安装curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash一键部署DolphinScheduler集群通过Helm可以实现DolphinScheduler的快速部署只需执行以下命令# 克隆项目仓库 git clone https://gitcode.com/GitHub_Trending/dol/dolphinscheduler # 进入Kubernetes部署目录 cd dolphinscheduler/deploy/kubernetes # 使用Helm安装替换version为实际版本号 helm upgrade --install dolphinscheduler --create-namespace --namespace dolphinscheduler oci://registry-1.docker.io/apache/dolphinscheduler-helm --version version默认配置下系统会自动部署PostgreSQL数据库用户root密码root数据库dolphinscheduler和ZooKeeper服务无需额外配置。访问DolphinScheduler Web界面部署完成后有多种方式可以访问DolphinScheduler的Web界面方法1通过Ingress访问推荐生产环境如果在values.yaml中启用了ingressingress.enabledtrue直接通过配置的域名访问http://${ingress.host}/dolphinscheduler方法2通过端口转发适合开发测试当api.service.typeClusterIP时执行端口转发命令kubectl port-forward --address 0.0.0.0 svc/dolphinscheduler-api 12345:12345然后在浏览器中访问http://localhost:12345/dolphinscheduler/ui方法3通过NodePort访问当api.service.typeNodePort时执行以下命令获取访问地址NODE_IP$(kubectl get no -n dolphinscheduler -o jsonpath{.items[0].status.addresses[0].address}) NODE_PORT$(kubectl get svc dolphinscheduler-api -n dolphinscheduler -o jsonpath{.spec.ports[0].nodePort}) echo http://$NODE_IP:$NODE_PORT/dolphinscheduler图2DolphinScheduler直观的任务状态监控界面使用默认账号密码登录用户名admin密码dolphinscheduler123验证部署状态部署完成后可以通过以下命令检查集群状态# 查看命名空间下所有Pod kubectl get pods -n dolphinscheduler # 查看服务状态 kubectl get svc -n dolphinscheduler所有Pod都处于Running状态表示部署成功。你可以通过查看日志进一步确认服务状态# 查看Master节点日志 kubectl logs -f dolphinscheduler-master-0 -n dolphinscheduler # 查看Worker节点日志 kubectl logs -f dolphinscheduler-worker-0 -n dolphinscheduler基本使用与后续操作登录系统后建议参考官方文档的快速上手章节了解基本操作。以下是一些常用的后续操作扩缩容集群根据任务量需求调整集群规模# 扩缩容API服务至3个副本 kubectl scale --replicas3 deploy dolphinscheduler-api -n dolphinscheduler # 扩缩容Worker至6个副本 kubectl scale --replicas6 sts dolphinscheduler-worker -n dolphinscheduler启用Worker自动扩缩容试验性通过KEDA实现Worker节点的自动扩缩容优化资源使用# 安装KEDA helm repo add kedacore https://kedacore.github.io/charts helm repo update kubectl create namespace keda helm install keda kedacore/keda --namespace keda --version v2.0.0 # 启用自动扩缩容 helm upgrade --install dolphinscheduler --namespace dolphinscheduler oci://registry-1.docker.io/apache/dolphinscheduler-helm --version version --set worker.keda.enabledtrue卸载DolphinScheduler如需卸载执行以下命令# 卸载Helm release helm uninstall dolphinscheduler -n dolphinscheduler # 删除PVC注意这会删除所有数据 kubectl delete pvc -l app.kubernetes.io/instancedolphinscheduler -n dolphinscheduler常见问题解决端口转发提示socat not found执行端口转发时如果遇到此错误需要安装socat# Ubuntu/Debian apt-get install socat # CentOS/RHEL yum install socat如何支持MySQL数据库默认使用PostgreSQL如需切换到MySQL需构建包含MySQL驱动的镜像具体步骤参见官方文档中的FAQ部分。如何添加Python3支持DolphinScheduler默认支持Python2如需使用Python3可通过自定义Worker镜像实现FROM dolphinscheduler.docker.scarf.sh/apache/dolphinscheduler-worker:version RUN apt-get update \ apt-get install -y --no-install-recommends python3 \ rm -rf /var/lib/apt/lists/*总结通过Kubernetes部署DolphinScheduler你可以快速拥有一个功能完备、高可用的数据编排平台。无论是处理简单的定时任务还是构建复杂的依赖工作流DolphinScheduler都能通过直观的界面和强大的后端能力满足你的需求。想要深入了解更多高级配置和功能可以查阅项目的完整文档部署文档和用户手册。现在就开始探索DolphinScheduler带来的高效工作流编排体验吧【免费下载链接】dolphinschedulerApache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code项目地址: https://gitcode.com/GitHub_Trending/dol/dolphinscheduler创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考