一、基于DaemonSet控制器实现各节点的Fluent日志采集fluentd-ds.yaml配置文件apiVersion: apps/v1 kind: DaemonSet metadata: name: fluentd spec: selector: #DaemonSet类型的资源必须要加这个属性否则不让创建 matchLabels: app: logging template: metadata: labels: app: logging id: fluentd name: fluentd spec: containers: - name: fluentd-es image: agilestacks/fluentd-elasticsearch:v1.3.0 env: - name: FLUENTD_ARGS value: -qq volumeMounts: - name: containers mountPath: /var/lib/docker/containers - name: varlog mountPath: /varlog volumes: - hostPath: path: /var/lib/docker/containers name: containers - hostPath: path: /var/log name: varlog在k8s中创建这个资源kubectl apply -f flunetd-ds.yaml ​ #查看DaemonSet和pod的列表 rootmaster ds]# kubectl get ds,pod -o wide NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE CONTAINERS IMAGES SELECTOR daemonset.apps/fluentd 2 2 0 2 0 none 78s fluentd-es agilestacks/fluentd-elasticsearch:v1.3.0 applogging ​ NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES pod/fluentd-486lb 0/1 ContainerCreating 0 78s none node1 none none pod/fluentd-thlg4 0/1 ContainerCreating 0 78s none node2 none none ​ #发现fluentd的两个pod一直处于容器创建状态ContainterCreating稍后镜像下载完毕即可处于Running状态 #当前k8s的工作节点node有node1和node2所以fluentd的pod节点在各自的k8s工作节点中会创建一个测试如果给某个node加上label标签#给node1加上一个标签标注node1需要进行日志采集 kubectl label node node1 type1needlog ​ #查看所有节点及标签情况 kubectl get node --show-labels重新编辑fluentd-ds.yaml配置文件添加节点选择器nodeSelector属性测试看是否可以做到符合条件的node工作节点才部署fluentdapiVersion: apps/v1 kind: DaemonSet metadata: name: fluentd spec: selector: matchLabels: app: logging template: metadata: labels: app: logging id: fluentd name: fluentd spec: nodeSelector: #节点选择器只运行在符合条件的node节点上(node1) type1: needlog containers: - name: fluentd-es image: agilestacks/fluentd-elasticsearch:v1.3.0 env: - name: FLUENTD_ARGS value: -qq volumeMounts: - name: containers mountPath: /var/lib/docker/containers - name: varlog mountPath: /varlog volumes: - hostPath: path: /var/lib/docker/containers name: containers - hostPath: path: /var/log name: varlog重新应用这个yaml的资源[rootmaster ds]# kubectl apply -f flunetd-ds.yaml daemonset.apps/fluentd configured ​ #查看daemonset和pod列表发现系统中运行着的pod减少了一个因为仅node1符合nodeSelector条件 [rootmaster ds]# kubectl get ds,pod -o wide NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE CONTAINERS IMAGES SELECTOR daemonset.apps/fluentd 1 1 1 1 1 typemicroservices 11m fluentd-es agilestacks/fluentd-elasticsearch:v1.3.0 applogging ​ NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES pod/fluentd-9gb6w 1/1 Running 0 5s 10.101.149.18 node1 none none假设给node2的工作节点增加labeltype1needlogkubectl label node node2 type1needlog ​ #继续查看daemonset和pod列表发现node2因为新增了符合ds条件的标签所以开始在node2新增了一个pod [rootmaster ds]# kubectl get ds,pod -o wide ​ NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE CONTAINERS IMAGES SELECTOR daemonset.apps/fluentd 2 2 2 2 2 typemicroservices 15m fluentd-es agilestacks/fluentd-elasticsearch:v1.3.0 applogging ​ NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES pod/fluentd-9gb6w 1/1 Running 0 3m32s 10.101.149.18 node1 none none pod/fluentd-vsbww 1/1 Running 0 1s 10.101.11.19 node2 none none二、基于DaemonSet控制器实现各节点的Nodeexporter日志采集Prometheus概述是一套开源的监控报警时间序列数据库的组合由SoundCloud公司开发。Prometheus基本原理是通过HTTP协议周期性抓取被监控组件的状态这样做的好处是任意组件只要提供HTTP接口就可以接入监控系统不需要任何SDK或者其他的集成过程。这样做非常适合虚拟化环境比如k8s或者Docker输出被监控组件信息的HTTP接口被叫做exporter 。目前互联网公司常用的组件大部分都有exporter可以直接使用比如Varnish、Haproxy、Nginx、MySQL、Linux 系统信息 (包括磁盘、内存、CPU、网络等等)Prometheus的主要特点一个多维数据模型时间序列由指标名称定义和设置键/值尺寸。非常高效的存储平均一个采样数据占~3.5bytes左右320万的时间序列每30秒采样保持60天消耗磁盘大概228G。一种灵活的查询语言。不依赖分布式存储单个服务器节点。时间集合通过HTTP上的PULL模型进行。通过中间网关支持推送时间。通过服务发现或静态配置发现目标。多种模式的图形和仪表板支持。Nodeexporter概述node-exporter用于采集服务器层面的运行指标包括机器的loadavg、filesystem、meminfo等基础监控类似于传统主机监控维度的zabbix-agentnode-export由prometheus(普罗米修斯)官方提供、维护不会捆绑安装但基本上是必备的exporter作用node-exporter用于提供LINIX内核的硬件以及系统指标。如果是windows系统可以使用WMI exporter如果是采集NVIDIA的GPU指标可以使用prometheus-dcgm根据不同的LINIX操作系统node-exporter采集指标的支持也是不一样的如diskstats 支持 Darwin, Linuxcpu 支持Darwin, Dragonfly, FreeBSD, Linux, Solaris等案例-Nodeexporter目标1主2从两个工作节点能监测到这两个工作节点的性能数据把性能数据抛到http的一个接口中。创建一个nodeexporter-ds.yaml用于DaemonSet控制器node1和node2上都要部署一个pod用于该工作节点的性能采集用DS控制器来实现这点)apiVersion: apps/v1 kind: DaemonSet metadata: name: node-exporter namespace: test spec: #从node节点上进行节点筛选 selector: matchLabels: app: node-exporter template: metadata: labels: app: node-exporter name: node-exporter spec: containers: - image: registry.cn-hangzhou.aliyuncs.com/tryk8s/node-exporter:latest name: node-exporter ports: - containerPort: 9100 hostPort: 9100 name: scrape hostNetwork: true hostPID: true应用这个yaml以及查看系统中的ds以及pod列表kubectl apply -f nodeexporter-ds.yaml ​ #查看系统中的ds以及pod列表 kubectl get ds,pod -n test ​ #查看系统中的某个pod可以从这个pod中监测到日志信息 kubectl logs node-exporterxxxxx -n test ​ #可以查看这个pod中的指定url得到所在node工作节点的性能数据 curl 192.168.28.135:9100 #访问上述的url有html内容建议你进一步访问/metrics获取详细的性能信息信息比较多建议分屏 curl 192.168.28.135:9100/metrics|more创建一个nodeexporter-svc.yaml用于服务暴露以便集中的数据采集apiVersion: v1 kind: Service metadata: #添加了一个注解prometheus.io/scrape:true作为服务的元数据它将告诉Prometheus应该抓取这个服务 annotations: prometheus.io/scrape: true labels: app: node-exporter name: node-exporter name: node-exporter namespace: test spec: #clusterIP: None ports: - name: scrape port: 9100 protocol: TCP selector: app: node-exporter #NodePort或者ClusterIP都可以 type: ClusterIP应用这个yamlkubectl create -f nodeexporter-svc.yaml ​ #查看系统中的service列表 kubectl get svc -n test -o wide得到一个daemonset和一个service对象部署后为了能够让Prometheus能够从当前node exporter获取到监控数据这里还需要继续安装prometheus安装-Prometheusconfig.yaml# config.yaml apiVersion: v1 kind: ConfigMap metadata: name: prometheus-config namespace: test data: prometheus.yml: | global: scrape_interval: 15s scrape_timeout: 15s scrape_configs: - job_name: prometheus static_configs: - targets: [localhost:9090] # 采集node exporter监控数据 #- job_name: node # static_configs: # - targets: [localhost:9100]应用这个config.yaml并查看kubectl apply -f config.yaml ​ #查看test名称空间下的配置 kubectl get ConfigMap -n testrbac.yamlapiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: prometheus namespace: test rules: - apiGroups: [] resources: - nodes - nodes/proxy - services - endpoints - pods verbs: [get, list, watch] - apiGroups: - extensions resources: - ingresses verbs: [get, list, watch] - nonResourceURLs: [/metrics] verbs: [get] --- apiVersion: v1 kind: ServiceAccount metadata: name: prometheus namespace: test --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: prometheus namespace: test roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: prometheus subjects: - kind: ServiceAccount name: prometheus namespace: test应用这个rbac.yaml,并查看kubectl apply -f rbac.yaml ​ #查看test名称空间下新增的ClusterRole,ServiceAccount,ClusterRoleBinding kubectl get ClusterRole,ServiceAccount,ClusterRoleBinding -n testprometheus-deploy.yaml# prometheus-deploy.yaml apiVersion: apps/v1 kind: Deployment metadata: name: prometheus namespace: test labels: app: prometheus spec: selector: matchLabels: app: prometheus template: metadata: labels: app: prometheus spec: serviceAccountName: prometheus containers: - image: prom/prometheus:v2.31.1 name: prometheus args: - --config.file/etc/prometheus/prometheus.yml - --storage.tsdb.path/prometheus # 指定tsdb数据路径 - --storage.tsdb.retention.time24h - --web.enable-admin-api # 控制对admin HTTP API的访问其中包括删除时间序列等功能 - --web.enable-lifecycle # 支持热更新直接执行localhost:9090/-/reload立即生效 ports: - containerPort: 9090 name: http volumeMounts: - mountPath: /etc/prometheus name: config-volume #为了 prometheus 的性能和数据持久化我们这里是直接将通过一个 LocalPV 来进行数据持久化的注意一定不能使用 nfs 来持久化数据目前Prometheus是不支持NFS的当pod重建之后数据很有可能被损坏测试环境可以使用nfs临时来测试但是线上生产环境一定不要使用这里简单处理使用emptyDir - mountPath: /prometheus name: data resources: requests: cpu: 200m memory: 1024Mi limits: cpu: 200m memory: 1024Mi volumes: - name: data emptyDir: {} - configMap: name: prometheus-config name: config-volume应用这个yaml并且查看deployment查看podkubectl apply -f prometheus-deploy.yaml #查看deployment以及pod确保pod处于running状态 kubectl get deployment,pod -n test #查看指定的Prometheus的pod的日志确认正常运行了 kubectl logs prometheus-5cdcfc84ff-svjb5 -n test新建prometheus-svc.yaml暴露普罗米修斯的图形界面可供k8s集群外部访问http浏览器访问# prometheus-svc.yaml apiVersion: v1 kind: Service metadata: name: prometheus namespace: test labels: app: prometheus spec: selector: app: prometheus type: NodePort ports: - name: web port: 9090 targetPort: http应用这个service的yaml并且查看这个service信息kubectl apply -f prometheus-svc.yaml #查看这个service信息 kubectl get service -n test -o wide #在k8s外部试图访问这个Nodeport类型的service将Nodeexporter加入Prometheus图形界面先修改config.yaml把nodeexporter的service地址加入进去#先获得test名称空间下的service列表 kubectl get svc -n test -o wide #得到9100的clusterIP地址记录下来config.yaml修改# 采集node exporter监控数据以下三行取消注释把localhost替换成上述clusterIP的地址 #- job_name: node # static_configs: # - targets: [localhost:9100]应用这个config.yaml修改kubectl apply -f config.yaml再删除掉系统中的Prometheus的pod让它自动重建即可识别config的变更开始监控两个对象#查看test名称空间下的pod列表 kubectl get pod -n test -o wide #删除指定的pod kubectl delete pod pod名 -n test #再通过浏览器访问普罗米修斯的图形界面即可看到新增的nodeexporter对象nodeexporter中可以查看的监控参数演示把某个nodeexporter参数加入普罗米修斯进行图形化监控演示nodeexporter的服务关闭up状态的变化