k8s部署ELK补充篇：kubernetes-event-exporter收集Kubernetes集群中的事件

news2025/5/27 14:35:48

k8s部署ELK补充篇：kubernetes-event-exporter收集Kubernetes集群中的事件

文章目录

  • k8s部署ELK补充篇：kubernetes-event-exporter收集Kubernetes集群中的事件
  • 一、kubernetes-event-exporter简介
  • 二、kubernetes-event-exporter实战部署
    • 1. 创建Namespace（elk-namespace.yaml）
    • 2. 部署Logstash（event-logstash.yaml）
    • 3. 部署kubernetes-event-exporter（event-exporter.yaml）
    • 4. 部署所有资源
    • 5. 验证Logstash Pod状态
  • 三、Kibana页面展示
  • 总结

在 Kubernetes 集群中，事件（Event） 是用于记录资源状态变化和异常信息的重要机制，常用于排查部署问题、资源调度异常或系统错误等。然而，Kubernetes 默认只保留最近一小时内的事件，且仅能通过 kubectl get events 命令临时查看，无法满足集中管理、持久化存储和告警通知等生产需求。

为了解决这一问题，我们可以引入 kubernetes-event-exporter，它能够实时捕捉集群中的事件，并将其导出到日志系统、告警平台或其他后端存储系统中。配合 ELK（Elasticsearch + Logstash + Kibana）这一成熟的日志分析平台，我们可以实现对集群事件的统一采集、分析和可视化展示。

本篇文章将介绍如何在 Kubernetes 环境中部署 kubernetes-event-exporter，实现事件的收集与输出，为集群可观测性和故障排查提供更全面的数据支撑。在这里插入图片描述

一、kubernetes-event-exporter简介

kubernetes-event-exporter 是一款专为 Kubernetes 设计的轻量级事件收集与导出工具，能够实时捕捉 Kubernetes 集群中的事件（Events），并将其导出到指定的后端系统，如 Elasticsearch、Loki、Kafka、Webhook 或文件等。
相比于通过 kubectl get events 命令手动查看事件，这款工具支持 自动化、持久化、结构化 地处理事件数据，特别适用于与日志系统、监控平台或告警系统集成，实现对集群状态的可观测性增强和异常快速响应。
kubernetes-event-exporter 提供了灵活的过滤规则和接收器配置，用户可以根据事件的类型、命名空间、资源或原因等条件，自定义输出策略，是构建 Kubernetes 运维监控体系的有力补充组件。

二、kubernetes-event-exporter实战部署

1. 创建Namespace（elk-namespace.yaml）

首先，创建一个新的命名空间，用于部署 ELK 相关的资源

apiVersion: v1
kind: Namespace
metadata:
  name: elk

2. 部署Logstash（event-logstash.yaml）

以下配置将部署 Logstash，并从 Kafka 中拉取事件数据，再输出到 Elasticsearch

kind: Deployment
apiVersion: apps/v1
metadata:
  name: kube-event-logstash
  namespace: elk
  labels:
    app: kube-event-logstash
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kube-event-logstash
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: kube-event-logstash
      annotations:
        kubesphere.io/restartedAt: '2024-02-22T09:03:36.215Z'
    spec:
      volumes:
        - name: kube-event-logstash-pipeline-config
          configMap:
            name: kube-event-logstash-pipeline-config
            defaultMode: 420
        - name: kube-event-logstash-config
          configMap:
            name: kube-event-logstash-config
        - name: logstash-config
          emptyDir: {}
      initContainers:
        - name: copy-logstash-config
          image: harbor.local/k8s/busybox:1.37.0
          command: ['sh', '-c', 'cp /tmp/logstash.yml /usr/share/logstash/config/logstash.yml && chmod 777 /usr/share/logstash/config/logstash.yml']
          volumeMounts:
            - name: kube-event-logstash-config
              mountPath: /tmp/logstash.yml
              subPath: logstash.yml
            - name: logstash-config
              mountPath: /usr/share/logstash/config
      containers:
        - name: kube-event-logstash
          image: harbor.local/k8s/logstash:7.17.0
          env:
            - name: NODE_NAME
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: metadata.name
            - name: PIPELINE_BATCH_SIZE
              value: '4000'
            - name: PIPELINE_BATCH_DELAY
              value: '100'
            - name: PIPELINE_WORKERS
              value: '4'
            - name: LS_JAVA_OPTS
              value: '-Xms2g -Xmx3500m'  #JVM内存设置
          resources:
            limits:
              cpu: '2'
              memory: 4Gi
            requests:
              cpu: '1'
              memory: 1Gi
          volumeMounts:
            - name: kube-event-logstash-pipeline-config
              mountPath: /usr/share/logstash/pipeline
            - name: logstash-config
              mountPath: /usr/share/logstash/config/logstash.yml
              subPath: logstash.yml
          livenessProbe:
            tcpSocket:
              port: 9600
            initialDelaySeconds: 39
            timeoutSeconds: 5
            periodSeconds: 30
            successThreshold: 1
            failureThreshold: 2
          readinessProbe:
            tcpSocket:
              port: 9600
            initialDelaySeconds: 39
            timeoutSeconds: 5
            periodSeconds: 30
            successThreshold: 1
            failureThreshold: 2
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          imagePullPolicy: IfNotPresent
      restartPolicy: Always
      terminationGracePeriodSeconds: 30
      dnsPolicy: ClusterFirst
      securityContext: {}
      schedulerName: default-scheduler
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 25%
      maxSurge: 25%
  revisionHistoryLimit: 10
  progressDeadlineSeconds: 600
---
kind: ConfigMap
apiVersion: v1
metadata:
  name: kube-event-logstash-pipeline-config
  namespace: elk
data:
  logstash.conf: |-
    input {
      kafka {
        bootstrap_servers => "kafka-0.kafka-headless.elk.svc.cluster.local:9092"
        group_id => "logstash-consumer-group-event"
        topics => ["k8s-event"]
        codec => "json"
        consumer_threads => 1
        decorate_events => true
        security_protocol => "PLAINTEXT"  
      }
    }

    output {
        elasticsearch {
          hosts => ["http://elasticsearch-0.elasticsearch-cluster.elk.svc.cluster.local:9200"]
          index => "k8s-event-%{+YYYY.MM.dd}"
        }
    }
---
kind: ConfigMap
apiVersion: v1
metadata:
  name: kube-event-logstash-config
  namespace: elk
data:
  logstash.yml: |-
    http.host: "0.0.0.0"
    xpack.monitoring.elasticsearch.hosts: ["http://elasticsearch-0.elasticsearch-cluster.elk.svc.cluster.local:9200"]

3. 部署kubernetes-event-exporter（event-exporter.yaml）

包含 ServiceAccount、ClusterRoleBinding、配置文件 ConfigMap 及 Deployment

apiVersion: v1
kind: ServiceAccount
metadata:
  namespace: elk
  name: event-exporter
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: event-exporter
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: view
subjects:
  - kind: ServiceAccount
    namespace: elk
    name: event-exporter
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: event-exporter-cfg
  namespace: elk
data:
  config.yaml: |
    logLevel: error
    logFormat: json
    route:
      routes:
        - match:
            - receiver: "kafka"
          drop:
            - kind: "Service"  #可选，忽略 Service 类型事件
    receivers:
      - name: "kafka"
        kafka:
          clientId: "kubernetes"
          topic: "k8s-event"
          brokers:
            - "kafka-0.kafka-headless.elk.svc.cluster.local:9092"
          compressionCodec: "snappy"
          layout:  #自定义字段格式
            kind: "{{ .InvolvedObject.Kind }}"
            namespace: "{{ .InvolvedObject.Namespace }}"
            name: "{{ .InvolvedObject.Name }}"
            reason: "{{ .Reason }}"
            message: "{{ .Message }}"
            type: "{{ .Type }}"
            timestamp: "{{ .GetTimestampISO8601 }}"
            cluster: "sda-pre-center"
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: event-exporter
  namespace: elk
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: event-exporter
        version: v1
    spec:
      serviceAccountName: event-exporter
      containers:
        - name: event-exporter
          image: harbor.local/k8s/kubernetes-event-exporter:v1
          imagePullPolicy: IfNotPresent
          args:
            - -conf=/data/config.yaml
          volumeMounts:
            - mountPath: /data
              name: cfg
      volumes:
        - name: cfg
          configMap:
            name: event-exporter-cfg
  selector:
    matchLabels:
      app: event-exporter
      version: v1

4. 部署所有资源

将上述 YAML 文件保存后，使用以下命令统一部署

kubectl apply -f elk-namespace.yaml
kubectl apply -f event-logstash.yaml
kubectl apply -f event-exporter.yaml

5. 验证Logstash Pod状态

kubectl get pod -n elk

在这里插入图片描述

三、Kibana页面展示

访问地址：http://ip:30601
在 Kibana 中创建索引模式 k8s-event-*，可视化展示集群事件数据（不知道怎么创建的可以看我前面的文章）

在这里插入图片描述

总结

📌 本文作为对 ELK 在 Kubernetes 中部署使用的补充，介绍了如何通过部署 kubernetes-event-exporter 实时采集集群事件，并结合 Kafka 与 Logstash 将事件数据统一输出至 Elasticsearch，从而实现对集群事件的集中管理与可视化展示。
通过这一方案，Kubernetes 原生事件不再局限于短时查看和手动排查，而是纳入到完整的日志与监控体系中，极大提升了运维的效率与可观测性，是生产环境中不可或缺的重要组成部分。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2386037.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C++性能相关的部分内容

C++性能相关的部分内容

C性能相关的部分内容 与底层硬件紧密结合 大端存储和小端存储（硬件概念） C在不同硬件上运行的结果可能不同 比如：输入01234567，对于大端存储的硬件会先在较大地址上先进行存储，而对于小端存储的硬件会先在较小地址上…
阅读更多...
AI进行提问、改写、生图、联网搜索资料，嘎嘎方便！

AI进行提问、改写、生图、联网搜索资料，嘎嘎方便！

极客侧边栏-AI板块 目前插件内已接入DeepSeek-R1满血版、Qwen3满血版 、豆包/智谱最新发布的推理模型以及各种顶尖AI大模型，并且目前全都可以免费不限次数使用，秒回不卡顿，联网效果超好！ 相比于市面上很多AI产品，极客…
阅读更多...
GStreamer开发笔记（四）：ubuntu搭建GStreamer基础开发环境以及基础Demo

GStreamer开发笔记（四）：ubuntu搭建GStreamer基础开发环境以及基础Demo

若该文为原创文章，转载请注明原文出处 本文章博客地址：https://blog.csdn.net/qq21497936/article/details/147714800 长沙红胖子Qt（长沙创微智科）博文大全：开发技术集合（包含Qt实用技术、树莓派、三维、O…
阅读更多...
2021年认证杯SPSSPRO杯数学建模A题(第二阶段)医学图像的配准全过程文档及程序

2021年认证杯SPSSPRO杯数学建模A题(第二阶段)医学图像的配准全过程文档及程序

2021年认证杯SPSSPRO杯数学建模 A题 医学图像的配准 原题再现： 图像的配准是图像处理领域中的一个典型问题和技术难点，其目的在于比较或融合同一对象在不同条件下获取的图像。例如为了更好地综合多种信息来辨识不同组织或病变，医生可能使用…
阅读更多...
CV中常用Backbone-3：Clip/SAM原理以及代码操作

CV中常用Backbone-3：Clip/SAM原理以及代码操作

前面已经介绍了简单的视觉编码器，这里主要介绍多模态中使用比较多的两种backbone：1、Clip；2、SAM。对于这两个backbone简单介绍基本原理，主要是讨论使用这个backbone。 1、CV中常用Backbone-2：ConvNeXt模型详解 2、CV中…
阅读更多...
RPC 协议详解、案例分析与应用场景

RPC 协议详解、案例分析与应用场景

一、RPC 协议原理详解 RPC 协议的核心目标是让开发者像调用本地函数一样调用远程服务，其实现过程涉及多个关键组件与流程。 （一）核心组件 客户端（Client）：发起远程过程调用的一方，它并不关心调…
阅读更多...
dify-plugin-daemon的.env配置文件

dify-plugin-daemon的.env配置文件

源码位置：dify-plugin-daemon\.env 本文使用dify-plugin-daemon v0.1.0版本，主要总结了dify-plugin-daemon\.env配置文件。为了本地调试方便，采用本地运行时环境WSL2Ubuntu22.04方式运行dify-plugin-daemon服务。 一.服务器基本配置 服务器…
阅读更多...
（九）PMSM驱动控制学习---无感控制之高阶滑膜观测器

（九）PMSM驱动控制学习---无感控制之高阶滑膜观测器

在之前的文章中，我们介绍了永磁同步电机无感控制中的滑模观测器，但是同时我们也认识到了他的缺点：因符号函数带来的高频切换分量，使用低通滤波器引发相位延迟；在本篇文章，我们将会介绍高阶滑模观测器的无感…
阅读更多...
Devicenet主转Profinet网关助力改造焊接机器人系统智能升级

Devicenet主转Profinet网关助力改造焊接机器人系统智能升级

某汽车零部件焊接车间原有6台焊接机器人（采用Devicenet协议）需与新增的西门子S7-1200 PLC（Profinet协议）组网。若更换所有机器人控制器或上位机系统，成本过高且停产周期长。 《解决方案》 工程师选择稳联技术转换网关…
阅读更多...
《STL--list的使用及其底层实现》

《STL--list的使用及其底层实现》

引言： 上次我们学习了容器vector的使用及其底层实现，今天我们再来学习一个容器list， 这里的list可以参考我们之前实现的单链表，但是这里的list是双向循环带头链表，下面我们就开始list的学习了。 一：list的…
阅读更多...
python的pip怎么配置的国内镜像

python的pip怎么配置的国内镜像

以下是配置pip国内镜像源的详细方法： 常用国内镜像源列表 清华大学：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：https://mirrors.aliyun.com/pypi/simple中科大：https://pypi.mirrors.ustc.edu.cn/simple华为云&#xff1…
阅读更多...
PCB 通孔是电容性的，但不一定是电容器

PCB 通孔是电容性的，但不一定是电容器

哼？……这是什么意思？…… 多年来，流行的观点是 PCB 通孔本质上是电容性的，因此可以用集总电容器进行建模。虽然当信号的上升时间大于或等于过孔不连续性延迟的 3 倍时，这可能是正确的，但我将向您展示为什…
阅读更多...
公有云AWS基础架构与核心服务：从概念到实践

公有云AWS基础架构与核心服务：从概念到实践

🔥「炎码工坊」技术弹药已装填！ 点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】 （初学者技术专栏） 一、基础概念 定义：AWS（Amazon Web Services）是亚马逊提供的云计算服务&a…
阅读更多...
Python60日基础学习打卡D35

Python60日基础学习打卡D35

import torch import torch.nn as nn import torch.optim as optim from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.preprocessing import MinMaxScaler import time import matplotlib.pyplot as plt# 设置GPU设…
阅读更多...
目标检测 RT-DETR（2023）详细解读

目标检测 RT-DETR（2023）详细解读

文章目录 主干网络：Encoder：不确定性最小Query选择Decoder网络： 将DETR扩展到实时场景，提高了模型的检测速度。网络架构分为三部分组成：主干网络、混合编码器、带有辅助预测头的变换器编码器。具体来说，先利…
阅读更多...
微信小程序 隐私协议弹窗授权

微信小程序 隐私协议弹窗授权

开发微信小程序的第一步往往是隐私协议授权，尤其是在涉及用户隐私数据时，必须确保用户明确知晓并同意相关隐私政策。我们才可以开发后续的小程序内容。友友们在按照文档开发时可能会遇到一些问题，我把所有的授权方法和可能遇到的问题都整理出…
阅读更多...
金众诚业财一体化解决方案如何提升项目盈利能力？

金众诚业财一体化解决方案如何提升项目盈利能力？

在工程项目管理领域，复杂的全生命周期管理、成本控制的精准性以及业务与财务的高效协同，是决定项目盈利能力的核心要素。随着数字化转型的深入，传统的项目管理方式已难以满足企业对效率、透明度和盈利能力的需求。基于金蝶云星空平台打造的金…
阅读更多...
LabVIEW中EtherCAT从站拓扑离线创建及信息查询

LabVIEW中EtherCAT从站拓扑离线创建及信息查询

该 VI 主要用于演示如何离线创建 EtherCAT 从站拓扑结构，并查询从站相关信息。EtherCAT（以太网控制自动化技术）是基于以太网的实时工业通信协议，凭借其高速、高效的特性在自动化领域广泛应用。与其他常见工业通讯协议相比&#xf…
阅读更多...
Flutter 3.32 新特性

Flutter 3.32 新特性

2天前，Flutter发布了最新版本3.32，我们来一起看下29到32有哪些变化。 简介 欢迎来到Flutter 3.32！此版本包含了旨在加速开发和增强应用程序的功能。准备好在网络上进行热加载，令人惊叹的原生保真Cupertino，以及与Fir…
阅读更多...
windows和mac安装虚拟机-详细教程

windows和mac安装虚拟机-详细教程

简介 虚拟机：Virtual Machine，虚拟化技术的一种，通过软件模拟的、具有完整硬件功能的、运行在一个完全隔离的环境中的计算机。 在学习linux系统的时候，需要安装虚拟机，在虚拟机上来运行操作系统，因为我使…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023