Kubrnetes APIServe 监控

kube-apiserver组件监控指标及大盘使用说明_容器服务 Kubernetes 版 ACK(ACK)-阿里云帮助中心

kube-apiserver组件提供了Kubernetes的RESTful API接口，使得外部客户端、集群内的其他组件可以与ACK集群交互。本文介绍kube-apiserver组件的监控指标清单、大盘使用指导以及常见指标异常解析。

指标清单

指标是组件对外透出状态和参数的方式之一。kube-apiserver组件使用的指标清单如下。

指标清单	类型	解释
apiserver_request_duration_seconds_bucket	Histogram	该指标用于统计API Server客户端对API Server不同请求的访问时延分布。请求的维度包括： Verb：请求的类型，例如GET、POST、PUT、DELETE等。 Group：API组，即相关API接口的集合，用于扩展Kubernetes API。 Version：API版本，例如v1、v1beta1等。 Resource：请求针对的资源类型，例如Pod、Service、Lease等。 Subresource：资源的子资源，例如Pod详细信息、Pod日志等。 Scope：请求的范围，例如命名空间维度的资源（Namespace-scoped）或集群维度的资源（Cluster-scope）。 Component：发起请求的组件的名称，例如kube-controller-manager、kube-scheduler、cloud-controller-manager等。 Client：发起请求的客户端，可能是内部组件或外部服务。 API ServerHistogram的Bucket阈值为`{0.05, 0.1, 0.15, 0.2, 0.25, 0.3, 0.35, 0.4, 0.45, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 1.25, 1.5, 1.75, 2.0, 2.5, 3.0, 3.5, 4.0, 4.5, 5, 6, 7, 8, 9, 10, 15, 20, 25, 30, 40, 50, 60}`。单位：秒。
apiserver_request_total	Counter	对API Server不同请求的计数。请求的维度包括Verb、Group、Version、Resource、Scope、Component、HTTP contentType、HTTP code（响应的HTTP状态码）和Client。
apiserver_request_no_resourceversion_list_total	Counter	对API Server的请求中参数未配置`resourceVersion`的LIST请求的计数。评估Quorum Read类型的LIST请求可以定位是否存在过多的此类请求以及发起相应请求的客户端，以便优化客户端的请求行为，提高集群性能。请求的维度包括Group、Version、Resource、Scope和Client。
apiserver_current_inflight_requests	Gauge	API Server当前处理的请求数量。请求包括两种： ReadOnly：这类请求不会改变集群的状态，通常为读取资源的操作，例如获取Pods列表、查询节点状态等。 Mutating：这类请求会改变集群的状态，通常为创建、更新或删除资源的操作，例如新建Pod、更新Service配置等。
apiserver_dropped_requests_total	Counter	API Server执行限流策略过程中，主动丢弃掉的请求数。HTTP返回值为`429 'Try again later'`。
etcd_request_duration_seconds_bucket	Histogram	该指标用于统计API Server对etcd请求的访问时延分布。请求的维度包括操作（Operation）和操作对象的类型（Type）。 Bucket阈值为`{0.005, 0.025, 0.05, 0.1, 0.2, 0.4, 0.6, 0.8, 1.0, 1.25, 1.5, 2, 3, 4, 5, 6, 8, 10, 15, 20, 30, 45, 60}`。单位：秒。
apiserver_admission_controller_admission_duration_seconds_bucket	Gauge	准入控制器（Admission Controller）的处理延时。标签包括Admission Controller名称、操作（CREATE、UPDATE、CONNECT等）、API资源、操作类型（validate或admit）和请求是否被拒绝（true或false）。 Bucket阈值为`{0.005, 0.025, 0.1, 0.5, 2.5}`。单位：秒。
apiserver_admission_webhook_admission_duration_seconds_bucket	Gauge	准入Webhook（Admission Webhook）的处理延时。标签包括Admission Controller名称、操作（CREATE、UPDATE、CONNECT等）、API资源、操作类型（validate，校验请求的合法性，或admit，在请求合法的情况下，决定是否允许该请求）和请求是否被拒绝（true或false）。 Bucket的阈值为`{0.005, 0.025, 0.1, 0.5, 2.5}`。单位：秒。
apiserver_admission_webhook_admission_duration_seconds_count	Counter	准入Webhook（Admission Webhook）的处理请求统计。标签包括Admission Controller名称、操作（CREATE、UPDATE、CONNECT等）、API资源、操作类型（validate或admit）和请求是否被拒绝（true或false）。
cpu_utilization_core	Gauge	CPU使用量。单位：核（Core）。
memory_utilization_byte	Gauge	内存使用量。单位：字节（Byte）。
up	Gauge	服务可用性。 1：表示服务可用。 0：表示服务不可用。

大盘使用指导

大盘基于组件指标和相关PromQL绘制，包括关键指标、概览、资源分析、QPS和时延、准入控制器和Webhook、客户端分析部分。

大盘功能解析如下，常见的使用顺序为：

查看关键指标，以便快速查看集群关键指标。
查看概览，以便分析API Server的响应时延、当前处理请求数和是否有限流发生。
查看资源分析，以便查看托管侧组件的资源水位。
查看QPS和时延，以便通过多维度深入分析QPS、RT。
查看注入控制器和Webhook，以便分析准入控制器和Webhook的QPS、RT。
查看客户端分析，以便通过客户端多维度分析QPS。

筛选框

在大盘上方，您可以根据筛选框配置观测API Server请求的Verb、资源（Resource）、分位数（Quantile）和面板使用的PromQL的采样时长（Interval）。

说明

调整分位数（Quantile）时，以0.9为例，表示大盘上Histogram类型指标的采样值的数量占该类型指标总体采样值的90%。分位数为0.9（简称为P90）的指标可以去除采样值占比小的长尾样本的影响，分位数为0.99（简称为P99）的指标会包含长尾样本的影响。

筛选框

以下筛选框可以选择观测的时间段和页面刷新周期。

筛选框2