# 在 rhel9 中默认使用 cgroup-v2 但是 cgroup-v2 中不利于观察 docker 的资源限制情况，所以推荐使用

cgroup-v1

~]# grubby --update-kernel=/boot/vmlinuz-$(uname -r) \
--args="systemd.unified_cgroup_hierarchy=0 \
systemd.legacy_systemd_cgroup_controller"

1.1 命名空间隔离的安全

• 当docker run启动一个容器时，Docker将在后台为容器创建一个独立的命名空间。命名空间提供了最基础也最直接的隔离。
• 与虚拟机方式相比，通过Linux namespace来实现的隔离不是那么彻底。
• 容器只是运行在宿主机上的一种特殊的进程，那么多个容器之间使用的就还是同一个宿主机的操作
• 系统内核。
• 在 Linux 内核中，有很多资源和对象是不能被 Namespace 化的，比如：磁盘等等

MemTotal: 系统中的总物理内存（单位通常是 KiB）。
MemFree: 系统中未被使用的空闲内存。
Buffers: 缓冲区使用的内存。
Cached: 用作缓存的内存，这通常是指文件系统缓存。
SwapCached: 被标记为可交换出去的页面数量。
Active: 当前活跃的内存页数

/proc/meminfo 文件包含了有关系统内存使用情况的信息。
这个文件的内容包括了物理内存、交换空间（swap）以及其他内存相关的统计数据。
这些信息对于监控系统内存使用情况以及诊断潜在的内存问题非常有用。

[root@rockynode-1 ~]# docker run -it --name test busybox
/ # cat /proc/meminfo 
MemTotal:        1784760 kB
MemFree:          181828 kB
MemAvailable:     726136 kB
Buffers:             136 kB
Cached:           634336 kB
SwapCached:         1316 kB
Active:           568164 kB


# 宿主机上
[root@rockynode-1 ~]# cat /proc/meminfo 
MemTotal:        1784760 kB
MemFree:          181828 kB
MemAvailable:     726144 kB
Buffers:             136 kB
Cached:           634344 kB
SwapCached:         1316 kB
Active:           568044 kB

[root@rockynode-1 ~]# docker inspect test | grep Pid
            "Pid": 11360,
            "PidMode": "",
            "PidsLimit": null,


/proc/进程号/ns这些文件实际上是由 Linux 内核提供的，
它们构成了命名空间（namespaces）机制的一部分。
命名空间是 Linux 内核用于实现进程间资源隔离的技术之一，
允许不同的进程拥有独立的视图，比如独立的网络栈、不同的进程 ID 号、不同的挂载点等等。

[root@rockynode-1 ~]# ls /proc/11360/ns
cgroup  ipc  mnt  net  pid  pid_for_children  time  time_for_children  user  uts

1.2 控制组资源控制的安全

• 当docker run启动一个容器时，Docker将在后台为容器创建一个独立的控制组策略集合。
• Linux Cgroups提供了很多有用的特性，确保各容器可以公平地分享主机的内存、CPU、磁盘IO等资源。
• 确保当发生在容器内的资源压力不会影响到本地主机系统和其他容器，它在防止拒绝服务攻击 （DDoS）方面必不可少，因为在遭受攻击的时候多容器的隔离性比较差，是会影响到其他 的容器

目录 /sys/fs/cgroup/memory/docker/<CONTAINER_ID> 是 Docker 容器的 cgroup 控制组的一部分，专门用于管理内存资源。

memory.limit_in_bytes：设置容器的最大可用内存（以字节为单位）。
memory.usage_in_bytes：当前容器使用的内存总量（以字节为单位）。
memory.failcnt：尝试使用超过限制的次数。
memory.soft_limit_in_bytes：软限制，可以比硬限制稍微宽松一些，但当系统内存压力增大时会被强制执行。
memory.kmem.*：与内核内存管理相关的统计和限制。
memory.max_usage_in_bytes：容器曾经达到的最大内存使用量。
memory.stat：详细的内存统计信息。
memory.usage_in_bytes：当前使用的内存总量。
tasks：这个 cgroup 中的进程列表。

[root@rockynode-1 ~]# docker ps 
CONTAINER ID   IMAGE     COMMAND   CREATED          STATUS          PORTS     NAMES
bcebb976fef2   busybox   "sh"      37 minutes ago   Up 20 minutes             test
[root@rockynode-1 ~]# ls /sys/fs/cgroup/memory/docker/ | grep bcebb976fef2
bcebb976fef21723c3e05e5529e7239d92a3d689fcf1a89d389198fbfdb22924
[root@rockynode-1 ~]#  cd /sys/fs/cgroup/memory/docker/bcebb976fef21723c3e05e5529e7239d92a3d689fcf1a89d389198fbfdb22924/
[root@rockynode-1 bcebb976fef21723c3e05e5529e7239d92a3d689fcf1a89d389198fbfdb22924]# ls
cgroup.clone_children           memory.kmem.slabinfo                memory.memsw.failcnt             memory.soft_limit_in_bytes
cgroup.event_control            memory.kmem.tcp.failcnt             memory.memsw.limit_in_bytes      memory.stat
cgroup.procs                    memory.kmem.tcp.limit_in_bytes      memory.memsw.max_usage_in_bytes  memory.swappiness
memory.failcnt                  memory.kmem.tcp.max_usage_in_bytes  memory.memsw.usage_in_bytes      memory.usage_in_bytes
memory.force_empty              memory.kmem.tcp.usage_in_bytes      memory.move_charge_at_immigrate  memory.use_hierarchy
memory.kmem.failcnt             memory.kmem.usage_in_bytes          memory.numa_stat                 notify_on_release
memory.kmem.limit_in_bytes      memory.limit_in_bytes               memory.oom_control               tasks
memory.kmem.max_usage_in_bytes  memory.max_usage_in_bytes           memory.pressure_level

查询容器与宿主机的内存总用量，可以发现基本上一样。说明cgroup组隔离还是不够

1.3 内核能力机制

• 能力机制（Capability）是Linux内核一个强大的特性，可以提供细粒度的权限访问控制。
• 大部分情况下，容器并不需要“真正的”root权限，容器只需要少数的能力即可。
• 默认情况下，Docker采用“白名单”机制，禁用“必需功能”之外的其他权限

/proc/进程号/ns这些文件实际上是由 Linux 内核提供的，
它们构成了命名空间（namespaces）机制的一部分。
命名空间是 Linux 内核用于实现进程间资源隔离的技术之一，
允许不同的进程拥有独立的视图，比如独立的网络栈、不同的进程 ID 号、不同的挂载点等等。

[root@rockynode-1 ~]# ls /proc/11360/ns
cgroup  ipc  mnt  net  pid  pid_for_children  time  time_for_children  user  uts

1.4 Docker服务端防护

• 使用Docker容器的核心是Docker服务端，确保只有可信的用户才能访问到Docker服务。
• 将容器的root用户映射到本地主机上的非root用户，减轻容器和主机之间因权限提升而引起的安全问题。
• 允许Docker 服务端在非root权限下运行，利用安全可靠的子进程来代理执行需要特权权限的操作。 这些子进程只允许在特定范围内进行操作。

[root@rockynode-1 ~]# ls -ld /var/lib/docker/   #默认docker是用root用户控制资源的
drwx--x---. 12 root root 171  8月 31 00:48 /var/lib/docker/