博客

15.Docker（六）—–当前最安全的容器技术（理解Docker安全、容器资源控制、Docker安全加固）

  • Post author:
  • Post category:其他


Docker安全、容器资源控制、Docker安全加固



一、Docker安全概念解释

  • Docker容器的安全性，很大程度上依赖于Linux系统自身，评估Docker的安全性时，主要考虑以下几个方面： 
Linux内核的命名空间机制提供的容器隔离安全 。
Linux控制组机制对容器资源的控制能力安全。 
Linux内核的能力机制所带来的操作权限安全 。
Docker程序（特别是服务端）本身的抗攻击性。 
其他安全增强机制对容器安全性的影响



1.Linux内核的命名空间机制提供的容器隔离安全

  • 当docker run启动一个容器时，Docker将在后台为容器创建一个独立的命名空间。命名空间提供了最基础也最直接的隔离。
  • 与虚拟机方式相比，通过Linux namespace来实现的隔离不是那么彻底。
  • 容器只是运行在宿主机上的一种特殊的进程，那么多个容器之间使用的就还是同一个宿主机的操作系统内核。
  • 在 Linux 内核中，有很多资源和对象是不能被 Namespace 化的，比如：时间。 
[root@server1 ~]# docker rm -f demo
demo
[root@server1 ~]# docker run -d --name demo nginx
6101cc7bb4d84f32dc3eaa5592196972b617f3c4f2c77f7adeda9cbc77b6eda9
[root@server1 ~]# docker inspect demo | grep Pid
            "Pid": 13704,
            "PidMode": "",
            "PidsLimit": null,
[root@server1 ~]# cd /proc/13704/
[root@server1 13704]# cd ns/
[root@server1 ns]# ls
ipc  mnt  net  pid  user  uts
[root@server1 ns]#

请添加图片描述



2.Linux内核的能力机制所带来的操作权限安全

  • 能力机制（Capability）是Linux内核一个强大的特性，可以提供细粒度的权限访问控制。
  • 大部分情况下，容器并不需要“真正的”root权限，容器只需要少数的能力即可。
  • 默认情况下，Docker采用“白名单”机制，禁用“必需功能”之外的其他权限。



3.Docker服务端防护

  • 使用Docker容器的核心是Docker服务端，确保只有可信的用户才能访问到Docker服务。
  • 将容器的root用户映射到本地主机上的非root用户，减轻容器和主机之间因权限提升而引起的安全问题。
  • 允许Docker 服务端在非root权限下运行，利用安全可靠的子进程来代理执行需要特权权限的操作。这些子进程只允许在特定范围内进行操作。



4.其他安全特性

  • 在内核中启用GRSEC和PAX，这将增加更多的编译和运行时的安全检查；并且通过地址随机化机制来避免恶意探测等。启用该特性不需要Docker进行任何配置。
  • 使用一些有增强安全特性的容器模板。
  • 用户可以自定义更加严格的访问控制机制来定制安全策略。
  • 在文件系统挂载到容器内部时，可以通过配置只读模式来避免容器内的应用通过文件系统破坏外部环境，特别是一些系统运行状态相关的目录。



Linux控制组机制对容器资源的控制能力安全

当docker run启动一个容器时,Docker将在后台为容器创建一个独立的控制组策略集合。 

[root@server1 ns]# cd /sys/fs/cgroup/
[root@server1 cgroup]# ls
[root@server1 cgroup]# cd cpu
[root@server1 cpu]# ls
[root@server1 cpu]# cd docker/
[root@server1 docker]# ls
6101cc7bb4d84f32dc3eaa5592196972b617f3c4f2c77f7adeda9cbc77b6eda9
[root@server1 docker]# docker ps

请添加图片描述



二、Linux Cgroups容器资源控制

  • Linux Cgroups是限制一个进程组能够使用的资源上限，包括 CPU、内存、磁盘、网络带宽等等的工具。

    • 其对进程进行优先级设置、审计，以及将进程挂起和恢复等操作。
  • Linux Cgroups 给用户暴露出来的操作接口是文件系统。

    • 它以文件和目录的方式组织在操作系统的 /sys/fs/cgroup 路径下。
    • 执行此命令查看：mount -t cgroup 
在 /sys/fs/cgroup 下面有很多诸如 cpuset、cpu、 memory 这样的子目录，也叫子系统。
在每个子系统下面，为每个容器创建一个控制组（即创建一个新目录）。
控制组下面的资源文件里填上什么值，就靠用户执行 docker run 时的参数指定。



1.CPU限额

  • docker run -it –cpu-period=100000 –cpu-quota=20000 ubuntu
  • cpu_period 和 cpu_quota 这两个参数需要组合使用，用来限制进程在长度为 cpu_period 的一段时间内，只能被分配到总量为 cpu_quota 的 CPU 时间，以上设置表示20%的cpu时间。 
[root@server1 ~]# cd /sys/fs/cgroup/cpu/
[root@server1 cpu]# ls
[root@server1 cpu]# mkdir x2
[root@server1 cpu]# ls
[root@server1 cpu]# cd x2
[root@server1 x2]# ls
[root@server1 x2]# cat cpu.shares 
1024
[root@server1 x2]# echo 100 > cpu.shares 
[root@server1 x2]# cat cpu.shares 
100
[root@server1 x2]# dd if=/dev/zero of=/dev/null &
[1] 14314
[root@server1 x2]# top

[root@server1 x2]# echo 14314 > tasks 
[root@server1 x2]# cat tasks 
14314
[root@server1 x2]# top

[root@server1 x2]# dd if=/dev/zero of=/dev/null &
[2] 14340
[root@server1 x2]# top

请添加图片描述

请添加图片描述

请添加图片描述

请添加图片描述

请添加图片描述 

[root@server1 cpu1]# cd /sys/devices/system/cpu/cpu1/
[root@server1 cpu1]# pwd
/sys/devices/system/cpu/cpu1
[root@server1 cpu1]# ls
cache        crash_notes_size  firmware_node  online  subsystem  uevent
crash_notes  driver            node0          power   topology
[root@server1 cpu1]# cat online 
1
[root@server1 cpu1]# echo 0 > online 	#关闭cpu
[root@server1 cpu1]# top

请添加图片描述

请添加图片描述 

[root@server1 cpu1]# echo 1 > online 	#关闭一块cpu
[root@server1 cpu1]# cd /sys/fs/cgroup/cpu/x2/
[root@server1 x2]# echo 1024  > cpu.shares 	
[root@server1 x2]# cat cpu.cfs_quota_us 
-1		#有多少cpu用多少
[root@server1 x2]# cat cpu.cfs_period_us 
100000
[root@server1 x2]# echo 20000 > cpu.cfs_quota_us 	
[root@server1 x2]# cat cpu.cfs_quota_us 
20000		#改为20000是用cpu的20%
[root@server1 x2]# top

请添加图片描述



2.内存限制

  • 容器可用内存包括两个部分：物理内存和swap交换分区。
  • docker run -it –memory 200M –memory-swap=200M ubuntu
  • –memory设置内存使用限额
  • –memory-swap设置swap交换分区限额 
[root@server1 docker]# pwd
/sys/fs/cgroup/cpu/docker
[root@server1 docker]# yum install -y libcgroup-tools.x86_64
[root@server1 memory]# pwd
/sys/fs/cgroup/memory
[root@server1 memory]# mkdir x1
[root@server1 memory]# cd x1
[root@server1 x1]# ls
[root@server1 x1]# cat memory.limit_in_bytes
9223372036854771712
[root@server1 x1]# free -m
[root@server1 x1]# echo 209715200 > memory.limit_in_bytes
[root@server1 x1]# cat memory.limit_in_bytes
209715200
[root@server1 x1]# cd /dev/shm/
[root@server1 shm]# dd if=/dev/zero of=bigfile bs=1M count=100		#写入100MB
[root@server1 shm]# free -m
[root@server1 shm]#

请添加图片描述 

[root@server1 shm]# swapoff -a
[root@server1 shm]# cgexec -g memory:x1 dd if=/dev/zero of=bigfile bs=1M count=300
Killed
[root@server1 shm]# free -m

请添加图片描述

请添加图片描述



3.Block IO限制

  • docker run -it –device-write-bps /dev/sda:30MB rhel7 bash
  • –device-write-bps 限制写设备的bps
  • 目前的block IO限制只对direct IO有效。（不使用文件缓存） 
[root@server1 ~]# docker run -it --rm --device-write-bps /dev/vda:30MB rhel7 bash
bash-4.2# dd if=/dev/zero of=bigfile bs=1M count=200 oflag=direct
200+0 records in
200+0 records out
209715200 bytes (210 MB) copied, 6.62075 s, 31.7 MB/s
bash-4.2# dd if=/dev/zero of=bigfile bs=1M count=200             
200+0 records in
200+0 records out
209715200 bytes (210 MB) copied, 0.180445 s, 1.2 GB/s
bash-4.2#

请添加图片描述



三、Docker容器的安全加固



1.利用LXCFS增强docker容器隔离性和资源可见性

##下载安装lxcfs
[root@server1 ~]# lftp 172.25.15.250
lftp 172.25.15.250:~> cd pub/docs/lxcfs/
lftp 172.25.15.250:/pub/docs/lxcfs> get lxcfs-2.0.5-3.el7.centos.x86_64.rpm 
46660 bytes transferred
lftp 172.25.15.250:/pub/docs/lxcfs> exit
[root@server1 ~]# ls
auth         convoy.tar.gz  harbor                                mario.tar
busybox.tar  docker         harbor-offline-installer-v1.10.1.tgz  nginx.tar
convoy       game2048.tar   lxcfs-2.0.5-3.el7.centos.x86_64.rpm   rhel7.tar
[root@server1 ~]# yum install -y lxcfs-2.0.5-3.el7.centos.x86_64.rpm 
[root@server1 ~]# docker pull ubuntu
Using default tag: latest
latest: Pulling from library/ubuntu
a31c7b29f4ad: Pull complete 
Digest: sha256:b3e2e47d016c08b3396b5ebe06ab0b711c34e7f37b98c9d37abe794b71cea0a2
Status: Downloaded newer image for ubuntu:latest
docker.io/library/ubuntu:latest
[root@server1 ~]# lxcfs /var/lib/lxcfs &
[root@server1 ~]# docker run  -it -m 256m   -v /var/lib/lxcfs/proc/cpuinfo:/proc/cpuinfo:rw  -v /var/lib/lxcfs/proc/diskstats:/proc/diskstats:rw   -v /var/lib/lxcfs/proc/meminfo:/proc/meminfo:rw  -v /var/lib/lxcfs/proc/stat:/proc/stat:rw  -v /var/lib/lxcfs/proc/swaps:/proc/swaps:rw -v /var/lib/lxcfs/proc/uptime:/proc/uptime:rw ubuntu
root@a915da529ff2:/# free -m

请添加图片描述

请添加图片描述

请添加图片描述



2.设置特权级运行的容器：–privileged=true

  • 有的时候我们需要容器具备更多的权限，比如操作内核模块，控制swap交换分区，挂载USB磁盘，修改MAC地址等。
  • docker run -it –name vm1 ubuntu bash 
[root@server1 ~]# docker run -it --rm busybox
/ # ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
16: eth0@if17: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever
/ # ip link set down eth0
ip: SIOCSIFFLAGS: Operation not permitted

[root@server1 ~]# docker run -it --rm --privileged=true busybox
/ # ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
20: eth0@if21: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever
/ # ip link set down eth0
/ # ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
20: eth0@if21: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever
/ #

请添加图片描述

请添加图片描述



3.设置容器白名单：–cap-add

  • –privileged=true 的权限非常大，接近于宿主机的权限，为了防止用户的滥用，需要增加限制，只提供给容器必须的权限。此时Docker 提供了权限白名单的机制，使用–cap-add添加必要的权限。
  • capabilities手册地址：

    http://man7.org/linux/man-pages/man7/capabilities.7.html 
[root@server1 ~]# docker run -it --rm --cap-add=NET_ADMIN busybox
/ # ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
22: eth0@if23: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever
/ # ip addr add 172.28.0.1/24 dev eth0
/ # ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
22: eth0@if23: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet 172.28.0.1/24 scope global eth0
       valid_lft forever preferred_lft forever
/ #

请添加图片描述



4.保证镜像的安全

  • 使用安全的基础镜像
  • 删除镜像中的setuid和setgid权限
  • 启用Docker的内容信任（签名）
  • 最小安装原则
  • 对镜像进行安全漏洞扫描，镜像安全扫描器：Clair
  • 容器使用非root用户运行
  • 对docker宿主机进行安全加固
  • 限制容器之间的网络流量
  • 配置Docker守护程序的TLS身份验证
  • 启用用户命名空间支持(userns-remap)
  • 限制容器的内存使用量
  • 适当设置容器CPU优先级



docker安全遗留问题

  • 主要的内核子系统都没有命名空间，如：

    • SELinux
    • cgroup
    • 在/sys下的文件系统
    • /proc/sys, /proc/sysrq-trigger, /proc/irq, /proc/bus
  • 设备没有命名空间：

    • /dev/mem
    • /dev/sd*文件系统设备
    • 内核模块

      如果你能沟通或攻击的其中之一作为特权的过程中，你可以拥有自己的系统。



5.Docker安全的几种顶尖的开源工具

Docker Bench for Security 对照安全基准审计Docker容器的脚本

Clair API驱动的静态容器安全分析工具，拥有庞大的CVE数据库

Cilium 内核层可感知API的网络和安全工具

Anchore 使用CVE数据和用户定义的策略检查容器安全的工具

OpenSCAP Workbench 用于为各种平台创建和维护安全策略的环境

Dagda 用于在Docker容器中扫描漏洞、特洛伊木马、病毒和恶意软件的工具

Notary 使用服务器加强容器安全的框架，用于以加密方式委派责任

Sysdig Falco 提供了行为活动监控，可深入了解容器


版权声明：本文为qq_44060147原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。