一、cgroup的介绍:
Docker通过Cgroup来控制容器使用的资源配额,包括CPU、内存、磁盘三大方面,基本覆盖了常见的资源配额和使用量控制。Cgroup是Control Groups的缩写,是Linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如CPU、内存、磁盘IO等等)的机制,被LXC、docker等很多项目用于实现进程资源控制。Cgroup本身是提供将进程进行分组化管理的功能和接口的基础结构,I/O或内存的分配控制等具体的资源管理功能。这些具体的资源管理功能称为Cgroup子系统,有以下几大子系统实现:
- blkio:设置限制每个块设备的输入输出控制。例如:磁盘,光盘以及usb等等。
- CPU:使用调度程序为cgroup任务提供CPU的访问。
- cpuacct:产生cgroup任务的CPU资源报告。
- cpuset:如果是多核心的CPU,这个子系统会为cgroup任务分配单独的CPU和内存。
- devices:允许或拒绝cgroup任务对设备的访问。
- freezer:暂停和恢复cgroup任务。
- memory:设置每个cgroup的内存限制以及产生内存资源报告。
- net_cls:标记每个网络包以供cgroup方便使用。
- ns:命名空间子系统。(按照逻辑管理分配)
- perf_event:增加了对每个group的监测跟踪的能力,可以监测属于某个特定的group的所有线程以及运行在特定CPU上的线程。超出设定的限制会报错!!!
1、实验环境准备:
mkdir /opt/stress
vim /opt/stress/Dockerfile
FROM centos:7
MAINTAINER ZK "ZK@kgc.com"
RUN yum install -y wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress
Cd /opt/stress
docker build -t centos:stress .
2、实验项目之CPU管理:
实验项目1:
1、CPU份额的控制:cpu分配的权重比例不同:1:2
docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10
docker exec -it f135cf852686 bash
Top
docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10
docker exec ba0805ba6812 bash
Top
2、CPU周期限制:
CPU-period:用来指定容器对CPU的使用要在多长时间做一次重新分配。
CPU-quota:在指定的周期内,最多有多长时间来跑这个容器。
docker run -itd --cpu-period 100000 --cpu-quota 200000 centos:stress
docker exec -it 4310d6e2cebc bash
Cat /sys/fs/cgroup/cpu/cpu.cfs_period_us 100000
Cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us 200000
3、CPU核心数的控制:
docker run -itd --name cpu1 --cpuset-cpus 0-1 centos:stress
docker exec -it 07a163e19cfd bash
cat /sys/fs/cgroup/cpuset/cpuset.cpus 0-1
docker exec 07a163e19cfd taskset -c -p 1
docker exec -it 07a163e19cfd bash
Stress -c 10 在容器里面跑10个进程
Top
3、实验项目之内存管理:
1、内存限额:物理内存和swap,
docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M
docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 310M报错
-m:内存
-memory-swap:内存+swap配额
创建的项目不能超出memory-swap
4、实验项目之读写带宽控制
docker run -itd --name containter_A --blkio-weight 600 centos:stress
Docker ps -a
docker exec -it 95a3f75769b2 bash
cat /sys/fs/cgroup/blkio/blkio.weight
docker run -itd --name containter_B --blkio-weight 300 centos:stress
docker exec -it 95a3f75769b2 bash
cat /sys/fs/cgroup/blkio/blkio.weight
5、实验项目之读写速度控制:
docker run -it --device-write-bps /dev/sda:5MB centos:stress
dd if=/dev/zero of=test bs=1M count=1024 oflag=direct 慢
docker run -it centos:stress
dd if=/dev/zero of=test bs=1M count=1024 oflag=direct 快
二、Docker-TLS加密通讯:
- 为了防止链路劫持、会话劫持等问题导致的Docker通中被中间人攻击,c/s两端通过加密的方式通讯。
- 加密算法:
1:对称 DES 3DES AES 长度不同长度越长安全越高,解密速度越慢
2:非对称 RSA 公钥,私钥 公钥:所有人可知(锁) 私钥(钥匙)个人身份信息,不可抵赖。
3:证书:个人信息,密钥,有效期
4:ca: 证书颁发机构ca证书
密钥key—》身份签名csr—》(服务器/客户端)(结合ca.pem)制作证书pem
证书pem发送给客户端,客户端验证就使用证书验证 - 代码实现:
openssl genrsa -aes256 -out ca-key.pem 4096
openssl req -new -x509 -days 1000 -key ca-key.pem -sha256 -subj "/CN=*" -out ca.pem
openssl genrsa -out server-key.pem 4096
openssl req -subj "/CN=*" -sha256 -new -key server-key.pem -out server.csr
openssl x509 -req -days 1000 -sha256 -in server.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out server-cert.pem
openssl req -subj "/CN=client" -new -key key.pem -out client.csr
echo extendedKeyUsage=clientAuth > extfile.cnf
openssl x509 -req -days 1000 -sha256 -in client.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out cert.pem -extfile extfile.cnf
rm -rf ca.srl client.csr extfile.cnf server.csr
ExecStart=/usr/bin/dockerd --tlsverify --tlscacert=/tls/ca.pem --tlscert=/tls/server-cert.pem --tlskey=/tls/server-key.pem -H tcp://0.0.0.0:2376 -H unix:///var/run/docker.sock
systemctl daemon-reload
systemctl restart docker
docker --tlsverify --tlscacert=ca.pem --tlscert=cert.pem --tlskey=key.pem -H tcp://master:2376 version
scp ca.pem root@14.0.0.11:/etc/docker
scp cert.pem root@14.0.0.11:/etc/docker
scp key.pem root@14.0.0.11:/etc/docker
docker --tlsverify --tlscacert=ca.pem --tlscert=cert.pem --tlskey=key.pem -H tcp://master:2376 version