K8s的基础简介与list-watch机制

  • Post author:
  • Post category:其他




K8s

1,一款由Google开发的容器编排工具,目标是让部署容器化应用简单高效。提供容器编排,资源调度,弹性伸缩,部署管理,服务发现等。

2、为什么要用K8s?

试想下传统的后端部署办法:把程序包(包括可执行二进制文件、配置文件等)放到服务器上,接着运行启动脚本把程序跑起来,同时启动守护脚本定期检查程序运行状态、必要的话重新拉起程序。

设想一下,如果服务的请求量上来,已部署的服务响应不过来怎么办?传统的做法往往是,如果请求量、内存、ceu超过阈值做了告警,运维人员马上再加几台服务器,部署好服务之后,接入负载均衡来分担已有服务的压力。

这样问题就出现了:从监控告警到部署服务,中间需要人力介入!那么,有没有办法自动完成服务的部署、更新、卸载和扩容、缩容呢?

而这就是K8s 要做的事情:自动化运维管理容器化(Docker)程序。

K8s 解决了裸跑Docker的若干痛点:

●单机使用,无法有效集群

●随着容器数量的上升,管理成本攀升

●没有有效的容灾、自愈机制

●没有预设编排模板,无法实现快速、大规模容器调度

●没有统一的配置管理中心工具

●没有容器生命周期的管理工具

●没有图形化运维管理工具



K8s的特性

1,弹性伸缩

使用命令、uI或者基于cP使用情况自动快速扩容和缩容应用程序实例,保证应用业务高峰并发时的高可用性;业务低峰时团收资源,以最小成本运行服务。

2,自我修复

在节点故障时重新启动失败的容器,替换和重新部署,保证预期的副本数量﹔杀死健康检查失败的容器,并且在未准备好之前不会处理客户端请求,确保线上服务不中断。

3,服务发现和负教均衡

K8s为多个容器提供一个统一访问入口并且负载均衡关联的所有容器,使得用户无需考虑容器IP问题。

4,自动发布(默认滚动发布模式)和回滚

K8s采用滚动更新策略更新应用,一次更新一个pod,而不是同时删除所有pod,如果更新过程中出现问题,将回滚更改,确保升级不受影响业务。

5,集中化配置管理和密钥管理

管理机密数据和应用程序配置,而不需要把敏感数据暴露在镜像里,提高敏感数据安全性。

6,存储编排,支持外挂存储并对外挂存储资源进行编排

挂载外部存储系统,无论是来自本地存储,公有云(如Aws),还是网络存储作为集群资源的一部分使用,极大提高存储使用灵活性。



K8s集群架构与组件

K8s 是属于主从设备模型(Master-Slave 架构),即有Master节点负责集群的调度、管理和运维,Slave 节点是集群中的运算工作负载节点

Master组件可以在群集中的任何计算机上运行,但建议Master节点占据一个独立的服务器。因为 Master 是整个集群的大脑,如果NMaster所在节点宕机或不可用,那么所有的控制命令都将失效。除了Master,在K8S 集群中的其他机器被称为 worker Node节点,当某个Node宕机时,其上的工作负载会被Master自动转移到其他节点上去。



核心组件



master节点



1, API server

集群统一入口,以restful方式交给etcd存储

2,scheduler

节点调度,选择node节点应用部署

(预算策略)

(优选策略)

3,controller-manager

处理集群中常规后台任务,一个资源对应一个控制器



node组节点

1,kubelet

Node节点的监听器,以及与Master节点的通讯器。

2, kube-proxy

提供网络代理,负载均衡等操作

Kube-Proxy 本身不是直接给 Pod提供网络,Pod 的网络是由 Kubelet. 提供的,Kube-Proxy实际上维护的是虚拟的 Pod 集群网络。

Kube-apiserver通过监控Kube-Proxy进行对 Kubernetes service 的更新和端点的维护。

在KeS集群中微服务的负载均衡是由Kube-proxy 实现的。Kube-proxy 是K8s集群内部的负载均衡器。它是一个分布式代理服务器,在K8s的每个节点上都会运行一个Kube-proxy 组件。



配置存储中心

1,etcd

Kes 的存储服务。etcd 是分布式键值存储系统,存储了K8s 的关键配置和用户配置,Kss 中仅AeI Server 才具备读写权限,其他组件必须通过API Server 的接口才能读写数据。



K8s的核心概念



1,Pod

Pod是 Kubernetes创建或部署的最小/最简单的基本单位,一个 Pod 代表集群上正在运行的一个进程

一个 Pod 由一个或多个容器组成,Pod 中容器共享网络、存储和计算资源,在同一台 Docker主机上运行。

一个 Pod里可以运行多个容器,又叫边车模式。而在生产环境中一般都是单个容器或着具有强关联互补的多个容器组成一个Pod。

同一个 Pod.之间的容器可以通过localhost 互相访问,并且可以挂载Pod 内所有的数据卷:但是不同的 Pod 之间的容器不能用localnost访问,也不能挂载其他Pod 的数据卷。



2,Pod控剖器

Pod控制器是 Pod 启动的一种模版,用来保证在K8s里启动的 Pod应始终按照用户的预期运行(副本数、生命周期、健康状态检查等)。

K8s 内提供了众多的Pod控制器,常用的有以下几种:

1,Deployment:无状态应用部署。Deployment 的作用是管理和控制 Pod 和Replicaset,管控它们运行在用户期望的状态中。
2,Replicaset:确保预期的Pod副本数量。Replicaset的作用就是管理和控制 pod,管控他们好好干活。
3,Daemonsetr:确保所有节点运行同一类Pod,保证每个节点上都有一个此类Pod运行,通常用于实现系统级后台任务。
4,statefulset:有状态应用部署
5,Job:一次性任务。根据用户的设置,Job 管理的 Pod把任务成功完成就自动退出了。
6,cronjob:周期性计划性任务



3,Label

标签,是K8s 特色的管理方式,便于分类管理资源对象。

Label可以附加到各种资源对象上,例如Node、Pod、Service、c等,用于关联对象、查询和筛选。

一个Label是一个key-value 的键值对,其中key 与value 由用户自己指定。

一个资源对象可以定义任意数量的Label,同一个Label也可以被添加到任意数量的资源对象中,也可以在对象创建后动态添加或者删除。可以通过给指定的资源对象捆绑一个或多个不同的 Label,来实现多维度的资源分组管理功能。



4,Label 选择器(Label selector)



给某个资源对象定义一个Label,就相当于给它打了一个标签:随后可以通过标签选择器(Label selector)查询和筛选拥有某些Label的资源对象。

标签选择器目前有两种:基于等值关系(等于、不等于)和基于集合关系(属于、不属于、存在)。



5,service



在K8s的集群里,虽然每个pod会被分配一个单独的IP地址,但由于Pod是有生命周期的(它们可以被创建,而且销毁之后不会再启动),随时可能会因为业务的变更,导致这个IP地址也会随着Pod 的销毁而消失。

Service就是用来解决这个问题的核心概念。

K8s 中的 Service并不是我们常说的”服务”的含义,而更像是网关层,可以看作一组提供相同服务的Pod的对外访问接口、流量均衡器。service作用于哪些Pod是通过标签选择器来定义的。

在K8s集群中,service可以看作一组提供相同服务的 Pod的对外访问接口。客户端需要访问的服务就是service对象。每个service都有一个固定的虚拟ip (这个ip 也被称为 Ccluster IP),自动并且动态地绑定后端的 Pod,所有的网络请求直接访问Service的虚拟ip, service会自动向后端做转发。

Service除了提供稳定的对外访问方式之外,还能起到负载均衡的功能,自动把请求流量分布到后端所有的服务上,Service可以做到对客户透明地进行水平扩展(scale) 。

而实现 service这一功能的关键,就是 kube-proxy。 kube-proxy运行在每个节点上,监听API Server中服务对象的变化,可通过以下三种流量调度模式:userspace(废弃)、iptables(濒临废弃)、ipvs(推荐,性能最好)来实现网络的转发。



6,Ingress

service 主要负责 K8s集群内部的网络拓扑,那么集群外部怎么访问集群内部呢?这个时候就需要Ingress 了。Ingress 是整个K8S集群的接入层,负责集群内外通讯。

Ingress 是 K8s 集群里工作在OSI 网络参考模型下,第7层的应用,对外暴露的接口,典型的访问方式是 http/https。

service只能进行第四层的流量调度,表现形式是ip+port。Ingress则可以调度不同业务域、不同URL访问路径的业务流量。



7,Name

由于K8s内部,使用”资源”来定义每一种逻辑概念(功能),所以每种”资源”,都应该有自己的”名称”。

"资源"有 api版本(apiversion)、类别(kind)、元数据(metadata)、定义清单(spec)、状态(status)等配置信息。
"名称"通常定义在"资源”的“元数据”信息里。在同一个namespace空间中必须是唯一的。



8,Namespace

随着项目增多、人员增加、集群规模的扩大,需要一种能够逻辑上隔离K8s 内各种“资源”的方法,这就是Namespace。

Namespace 是为了把一个K8s集群划分为若干个资源不可共享的虚拟集群组而诞生的。

不同Namespace内的”资源”名称可以相同,相同Namespace 内的同种“资源”,”名称”不能相同。

合理的使用K8s 的 Namespace,可以使得集群管理员能够更好的对交付到K8s 里的服务进行分类管理和浏览。

K8s 里默认存在的Namespace有: default、kube-system、kube-public等。




:API server的作用功不可没,它是连接的桥梁,是通讯的传唤人。etcd,用于存储配置信息等。ingress的负载体现在,对后端service的负载调度。如轮询等。kubelet是node节点上的,一方面管理,监控node节点中的pod,一方面与master通讯。




:**无状态应用(Stateless Application)**是指应用不会在会话中保存下次会话所需要的客户端数据。每一个会话都像首次执行一样,不会依赖之前的数据进行响应。**有状态的应用(Stateful Application)**是指应用会在会话中保存客户端的数据,并在客户端下一次的请求中来使用那些数据。



list-watch机制创建pod




:用户通过kubectl或其他API客户端提交请求给apiserver来建立一个pod对象副本。apiserver会将pod的信息存入etcd中,etcd在存入pod信息后,会发出一个create信息给apiserver,contorller Manage一直watch apiserver中的事件。apiserver会将收到的create事件发送给contorller manager。contorller manager接收到create事件后,会调用RC来创建副本。在创建完后,apiserver会在etcd中记录这个pod的详细信息。etcd在收到后会再次与apiserver交互,scheduler中也有list-watch机制来监听。apiserver将事件发给scheduler,scheduler会根据调度策略,将pod调度到适合到node上。apiserver将完整的pod信息(包括调度节点)返给etcd并存入。etcd再次与apiserver交互,node节点的kubelet的list-watch监听。apiserver将pod信息发给kubelet,kubelet在node上创建pod。




:既然最后apiserver还是会将pod信息交给其他组件,由其他组件创建、调度等,那为什么还要使用list-watch机制呐?list-watch机制在于对资源的近乎实时性的获取,而且还是在不访问底层数据库etcd的情况下。因为,各个组件的list-watch是在监听etcd与apiserver之间的类似交互的事件。通过监听,来提前获取资源。而且,可以增加过滤条件过滤事件中的信息,获取自己所需的事件信息。如node1节点上的kubelet进程只希望获取自己节点上的 Pod 事件。就可以增加过滤条件。重点在于apiserver还未将事件交给各个组件前,各个组件就已经得到一部分关于pod的信息




:那么,为什么要这种通过监听来提前获取自己所需的关于pod事件的信息呐,

第一,资源的获取能过达到实时性。

第二,最后,Kubernetes List-Watch 用于实现数据同步的代码逻辑。

客户端首先调用API Server 的 List 接口获取相关资源对象的全量数据并将其缓存到内存中,然后启动对应资源对象的 Watch 协程,在接收到 Watch 事件后,再根据事件的类型(比如新增、修改或删除)对内存中的全量资源对象列表做出相应的同步修改。从实现上来看,这是一种全量结合增量的、高性能的、近乎实时的数据同步方式。

总结:list-watch机制,让组件在pod事件的管理中,达到了高性能,起到了对事件实时性的获取。



版权声明:本文为zhouziyu00原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。