Apache Spark
在大数据处理与分析领域，Apache Spark无疑占据着重要地位。它的特点是基于内存计算，支持各类资源管理平台，其中以YARN最为常见，同时又与Hadoop平台集成，在集群节点以HDFS作为分布式文件存储系统。
我们可以先看一下搭建一个常见的Apache Spark大数据平台需要哪些步骤：
1.安装Hadoop集群
2.配置HDFS
3.配置YARN
4.安装Spark
5.配置Spark与YARN集成
事实上如果参阅官方文档，还有更多细节检查与配置，有过大数据相关领域从业经验的人都知道，要搭建一套可用的大数据环境并不容易，再加上后期维护，就更吃力了，而一套稳定的大数据平台正是进行大数据应用开发的基础。根据笔者了解，有不少公司正是因为大数据平台搭建及配置的复杂性等原因，不得不在多个测试环境中，共用一套大数据平台，这种方式长期看维护成本较高，也可能存在安全隐患。
大数据领域需要一些变化，而Kubernetes的出现则提供了契机。
Kubernete（以下简称k8s）是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。通过Kubernetes你可以：
· 快速部署应用
· 快速扩展应用
· 无缝对接新的应用功能
· 节省资源，优化硬件资源的使用
大数据社区
随着K8s社区的发展壮大，微服务及容器化被越来越多的公司应用到生产环境。与此同时，K8s也成为容器编排的首选平台。大数据社区在容器化进程中当然也是不甘落后的。
Spark自2.3开始官方支持K8sFlink自1.9开始官方支持K8sHue官方Helm chart包Hive以MR3为执行引擎支持K8sAirflow自1.10开始支持K8sPresto支持K8s……
可以看到整个大数据社区也在积极支持容器化，但大数据的容器化并不是生硬地将各个组件搬到K8s上，以Spark on YARN为例，核心组件YARN作为资源调度器，其结构如下图所示
下图讲述了Apache Spark on YARN的工作方式：