官方介绍
首先我从官网介绍中知道,我们在创建spark应用程序之前 需要先创建
SparkContext
对象,
SparkContext
,会告知 spark 如何去访问集群,要创建
SparkContext
您首先需要构建一个包含有关应用程序信息的
SparkConf
对象。
The first thing a Spark program must do is to create a
SparkContext
object, which tells Spark how to access a cluster.
To create a SparkContext you first need to build a
SparkConf
object that contains information about your application.
SparkConf
从官王的介绍处,我们知道,
SparkContext
是spark应该程序的入口,而创建SparkContext之前,我们需要先创建SparkConf对象, 那么SparkConf 对象的主要 用途是什么呢?
SparkConf
主要用于配置 spark 应用程序, 以键值对的方式,对spark的关键参数,做设置,我们在创建的 SparkConf 对象
设置的spark 参数 优先级会高于 Spark环境中的配置信息;
一般来说,每个Spark应用程序的配置
必须包含 Master和 AppName 两个配置,
不过,建议在编写Spark应用程序的时候,我们不能采用硬编码的方式 配置这两项,应该在提交Spark应该程序的时候指定这两项配置.
SparkContext
SparkContext
的主要职能是作为每个Spark应用程序的入口,
会告知如何连接到Spark“集群”
比如 :local、standalone、yarn、mesos, 还可以
通过SparkContext来创建RDD、广播变量到集群
;
在每个active 的JVM中SparkContext 是唯一存在的;