本文介绍了使用Spark连接Mysql的五种方式。
主要内容：
不指定查询条件
指定数据库字段的范围
根据任意字段进行分区
通过load获取，和方式二类似
加载条件查询后的数据
1.不指定查询条件
def main(args: Array[String]): Unit = {
val spark =
SparkSession.builder()
.appName(“MysqlSupport”)
.master(“local[2]”)
.getOrCreate()
method1(spark)
//method2(spark)
//method3(spark)
//method4(spark)
//method5(spark)
}
/**
* 方式一：不指定查询条件
* 所有的数据由RDD的一个分区处理，如果你这个表很大，很可能会出现OOM
*
* @param spark
*/
def method1(spark: SparkSession): Unit = {
val url = “jdbc:mysql://127.0.0.1:3306/test?user=root&password=root”
val prop = new Properties()
val df = spark.read.jdbc(url, “t_score”, prop)