今天使用Spark进行RDD操作,当我开始运行程序时,出现
Caused by: java.lang.ClassNotFoundException: scala.Product$class,
我最后检查了下,发现我项目里面的spark-core版本和整个项目的scala版本不一致所导致的。
我用Maven构建的项目,pom.xml文件部分结构如下:
由于我之前出错的原因是:spark-core依赖我写的
spark-core_2.11 最后导致运行出错,这里的artifactId中的spark-core_2.12要和scala 2.12.0版本一致。
版权声明:本文为qq_38364053原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。