scala+maven生成spark项目步骤

  • Post author:
  • Post category:其他


1.新建maven project


如果没有scala选项,之前的文章有教怎么创建,链接

http://blog.csdn.net/hylexus/article/details/52602774


至此,maven项目构建完成。

2.整合scala,在项目上点击右键,configure-add scala nature


修改pom.xml中的依赖文件,就可以开始写scala了。

<dependencies>
 <dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-core_2.10</artifactId>
	<version>2.2.0</version>
 </dependency>
 <dependency>
	<groupId>org.scala-lang</groupId>
	<artifactId>scala-library</artifactId>
	<version>2.10.4</version>
 </dependency>
</dependencies>

这里可能会出现下面几个错误:

错误一:


解决方法,把<plugins>节点放到<pluginManagement></pluginManagement>里面。

错误二:


解决方法:scala版本不匹配的问题,把scala版本改为2.1,如下图所示


错误三:把源代码路径的反斜杠改为.


清理maven仓库方法,在项目上右键-maven-update project


3.写scala代码

右键,新建scala object



4.将项目打包成jar,在项目上点击右键,run as



goals填写完成之后,点击run,即可生成jar包。

编译时会出现找不到assembly之类的错误,原因是要配置pom.xml文件。

加上下面的<plugin>

<plugin>
	<artifactId>maven-assembly-plugin</artifactId>
	<version>2.6</version>
	<configuration>
		<descriptorRefs>
			<descriptorRef>jar-with-dependencies</descriptorRef>
		</descriptorRefs>
	</configuration>
					
</plugin>



版权声明:本文为m0_37558251原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。