Exception in thread “main” org.apache.hadoop.mapred.InvalidJobConfException: Output directory not se

  • Post author:
  • Post category:其他


当从SparkSql得到的dataFrame,映射成RDD之后向hbase中直接保存数据的时候报错:

Exception in thread “main” org.apache.hadoop.mapred.InvalidJobConfException: Output directory not set in JobConf.

采用的是saveAsNewApiHadoopDataSet

但是更换为saveAsHadoopDataset就可以使用,不知道在哪里出现了错误,对比发现应该是 没有使用sc.hadoopConfiguration,而是使用的JobConf 作为参数,新API不能用旧的configuration 。



版权声明:本文为mtj66原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。