博客

最近用Spark Streaming从Kafka接数据进行处理，是对中文的内容进行计算。发现处理时中文全变成了????????的形式，导致处理的结果和预期的不一样。但把数据放在redis或者放入下游的kafka topic，中文又正常了。为了防止是因为打日志的编码问题导致的判断出错，专门对算法进行了判断，的确就是对?????的东西处理了，而不是原中文字符串。

遇到这种情况，想到的就是编码问题，因为在在本地运行spark streaming是可以处理中文的，放到集群上就不行了，在程序中输出

Charset.defaultCharset()   或者   System.getProperty(“file.encoding”) 可以查看程序运行时环境的编码

进行对比，发现本地的是Utf-8，是理想的。而提交到集群上的任务，输出为ISO-8859-1，直接导致了程序运行时处理的中文都变成了?????

解决方案是修改一下提交spark任务的客户端配置(提交该任务的机器，不是去修改集群)，找到spark-env.sh比如/etc/spark/conf/spark-env.sh，设置

export SPARK_JAVA_OPTS=” -Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8 ”

再次提交任务后，发现中文可以正常的处理了。