博客

首先确保下载了Hadoop，jre等等等等前面所有的准备工序（因为我是有打包好的工具包，所以前面的下载之类的我都没有操心，如有需要可以百度，这里主要讲环境配置）

第一步：

~/.bashrc中添加环境变量：

###我这里注释的两行按逻辑来说直接加到文件里然后source一下就行
###可是我加入后会导致import tensorflow时找不到cuda库，所以在这里注释掉
###大家可以试试先用最简单的source，能一次成功是最好的

#export LD_LIBRARY_PATH=/your/path/to/hadoop/lib/native${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export JAVA_HOME=/your/path/to/jdk1.8.0_171
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
#export LD_LIBRARY_PATH=/your/path/to/jdk1.8.0_171/jre/lib/amd64/server${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export HADOOP_HOME=/your/path/to/hadoop
export PATH=${HADOOP_HOME}/bin:$PATH

source ~/.bashrc

在终端试一下Hadoop fs -ls能够正常运行就证明hadoop配置正确

然后运行自己的.py文件

如果能import tensorflow 但是报错hdfsBuilderConnect(forceNewInstance