hadoop 伪分布式安装

  • Post author:
  • Post category:其他


1.安装虚拟机和Ubuntu 这个比较简单不会的上网百度

装完Ubuntu 后建议装VMware-tool,装这个软件时会遇到一些坑


https://blog.csdn.net/qq_39930290/article/details/82188582


解决上述的坑之后,再找一片博客装一下vmware-tool。

vmware-tools的作用是,windows下的文件可以直接赋值到虚拟机上,不然如果虚拟机上一下文件下载不下来就只能用xftp传输,xftp传输配置也比较麻烦。还是建议装一个VMware-tool

2.在Ubuntu中安装jdk 这个也比较简答,自己安装的jdk目录需要记住

3.安装hadoop(先看下面的错误,和教程结合起来卡看)


https://www.cnblogs.com/chenlove/p/10733878.html


当然按照这篇博客写的我也遇到了一些错误

1.配置完.bashrc文件后,source .bashrc时报错:bash: /usr/local/hadoop/bin/hadoop :Permission denied

sudo chmod 777 /usr/local/hadoop 权限给的不对

2.配置完伪分布式的文件后还需要修改

/usr/local/hadoop/etc/hadoop/hadoop-env.sh

中的 JAVA_HOME 大约在4%-6%左右的位置(vim 能显示阅读到%)

export JAVA_HOME = …(jdk安装的目录)

不然打开hadoop时会报一个 java 什么的错误,记不清了。

3.还有要配置一个localhost 回环地址,启动时若出现回环地址报错,百度一下,记不清问题叫啥了。

4.还要配置 /etc/profile 中加入

export JAVA_LIBRARY_PATH=’/usr/loacl/hadoop/lib/native’

至于报啥错记不清了,报错的提示里有个native,遇到相关问题也可自行百度

以上两个问题,在安装时忘记截图了,记不清是什么错误了,一般能百度到

5.初始化节点 就初始化一次,别初始化多次,hdfs namenode -format命令就运行一次,不然会出现DataNode进程找不到,如果找不到,自行百度,然后每次运行完hadoop时,都要stop-all.sh。