官网2.6.0的安装教程:
http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html
hdfs指令:
http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/FileSystemShell.html
1、
安装jdk
下载地址:
https://java.com/zh_CN/download/manual.jsp
2、ssh免密码登陆
2.1、在终端命令行下输入:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
其中”里的是登陆的密码,因为要设置免密码,所以”里是什么都没有的,空格也不行
2.2、
在终端命令行下输入:
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
2.3、
在终端命令行下输入:
$ ssh -version
如果不需要密码则成功了
3、Hadoop下载
官网下载地址:
http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/
选择
hadoop-2.6.0.tar.gz下载,如果用safari浏览器下载,自动解压成
hadoop-2.6.0.tar,在终端命令行输入:
$ tar xzf hadoop-2.6.0.tar
如果没有自动解压,在终端命令行输入:
$ tar zxvf hadoop-2.6.0.tar.gz
解压到自己设定的目录,例如/users/lichengjin/hadoop-2.6.0/
4、Hadoop配置
4.1、配置etc/hadoop/hadoop-env.sh
修改如下;
# The java implementation to use.
export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home
4.2、配置 etc/hadoop/core-site.xml
修改如下:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
4.3、配置 etc/hadoop/hdfs-site.xml
修改如下:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/users/lichengjin/hadoop-2.6.0/dfs/name</value>
</property>
<property>
<name>dfs.datannode.data.dir</name>
<value>/users/lichengjin/hadoop-2.6.0/dfs/data</value>
</property>
</configuration>
4.4、配置 etc/hadoop/mapred-site.xml
发现etc/hadoop/下没有mapred-site.xml文件,但是有一个名为mapred-site.xml.template的文件,只需要将其复制并重命名为mapred-site.xml即可
修改如下:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.5、配置 etc/hadoop/yarn-site.xml
修改如下:
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
5、
格式化一个新的分布式文件系统:
$ bin/hadoop namenode -format
6、启动Hadoop守护进程
$ sbin/start-all.sh
成功的话,运行jps查看进程应该是类似如下形式:
8905 SecondaryNameNode
595
8818 DataNode
9959 NodeManager
9167 NameNode
9883 ResourceManager
10002 Jps
可能遇到的问题:
1、
在mac系统下出现:
Unable to load realm info from SCDynamicStore
解决方案:
在etc/hadoop/hadoop-env.sh中加入
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
2、
在mac系统下出现:
ssh: connect to host localhost port 22: Connection refused
解决方案:
打开系统偏好设置 —— 共享,选中远程登录——允许访问——所有用户
输入以下测试:
$ ssh localhost
无需密码,配置成功