Hadoop学习笔记———《Mac OS X 下hadoop2.6.0安装教程》

  • Post author:
  • Post category:其他



官网2.6.0的安装教程:

http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html


hdfs指令:

http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/FileSystemShell.html



1、



安装jdk




下载地址:


https://java.com/zh_CN/download/manual.jsp




2、ssh免密码登陆


2.1、在终端命令行下输入:


$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa



其中”里的是登陆的密码,因为要设置免密码,所以”里是什么都没有的,空格也不行


2.2、

在终端命令行下输入:


$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys


2.3、


在终端命令行下输入:


$ ssh -version 


如果不需要密码则成功了



3、Hadoop下载


官网下载地址:

http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/


选择

hadoop-2.6.0.tar.gz下载,如果用safari浏览器下载,自动解压成

hadoop-2.6.0.tar,在终端命令行输入:





$ tar xzf hadoop-2.6.0.tar




如果没有自动解压,在终端命令行输入:


$ tar zxvf hadoop-2.6.0.tar.gz


解压到自己设定的目录,例如/users/lichengjin/hadoop-2.6.0/



4、Hadoop配置


4.1、配置etc/hadoop/hadoop-env.sh


修改如下;

# The java implementation to use.
export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home


4.2、配置 etc/hadoop/core-site.xml


修改如下:


<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>



4.3、配置 etc/hadoop/hdfs-site.xml


修改如下:


<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/users/lichengjin/hadoop-2.6.0/dfs/name</value>
	</property>
	<property>
		<name>dfs.datannode.data.dir</name>
		<value>/users/lichengjin/hadoop-2.6.0/dfs/data</value>
	</property>
</configuration>


4.4、配置 etc/hadoop/mapred-site.xml


发现etc/hadoop/下没有mapred-site.xml文件,但是有一个名为mapred-site.xml.template的文件,只需要将其复制并重命名为mapred-site.xml即可


修改如下:


<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://localhost:9000</value>
	</property>
	<property>
		<name>mapred.job.tracker</name>
		<value>hdfs://localhost:9001</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>


4.5、配置 etc/hadoop/yarn-site.xml


修改如下:


<configuration>
<!-- Site specific YARN configuration properties -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>




5、

格式化一个新的分布式文件系统:











$ bin/hadoop namenode -format



6、启动Hadoop守护进程

$ sbin/start-all.sh


成功的话,运行jps查看进程应该是类似如下形式:
8905 SecondaryNameNode
595
8818 DataNode
9959 NodeManager
9167 NameNode
9883 ResourceManager
10002 Jps


可能遇到的问题:

1、

在mac系统下出现:



Unable to load realm info from SCDynamicStore



解决方案:

在etc/hadoop/hadoop-env.sh中加入

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

2、

在mac系统下出现:


ssh: connect to host localhost port 22: Connection refused





解决方案:







打开系统偏好设置 —— 共享,选中远程登录——允许访问——所有用户





输入以下测试:







$ ssh localhost



无需密码,配置成功



版权声明:本文为lcj369387335原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。