Hadoop入门学习之一:Ubuntu12.04下Hadoop1.0.4的伪分布式安装

  • Post author:
  • Post category:其他


一、安装JDK

1、下载并安装

sudo apt-get install openjdk-6-jdk(安装JDK7为:sudo apt-get install openjdk-7-jdk)

要求输入当前用户密码时输入密码,回车;

要求输入YES/NO时,输入YES,回车,一路向下安装完成;

2、在命令行输入JAVA -VERSION查看是否安装成功

3、配置环境变量

编辑文件/etc/profile,在文件最下面加入以下三行

export JAVA_HOME=/usr/lib/jvm/java-6-openjdk(JAVA所在的实际目录)

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/:$CLASSPATH

二、配置SSH免密码登录

1、安装所需软件

sudo apt-get install install ssh

2、配置ssh免密码登录

ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

3、验证是否成功

ssh localhost

三、安装Hadoop

1、下载Hadoop至服务器

2、解压

tar -xvf hadoop-1.0.4.tar

3、配置Hadoop

以下四个配置文件均在Hadoop解压文件夹的conf/目录下

(1)、配置hadoop-env.sh

修改JAVA_HOME:

export JAVA_HOME=/usr/lib/jvm/java-6-openjdk

(2)、配置core-site.xml

修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

(3)、配置hdfs-site.xml

修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

(4)、配置mapred-site.xml

修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

4、初始化HDFS

bin/hadoop namenode -format

5、启动所有Hadoop服务

bin/start-all.sh

6、验证是否安装成功

打开浏览器,分别输入以下网址:

http://localhost:50030 (MapReduce的Web页面)

http://localhost:50070 (HDfS的web页面)

如果能成功访问,则说明Hadoop安装成功

7、安装成功后,最好将hadoop安装目录及lib目录加入CLASSPATH环境变量,将bin目录加入PATH环境变更,以方便日后MapReduce程序的开发。如下所示:

在/etc/profile文件内设置:

export CLASSPATH=”.:$JAVA_HOME/lib

:/home/ubuntu/hadoop-1.0.4/:/home/ubuntu/hadoop-1.0.4/lib/

:$CLASSPATH”

export PATH=”$JAVA_HOME/bin/:

/home/ubuntu/hadoop-1.0.4/bin

:$PATH”



版权声明:本文为warmspace2008原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。