安装
解压
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
删除压缩包
rm -rf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
复制到指定目录
mv sqoop-1.4.7.bin__hadoop-2.6.0 /opt/yjx/
修改目录名
mv sqoop-1.4.7.bin_hadoop-2.6.0 sqoop-1.4.7
修改配置文件
vim /etc/profile
export SQOOP_HOME=/opt/yjx/sqoop-1.4.7
export PATH=$SQOOP_HOME/bin:$PATH
让配置文件生效
source /etc/profile
连接mysql的包
cp ~/mysql-connector-java-5.1.32-bin.jar /opt/yjx/sqoop-1.4.7/lib/
添加Hive的Jar包
cp /opt/yjx/apache-hive-3.1.2-bin/lib/hive-exec-3.1.2.jar /opt/yjx/sqoop-1.4.7/lib/.
修改sqoop配置文件
cd /opt/yjx/sqoop-1.4.7/conf/
cp sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh
export HADOOP_COMMON_HOME=/opt/yjx/hadoop-3.1.2
export HADOOP_MAPRED_HOME=/opt/yjx/hadoop-3.1.2
export HIVE_HOME=/opt/yjx/apache-hive-3.1.2-bin
export HBASE_HOME=/opt/yjx/hbase-2.2.5
export ZOOKEEPER_HOME=/opt/yjx/zookeeper-3.4.5export ZOOCFGDIR=/opt/yjx/zookeeper-3.4.5/conf
修改configure-sqoop
[root@node01 ~]# vim /opt/yjx/sqoop-1.4.7/bin/configure-sqoop
删除掉HCatalog，Accumulo检查（切记从后向前删除）
179-196 18dd
134-143 10dd
82-100 19dd
验证
[root@node01 ~]# sqoop version
[root@node01 ~]# sqoop list-databases -connect jdbc:mysql://node01:3306/ -username root -password 123456
启动集群
【123】zkServer.sh start
【1】start-all.sh.
【1】start-hbase.sh
【1】hive –service metastore
【1】hiveserver2
将普通数据库的数据导入到hdfs中
首先启动集群
执行将emp表中数据全部导入
sqoop import \
--connect jdbc:mysql://node01:3306/scott \
--username root \
--password 123456 \
--table emp \
--target-dir /sqoop/empall \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t";
表中的数据就在/sqoop/empall目录下了
查询导入
sqoop import \
--connect jdbc:mysql://node01:3306/scott \
--username root \
--password 123456 \
--target-dir /sqoop/empquery \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select empno,ename from emp where hiredate >= 1987-07-13 and
$CONDITIONS;'
只导入指定的列
sqoop import \
--connect jdbc:mysql://node01:3306/scott \
--username root \
--password 123456 \
--target-dir /sqoop/empcolumn \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns "empno,ename" \
--table emp;
从RDBMS到HDFS关键字导入
sqoop import \
--connect jdbc:mysql://node01:3306/scott \
--username root \
--password 123456 \
--target-dir /sqoop/empkeyword \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table emp \
--where "deptno=30"
RDBMS到Hive
sqoop import \
--connect jdbc:mysql://node01:3306/scott \
--username root \
--password 123456 \
--table emp \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "," \
--hive-overwrite \
--hive-table hive_emp;
提示：该过程分为两步
第一步将数据导入到HDFS ，默认路径为 /user/root
第二步将导入到HDFS的数据迁移到Hive仓库
RDBMS到Hbase
sqoop import \
--connect jdbc:mysql://node01:3306/scott \
--username root \
--password 123456 \
--table emp \
--columns "empno,ename,deptno" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "empno" \
--hbase-table "emp" \
--num-mappers 1 \
--split-by empno;
sqoop1.4.7只支持HBase1.0.1之前的版本的自动创建HBase表的功能
执行
hbase shell
手动创建
hbase> create ‘emp’,‘info’
导出数据
sqoop export \
--connect jdbc:mysql://node01:3306/scott \
--username root \
--password 123456 \
--table emp \
--num-mappers 1 \
--export-dir /sqoop/empall \
--input-fields-terminated-by "\t"
在软件目录下创建
mkdir options
创建脚本
touch opt/sqoop.opt
vim sqoop.opt
export
--connect
jdbc:mysql://node01:3306/scott
--username
root
--password
123456
--table
emp
--num-mappers
1
--export-dir
/sqoopdb/emp
--input-fields-terminated-by
"\t"
执行脚本
sqoop –options-file /opt/yjx/sqoop-1.4.7/options/sqoop.opt