Hadoop学习之第八章节：Sqoop安装配置
一、Sqoop介绍
Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。
Sqoop目前已经是Apache的顶级项目了，目前版本是1.4.4 和 Sqoop2 1.99.3，本文以1.4.4的版本为例讲解基本的安装配置和简单应用的演示。
版本为：
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
环境变量配置
2.Sqoop参数配置
# Set Hadoop-specific environment variables here.#Set path to where bin/hadoop is available#export HADOOP_COMMON_HOME=#Set path to where hadoop-*-core.jar is available#export HADOOP_MAPRED_HOME=#set the path to where bin/hbase is available#export HBASE_HOME=#Set the path to where bin/hive is available#export HIVE_HOME=
3.驱动jar包
下面测试演示以MySQL为例，则需要把mysql对应的驱动lib文件copy到
4.Mysql中测试数据
CREATE TABLE `demo_blog` ( `id` int(11) NOT NULL AUTO_INCREMENT, `blog` varchar(100) NOT NULL, PRIMARY KEY (`id`)) ENGINE=MyISAM DEFAULT CHARSET=utf8;CREATE TABLE `demo_log` ( `operator` varchar(16) NOT NULL, `log` varchar(100) NOT NULL) ENGINE=MyISAM DEFAULT CHARSET=utf8;插入测试数据：insert into demo_blog (id, blog) values (1, "micmiu.com");insert into demo_blog (id, blog) values (2, "ctosun.com");insert into demo_blog (id, blog) values (3, "baby.micmiu.com");insert into demo_log (operator, log) values ("micmiu", "create");insert into demo_log (operator, log) values ("micmiu", "update");insert into demo_log (operator, log) values ("michael", "edit");insert into demo_log (operator, log) values ("michael", "delete");二 .Sqoop命令操作
1.Sqoop基本命令
（1）列出Mysql中的数据库
sqoop list-databases --connect jdbc:mysql://Master-Hadoop:3306 --username root --password rootroot
（2）列出test数据库中所有的表
sqoop list-databases --connect jdbc:mysql://Master-Hadoop:3306 --username root --password rootroot
（3）从Mysql导入HDFS文件中
sqoop import --connect jdbc:mysql://Master-Hadoop:3306/test --username root --password rootroot --table demo_log --split-by operator --target-dir /usr/sqoop/other
显示错误：找不到表中的类 Class demo_log not found
1.将/tmp/sqoop-root/compile/………下的编译文件复制到 /usr/local/sqoop/lib/下
2.需要以下注释配置
bin/configure-sqoop文件中把以下内容注释掉就可以了## Moved to be a runtime check in sqoop.#if [ ! -d "${HBASE_HOME}" ]; then# echo "Warning: $HBASE_HOME does not exist! HBase imports will fail."# echo 'Please set $HBASE_HOME to the root of your HBase installation.'#fi## Moved to be a runtime check in sqoop.#if [ ! -d "${HCAT_HOME}" ]; then# echo "Warning: $HCAT_HOME does not exist! HCatalog jobs will fail."# echo 'Please set $HCAT_HOME to the root of your HCatalog installation.'#fi（4）从HDFS中导入到Mysql中
sqoop export --connect jdbc:mysql://Master-Hadoop:3306/test --username root --password rootroot --table dutao --export-dir /usr/other/part-2 --input-fields-terminated-by '\t' -m 1
(5)从mysql中导入到Hive中
sqoop import --connect jdbc:mysql://Master-Hadoop:3306/test --username root --password rootroot --table demo_log --warehouse-dir /user/sqoop/demo_log --hive-import --create-hive-table -m 1
直接导入hive表
sqoop import --connect jdbc:postgresql://ip/db_name--username user_name --table table_name --hive-import -m 5
内部执行实际分三部，1.将数据导入hdfs（可在hdfs上找到相应目录），2.创建hive表名相同的表，3，将hdfs上数据传入hive表中
sqoop根据postgresql表创建hive表
sqoop create-hive-table --connect jdbc:postgresql://ip/db_name --username user_name --table table_name --hive-table hive_table_name( --hive-partition-key partition_name若需要分区则加入分区名称)
导入hive已经创建好的表中
sqoop import --connect jdbc:postgresql://ip/db_name --username user_name --table table_name --hive-import -m 5 --hive-table hive_table_name (--hive-partition-key partition_name --hive-partition-value partititon_value);
使用query导入hive表
sqoop import --connect jdbc:postgresql://ip/db_name --username user_name --query "select ,* from retail_tb_order where \$CONDITIONS" --hive-import -m 5 --hive-table hive_table_name (--hive-partition-key partition_name --hive-partition-value partititon_value);
注意：$CONDITIONS条件必须有，query子句若用双引号，则$CONDITIONS需要使用\转义，若使用单引号，则不需要转义。
（6）将hive中的表数据导入到mysql数据库表中
sqoop export --connect jdbc:mysql://Master-Hadoop:3306/test --username root --password rootroot --table demo_log --export-dir /user/hive/warehouse/demo_log/000000_1 --input-fields-terminated-by '\0001'
在进行导入之前，mysql中的表 demo_log 必须已经提起创建好了。
1.将数据从关系数据库导入文件到hive表中，--query 语句使用
sqoop import --append --connect jdbc:mysql://192.168.20.118:3306/test --username dyh --password 000000 --query "select id,age,name from userinfos where \$CONDITIONS" -m 1 --target-dir /user/hive/warehouse/userinfos2 --fields-terminated-by ",";
2.将数据从关系数据库导入文件到hive表中，--columns --where 语句使用
sqoop import --append --connect jdbc:mysql://192.168.20.118:3306/test --username dyh --password 000000 --table userinfos --columns "id,age,name" --where "id > 3 and (age = 88 or age = 80)" -m 1 --target-dir /user/hive/warehouse/userinfos2 --fields-terminated-by ",";
注意：--target-dir /user/hive/warehouse/userinfos2 可以用 --hive-import --hive-table userinfos2 进行替换
(6)Hdfs与Hive之间数据
1.从Hive导出到本地系统
hive> insert overwrite local directory '/home/wyp/wyp' > select * from wyp;
2.从本地系统到Hive中
先在Hive里面创建好表，
hive> create table wyp > (id int, name string, > age int, tel string) > ROW FORMAT DELIMITED > FIELDS TERMINATED BY '\t' > STORED AS TEXTFILE;OKTime taken: 2.832 seconds
本地文件系统里面有个/home/wyp/wyp.txt文件
[wyp@master ~]$ cat wyp.txt1 wyp 25 131888888888882 test 30 138888888888883 zs 34 899314121
wyp.txt文件中的数据列之间是使用\t分割的，可以通过下面的语句将这个文件里面的数据导入到wyp表里面，操作如下：
hive> load data local inpath 'wyp.txt' into table wyp;Copying data from file:/home/wyp/wyp.txtCopying file: file:/home/wyp/wyp.txtLoading data to table default.wypTable default.wyp stats:[num_partitions: 0, num_files: 1, num_rows: 0, total_size: 67]OKTime taken: 5.967 seconds
2.从Hive导出到HDFS
hive> insert overwrite directory '/home/wyp/hdfs' > select * from wyp;
