千家信息网

sqoop2安装启动

发表于:2025-12-02 作者:千家信息网编辑
千家信息网最后更新 2025年12月02日,(1)安装环境操作系统:Linux(centos6.5)JDK版本:1.7.0_45Hadoop版本:hadoop2.6.0Sqoop2版本:sqoop-1.99.4-bin-hadoop200had
千家信息网最后更新 2025年12月02日sqoop2安装启动

(1)安装环境

操作系统:Linux(centos6.5)

JDK版本:1.7.0_45

Hadoop版本:hadoop2.6.0

Sqoop2版本:sqoop-1.99.4-bin-hadoop200

hadoop安装目录:/usr/local/hadoop/hadoop-2.2.0

Sqoop2安装目录:/usr/local/sqoop/sqoop-1.99.4-bin-hadoop200

Hadoop和Sqoop都是同一个用户hadoop下面,hadoop用户的的家目录:/home/hadoop


(2)修改Sqoop2的配置文件

1、首先修改配置文件/home/hadoop/sqoop-1.99.4-bin-hadoop200/server/conf/sqoop.properties指定hadoop的配置文件所属路径。

将原来的如下配置:

  1. # Hadoop configuration directory

  2. org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/etc/hadoop/conf/

修改为:

  1. # Hadoop configuration directory

  2. org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop/hadoop-2.6.0/etc/hadoop/

2、修改配置文件/home/hadoop/sqoop-1.99.4-bin-hadoop200/server/conf/catalina.properties。

这里即时把/home/hadoop/hadoop-2.2.0/share/hadoop下全部的*.jar包加入到sqoop2的类路径中去。

将原来的如下配置:


  1. common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/lib/hadoop/*.jar,/usr/lib/hadoop/lib/*.jar,/usr/lib/hadoop-hdfs/*.jar,/usr/lib/hadoop-hdfs/lib/*.jar,/usr/lib/hadoop-mapreduce/*.jar,/usr/lib/hadoop-mapreduce/lib/*.jar,/usr/lib/hadoop-yarn/*.jar,/usr/lib/hadoop-yarn/lib/*.jar

修改为:


  1. common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/common/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/common/lib/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/hdfs/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/hdfs/lib/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/mapreduce/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/mapreduce/lib/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/tools/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/tools/lib/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/yarn/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/yarn/lib/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/httpfs/tomcat/lib/*.jar


(3)修改环境变量

直接修改~/.bashrc在文件末尾追加如下内容即可:

  1. export SQOOP_HOME=/usr/local/sqoop/sqoop-1.99.4-bin-hadoop200

  2. export PATH=$SQOOP_HOME/bin:$PATH

  3. export CATALINA_HOME=$SQOOP_HOME/server

  4. export LOGDIR=$SQOOP_HOME/logs


当然完成上述修改后需要在hadoop用户下执行命令来让配置即可生效:


启停sqoop-server:

$SQOOP2_HOME/bin/sqoop.sh server start$SQOOP2_HOME/bin/sqoop.sh server stop或者$SQOOP2_HOME/bin/sqoop2-server start$SQOOP2_HOME/bin/sqoop2-server stop

验证是否启动成功:

方式一:jps查看进程: Bootstrap
方式二:http://hadoop000:12000/sqoop/version

方式三:wget -qO - hadoop000:12000/sqoop/version

启动sqoop客户端:

$SQOOP2_HOME/bin/sqoop.sh client或者$SQOOP2_HOME/bin/sqoop2-shell

为客户端配置服务器:

sqoop:000> set server --host hadoop000 --port 12000 --webapp sqoop

查看服务器端信息:

sqoop:000> show server --all




配置 文件 方式 版本 用户 目录 客户 客户端 服务器 环境 路径 服务 成功 操作系统 信息 内容 变量 命令 所属 末尾 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 上海熙邻网络技术 外资银行软件开发岗 工控机服务器硬盘 sql语句提示数据库无法打开 潍柴动力公司软件开发员工前景 服务器机柜的合理温度 用数据库建立学生成绩表 电子科技互联网工程师是做什么的 平面设计和软件开发哪个好学 惠州旅游软件开发方案 宁波呆呆互联网科技有限公司 如何查到淘宝店的数据库 网络安全比赛啥意思 我为安全献一计网络安全口号 西安爱艺网络技术有限公司 服务器机械硬盘声音大吗 奉贤区网络技术服务哪个好 安装数据库r服务失败 服务器管理工具软件 建立网址数据库实验报告 数据库防火墙性能参数 公安部网络安全宣传片 湖南母婴易购互联网科技 什么软件可以打开考勤数据库 冷链监控软件开发 我的世界服务器怎么加入别人队伍 三一五互联网科技 中国网络技术和美国时间 互联网科技纪录片 内网服务器软件慢
0