1. 首页
  2. 大数据
  3. Sqoop教程

【Sqoop教程】(二)Sqoop安装及简单命令

本文讲解sqoop的安装方式,以及简单的命令使用。

Sqoop安装

  • 通过Ftp工具将sqoop-1.4.6-cdh5.11.1.tar.gz传输到我们的虚拟机中并解压:
    tar -zxvf sqoop-1.4.6-cdh5.11.1.tar.gz
  • 配置文件
    只需要配置sqoop-env.sh 即可
[root@master conf]# cd /usr/local/sqoop-1.4.6-cdh5.11.1/
[root@master sqoop-1.4.6-cdh5.11.1]# vim conf/sqoop-env.sh 

将hadoop hbase hive目录配置进去 (根据自己需求 要用哪个配哪个 比如hbase你不用就直接注释就好了)

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/usr/local/hadoop-2.6.0-cdh5.11.1

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/local/hadoop-2.6.0-cdh5.11.1

#set the path to where bin/hbase is available
export HBASE_HOME=/usr/local/hbase-1.2.0-cdh5.11.1

#Set the path to where bin/hive is available
export HIVE_HOME=/usr/local/hive-1.1.0-cdh5.11.1

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/usr/local/zookeeper-3.4.5-cdh5.11.1/conf

Sqoop命令初识

学大数据技术,我觉得安装好一个软件之后,首先就是去看一下它的帮助命令help。这样你可以清楚它到底能干嘛,有哪些命令可以供你使用。

[root@master /]# cd /usr/local/sqoop-1.4.6-cdh5.11.1/bin/
[root@master bin]# ./sqoop help
Available commands:
  codegen            Generate code to interact with database records
  create-hive-table  Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables  Import tables from a database to HDFS
  import-mainframe   Import datasets from a mainframe server to HDFS
  job                Work with saved jobs
  list-databases     List available databases on a server
  list-tables        List available tables in a database
  merge              Merge results of incremental imports
  metastore          Run a standalone Sqoop metastore
  version            Display version information

在所有列出来的命令中,我认为eval 、import-all-tables、 job、 list-databases、 list-tables是需要了解的,export、import是需要重点掌握的 其他可以暂时不管 遇到再说!

那我们来实操一下两个最简单的命令。不会用没关系,别一来就百度,有help命令就行了!

  • list-databases列出所有数据库
[root@master bin]# ./sqoop list-databases --help
//篇幅问题,我省略了很多,只留下必须要填的参数,其他读者自行去实操
Common arguments:
   --connect <jdbc-uri>                                       Specify JDBC
                                                              connect
   --password <password>                                      Set
                                                              authenticati
                                                              on password
   --username <username>                                      Set
                                                              authenticati
                                                              on username

通过查看help 我们就知道 假如你要列出所有的database 那么需要填写jdbc相关连接信息,用户名密码。。。

[root@master bin]# ./sqoop list-databases --connect jdbc:mysql://master:3306 --username root --password 123456
18/05/04 20:37:48 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.11.1
18/05/04 20:37:49 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
employees
hive
mysql
performance_schema
retailers
sys
test
weblog
  • list-tables列出指定数据库的所有表
[root@master bin]# ./sqoop list-tables --connect jdbc:mysql://master:3306/weblog --username root --password 123456
user
weblog

BDStar原创文章。发布者:Liuyanling,转载请注明出处:http://bigdata-star.com/archives/938

发表评论

登录后才能评论

联系我们

562373081

在线咨询:点击这里给我发消息

邮件:562373081@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code