1. 首页
  2. 大数据
  3. Sqoop教程

【Sqoop教程】(一)Sqoop概述(产生背景、企业应用及架构)

产生背景

关系型数据库(mysql\oracle等)和Hdfs\Hive\Hbase之间的互导在企业中用的非常广泛,比如我们的业务数据写入mysql、每天需要把它导入到hive中进行大数据批量统计分析,又比如我们的数据经过hive的一些处理后,把符合结果的部分数据又导入到mysql中供前台展示。
那么思考一个问题?如何做到关系型数据库和hadoop的互导呢?是的、可以使用MapReduce方式,mysql的数据通过DBInputFromat进来,再TextOutputFormat导出到hdfs上。当然还有其他方式不一一列举。
但是MR的缺点很显然,太麻烦了,大家都知道MR的代码是比较多比较复杂的,新的业务线就要写一个MR程序,效率很低的。
所以有了Sqoop。

概念

Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(HDFS\Hive\HBase)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。其实Sqoop真的蛮简单的,一张图就能了解它是什么了:
【Sqoop教程】(一)Sqoop概述(产生背景、企业应用及架构)

企业应用

在企业中,sqoop的地位一般是:
【Sqoop教程】(一)Sqoop概述(产生背景、企业应用及架构)

架构

架构不需要去深究,你只需要知道,Sqoop是通过map任务进行import和export的,且可以设置多个map任务。
【Sqoop教程】(一)Sqoop概述(产生背景、企业应用及架构)

【Sqoop教程】(一)Sqoop概述(产生背景、企业应用及架构)

学习建议

Sqoop只是一种工具,我觉得会用就行,非常简单,不需要去深究它的底层原理。建议按照教程的案例动手敲一遍。掌握怎么样互导就行,学习两小时足够了!

BDStar原创文章。发布者:Liuyanling,转载请注明出处:http://bigdata-star.com/archives/881

发表评论

登录后才能评论

联系我们

562373081

在线咨询:点击这里给我发消息

邮件:562373081@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code