hive教程 相关的文章
-
【HIVE教程】(十九)HIVE调优
大数据领域调优是必不可少的,只要调优得当,完全能让你原本需要运行5小时的任务变为1小时完成,大大提高了效率。HIVE的调优方式也非常多,本文一一说明。 使用Explain Expl…
-
【HIVE教程】(十八)HIVE数据倾斜
数据倾斜真的是老生常谈的一个话题,学大数据你必须得掌握数据倾斜和性能调优。因为一旦出现数据倾斜,性能会比期望差很多。通过数据倾斜调优,很有可能让原本需要5小时的作业1小时完成,所以…
-
【HIVE教程】(十七)HIVE与HBASE的整合
HIVE与HBASE的整合实际生产中用的还是比较广泛,比如原始数据集–>Mapreduce清洗–>HBASE–>HIVE,再比如Flume…
-
【HIVE教程】(十六)HIVE压缩
压缩的好处在于,通过压缩减少写入读出磁盘的数据量,这样可以降低I/O来提高查询执行效率。 对中间结果非常大,磁盘速度成为map执行瓶颈的job,尤其有用。。 压缩虽然能降低I/O,…
-
【HIVE教程】(十五)HIVE视图和索引
视图和索引都能对HIVE查询产生一定的优化作用。视图简化了复杂的HIVE查询,使得复杂SQL语句变得简洁明了,而索引的出现提升了查询效率,缩短了查询时间。
-
【HIVE教程】(十四)HIVE客戶端操作(HiveServer2、Beeline)
HiveServer2 之前我们操作HIVE都是cli的方式进入,但这种方式有缺点,不支持远程访问,仅允许使用HiveQL执行查询、更新等操作,所以该方式比较笨拙单一。 例如:我想…
-
【HIVE教程】(十三)HIVE函数(内置函数+UDF\UDAF\UDTF函数)
HIVE中的函数主要可以分为内置函数和自定义UDF函数。 内置函数 内置函数主要分为简单函数、聚合函数、集合函数、特殊函数。 通过show functions查看Hive支持的函数…
-
【HIVE教程】(十二)HIVE参数配置
开发Hive应用时,不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行效率,或帮助定位问题。 HIVE的参数太多,这里就不一一列举,看官网即可:Hive/…
-
【HIVE教程】(十一)hive shell命令行常用参数(-e,-f,-i)
HIVE参数概览 使用help命令查看到所有的hive cli参数,重要的是-d -e -f -S -d:指定变量 -e:命令行直接运行SQL语句 -f:将SQL语句写在文件里 -…
-
【HIVE教程】(十)HIVE 连接(inner、left|right outer join及map join)
HSQL join 用于根据两个或多个表中的列之间的关系,从这些表中查询数据。(HSQL的Join语法跟我们平时熟悉的RDBMS中的SQL很像) 通过案例讲解origin表和cou…