博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hive中order by,sort by, distribute by, cluster by作用以及用法
阅读量:5750 次
发布时间:2019-06-18

本文共 1310 字,大约阅读时间需要 4 分钟。

原文:http://blog.csdn.net/jthink_/article/details/38903775

1. order by

    Hive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理(不管有多少map,也不管文件有多少的block只会启动一个reducer)。但是对于大量数据这将会消耗很长的时间去执行。
    这里跟传统的sql还有一点区别:如果指定了hive.mapred.mode=strict(默认值是nonstrict),这时就必须指定limit来限制输出条数,原因是:所有的数据都会在同一个reducer端进行,数据量大的情况下可能不能出结果,那么在这样的严格模式下,必须指定输出的条数。

2. sort by

    Hive中指定了sort by,那么在每个reducer端都会做排序,也就是说保证了局部有序(每个reducer出来的数据是有序的,但是不能保证所有的数据是有序的,除非只有一个reducer),好处是:执行了局部排序之后可以为接下去的全局排序提高不少的效率(其实就是做一次归并排序就可以做到全局排序了)。

3. distribute by和sort by一起使用

    ditribute by是控制map的输出在reducer是如何划分的,举个例子,我们有一张表,mid是指这个store所属的商户,money是这个商户的盈利,name是这个store的名字

store:

 

mid money name
AA 15.0 商店1
AA 20.0 商店2
BB 22.0 商店3
CC 44.0 商店4

 

    执行hive语句:

[delphi]   
 
 
  1. select mid, money, name from store distribute by mid sort by mid asc, money asc  

我们所有的mid相同的数据会被送到同一个reducer去处理,这就是因为指定了distribute by mid,这样的话就可以统计出每个商户中各个商店盈利的排序了(这个肯定是全局有序的,因为相同的商户会放到同一个reducer去处理)。这里需要注意的是distribute by必须要写在sort by之前。

 

4. cluster by

    cluster by的功能就是distribute by和sort by相结合,如下2个语句是等价的:

    

[sql]   
 
 
  1. select mid, money, name from store cluster by mid  
[sql]   
 
 
  1. select mid, money, name from store distribute by mid sort by mid  

    如果需要获得与3中语句一样的效果:

 

 

[sql]   
 
 
  1. select mid, money, name from store cluster by mid sort by money  

    注意被cluster by指定的列只能是降序,不能指定asc和desc。

你可能感兴趣的文章
spring cloud(一):微服务架构开篇
查看>>
Centos7安装完毕后无法联网的解决方法
查看>>
iptables防火墙(for linux平台)部署文档二
查看>>
CentOS 5.5 安装MYSQL
查看>>
HTML元素属性测试总结(续篇)
查看>>
【python】编程语言入门经典100例--28
查看>>
Cocos2d-x游戏实例-《跑跑跑》制作教程(第一篇)——加载地图
查看>>
Jquery绑定事件
查看>>
android 资源种类及使用
查看>>
Explorer程序出错
查看>>
JDBC如何进行超时设置
查看>>
java之抽象工厂
查看>>
单链表的操作
查看>>
php mysql事务处理回滚操作
查看>>
log4j2性能剖析
查看>>
修改系统时间 ubuntu
查看>>
Centos7同时运行多个Tomcat
查看>>
Linux的find命令
查看>>
使用CocoaPods过程中的几个问题
查看>>
我的友情链接
查看>>