Hive如何分组取Top N

小编给大家分享一下Hive如何分组取Top N，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

Hive分组取Top N

Hive在0.11.0版本开始加入了row_number、rank、dense_rank分析函数，可以查询分组排序后的top值

使用规则：

row_number() over ([partition col1] [order by col2] )

rank() over ( [partition col1] [order by col2] )

dense_rank() over ( [partition col1] [order by col2] )

它们都是根据col1字段分组，然后对col2字段进行排序，对排序后的每行生成一个行号，这个行号从1开始递增

col1、col2都可以是多个字段，用','分隔

区别

1）row_number：不管col2字段的值是否相等，行号一直递增， 比如：有两条记录的值相等，但一个是第一，一个是第二

2）rank：上下两条记录的col2相等时，记录的行号是一样的，但下一个col2值的行号递增N（N是重复的次数），比如：有两条并列第一，下一个是第三，没有第二

3）dense_rank：上下两条记录的col2相等时，下一个col2值的行号递增1， 比如：有两条并列第一，下一个是第二

row_number可以实现分页查询

实际操作

创建表

create table t(name string, sub string, score int) row format delimited fields terminated by '\t';

数据在附件的a.txt里

a    chinese    98a    english    90d    chinese    88c    english    82c    math    98b    math    89b    chinese    79z    english    90z    math    89z    chinese    80e    math    99e    english    87d    english    90加载数据load data local inpath '/home/hadoop/hive-example/a.txt' into table tb4;

分组排序

--row_numberselect *, row_number() over (partition by sub order by score) as od from t; --rankselect *, rank() over (partition by sub order by score) as od from t; --dense_ranselect *, dense_rank() over (partition by sub order by score desc) from t;

业务实例

--统计每个学科的前三名select * from (select *, row_number() over (partition by sub order by score desc) as od from t ) t where od<=3;--语文成绩是80分的排名是多少select od from (select *, row_number() over (partition by sub order by score desc) as od from t ) t where sub='chinese' and score=80;--分页查询select * from (select *, row_number() over () as rn from t) t1 where rn between 1 and 5;

以上是"Hive如何分组取Top N"这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注行业资讯频道！