且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

hive distict 和 count 操作reducer只有一个的问题

更新时间:2022-09-18 12:33:38

select count(distinct *) from table;

这样写会生成一个job 只有一个reducer执行,可以改为如下:

select count(*) from (

select distinct * from table) t;

这样生成两个job,可有多个reducer执行,效率提升










本文转自 落花非有意  51CTO博客,原文链接:http://blog.51cto.com/1992zhong/1749452,如需转载请自行联系原作者