且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

Hive 关于merge的几个参数

更新时间:2022-08-12 17:30:48

hive.mergejob.maponly

hive.merge.mapfiles

hive.merge.mapredfiles

这三个参数是merge以哪种方式的输出文件,以及以哪种方merge.听起来是不是很绕J

hive.merge.mapfiles(defaulttrue):这个参数是用来控制是否merge MAP-ONLYJob的文件输出(如果在Hive里设置了支持DP的话,并且涉及到含有DP列的表,如果Hadoop不支持CombineInputFormat,即版本pre-0.20的话那么这个参数和下个参数是不生效的,即都是false

hive.merge.mapredfiles(defaultfalse):这个参数是用来控制merge MAP-REDUCEJob的文件输出

hive.mergejob.maponly(defaulttrue):这个参数是用来控制是以MAP-ONLY的形式来进行merge(这里有个前提条件就是需要Hadoop支持CombineInputFormat0.20之前的即使设置了这个参数true也不会生效)或者以MAP-REDUCE的形式来进行merge.不过关于这个参数还有一个未修复的Bughttps://issues.apache.org/jira/browse/HIVE-2869)因此默认值是true



本文转自MIKE老毕 51CTO博客,原文链接:http://blog.51cto.com/boylook/1319296,如需转载请自行联系原作者