hive count distinct
时间：2022-04-25 13:08
select count(distinct user_id) from dm_user where ds=20150701;
使用disticnt函数，所有的数据只会shuffle到一个reducer上，导致reducer数据倾斜严重
优化后为
set mapred.reduce.tasks=50;
select count(*) from
(select user_id from dm_user where ds=20150701 group by user_id)t;
order by全局排序，只有一个reduce
sort by 在一个reduce中排序，distribute by 按字段分为不同的reduce
distribute by 先分为不同的reduce排序，之后在reduce内部排序
版权声明：本文为博主原创文章，未经博主允许不得转载。
本类排行
今日推荐
-
耽梦小说正式版
版本：1.0.0
大小：24.19MB
日期：2024-05-01
-
花都小说免费版
版本：1.0
大小：9.04MB
日期：2024-05-01
-
经典离线小说阅读器完整版
版本：1.0.9.100
大小：13.02MB
日期：2024-05-01
-
领读免费小说新版
版本：1.00
大小：12.74MB
日期：2024-05-01
-
书芽书源阅读器完整版
版本：1.2.2
大小：16.12MB
日期：2024-05-01
-
抖味家常菜食谱制作完整版
版本：1.0.0
大小：50.99MB
日期：2024-05-01
