hive并行执行job代码,Hive代码库,德仔网

代码语言

代码分类

【Hive】 hive并行执行job

作者:沅铱 / 发布于2017/3/23/ 405

用过Oracle rac的应该都知道parallel的用途。并行执行的确可以大的加快任务的执行速率，但不会减少其占用的资源。在Hive中也有并行执行的选项。 set hive.exec.parallel=true; //打开任务并行执行 set hive.exec.parallel.thread.number=16; //同一个sql允许最大并行度，默认为8。对于同一个SQL产生的JOB,如果不存在依赖的情况下，将会并行启动JOB，

from (  
select phone,to_phone, substr(to_phone,-1) as key  
from youni_contact4_lxw   
where youni_id='1'   
and length(to_phone) = 11   
and  substr(to_phone,1,2) IN ('13','14','15','18')   
group by phone,to_phone, substr(to_phone,-1)   
) t  
insert overwrite table youni_contact41_lxw partition(pt='0')  
select phone,to_phone where key='0'  
insert overwrite table youni_contact41_lxw partition(pt='1')  
select phone,to_phone where key='1'  
insert overwrite table youni_contact41_lxw partition(pt='2')  
select phone,to_phone where key='2'  
insert overwrite table youni_contact41_lxw partition(pt='3')  
select phone,to_phone where key='3'  
insert overwrite table youni_contact41_lxw partition(pt='4')  
select phone,to_phone where key='4'  
insert overwrite table youni_contact41_lxw partition(pt='5')  
select phone,to_phone where key='5'  
insert overwrite table youni_contact41_lxw partition(pt='6')  
select phone,to_phone where key='6'  
insert overwrite table youni_contact41_lxw partition(pt='7')  
select phone,to_phone where key='7'  
insert overwrite table youni_contact41_lxw partition(pt='8')  
select phone,to_phone where key='8'  
insert overwrite table youni_contact41_lxw partition(pt='9')  
select phone,to_phone where key='9';

评论列表

本站所提供的代码，版权归原作者所有，若有侵犯作者版权，请与我们联系，我们将立即删除或修改。谢谢!
本站所有代码发布及提供者。

试试其它关键字

同语言下

可能有用的

沅铱贡献的其它代码(9)