hive按当天日期建立分区表 | 动态往日期分区插入数据代码,Hive代码库,德仔网

代码语言

代码分类

【Hive】 hive按当天日期建立分区表 | 动态往日期分区插入数据

作者: / 发布于2017/6/2/ 238

Hive建立分区表，以当天日期（“2014-08-15”）作为分区依据，hql如下：

CREATE EXTERNAL TABLE IF NOT EXISTS product_sell(  
category_id BIGINT,  
province_id BIGINT,  
product_id BIGINT,  
price DOUBLE,  
sell_num BIGINT  
)  
PARTITIONED BY (ds string)  
ROW FORMAT DELIMITED  
FIELDS TERMINATED BY '\t'  
LINES TERMINATED BY '\n'  
STORED AS TEXTFILE;  
然后以日期作为分区依据，插入数据，shell脚本如下：
#!/bin/bash  
source /etc/profile;  
  
yesterday=$(date -d '-1 day' '+%Y-%m-%d')  
lastweek=$(date -d '-1 week' '+%Y-%m-%d')  
  
/usr/local/cloud/hive/bin/hive<<EOF   
INSERT OVERWRITE TABLE product_sell PARTITION (ds='$yesterday') select a.category_id, b.good_receiver_province_id as province_id, a.id as product_id, (b.sell_amount/b.sell_num) as price, b.sell_num from product a join (select si.product_id, s.good_receiver_province_id, sum(si.order_item_amount) sell_amount, sum(si.order_item_num) sell_num from so_item si join so s on (si.order_id=s.id) where si.is_gift=0 and si.is_hidden=0 and si.ds between '$lastweek' and '$yesterday' group by s.good_receiver_province_id, si.product_id) b on (a.id=b.product_id);  
EOF  


这个部分难点在于hive中不知道如何调用形如shell日期变量的方式创建日期分区，mark一下！

评论列表

本站所提供的代码，版权归原作者所有，若有侵犯作者版权，请与我们联系，我们将立即删除或修改。谢谢!
本站所有代码发布及提供者。

试试其它关键字

同语言下

可能有用的

贡献的其它代码Label