数据清理--数据去重代码,Hive代码库,德仔网

代码语言

代码分类

【Hive】数据清理--数据去重

作者: / 发布于2017/1/19/ 213

hive>  select * from (select *,row_number() over (partition by id) num from t_link) t where t.num=1;

保留crt_time最新的一个数据
select * from (select *,row_number() over (partition by id order by crt_time desc) num from t_link) t where t.num=1;

将查询的去重数据保存到新表t_link2中，新表比源表t_link多一列
insert overwrite table t_link2 select * from (select *,row_number() over (partition by id order by crt_time desc) num from t_link) t where t.num=1;

评论列表

本站所提供的代码，版权归原作者所有，若有侵犯作者版权，请与我们联系，我们将立即删除或修改。谢谢!
本站所有代码发布及提供者。

试试其它关键字

同语言下

.hive 数据清理--数据去重
.实现一个字段包含另一个字段的查询
.Hive窗口函数之累积值、平均值、首尾值的计算学习
.Hive 累积和的计算
.hive表创建，删除，导入数据，删除数据
.INNER JOIN连接两个表、三个表、五个表的SQL语句
.多表inner join用法
.Hive创建临时表
.分组排序取top N
.hive指定hadoop执行队列

可能有用的

.hive 数据清理--数据去重
.实现一个字段包含另一个字段的查询
.Hive窗口函数之累积值、平均值、首尾值的计算学习
.Hive 累积和的计算
.hive表创建，删除，导入数据，删除数据
.INNER JOIN连接两个表、三个表、五个表的SQL语句
.多表inner join用法
.Hive创建临时表
.分组排序取top N
.hive指定hadoop执行队列

贡献的其它代码Label