UDAF行列转换代码,Hive代码库,德仔网

代码语言

代码分类

【Hive】 UDAF行列转换

作者:振峰 / 发布于2017/5/22/ 432

UDAF行列转换

目标实现
1 a
1 b
2 a
2 c
转换为
1 a,b
2 a,c


package com.hive.udf;  
  
//用法 select a,concat1(b,',') from concat_test group by a;  
import org.apache.hadoop.hive.ql.exec.UDAF;  
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;  
public class Concat extends UDAF {  
 public static class ConcatUDAFEvaluator implements UDAFEvaluator{  
  public static class PartialResult{  
   String result;  
   String delimiter;  
  }  
  private PartialResult partial;  
  //init函数实现接口UDAFEvaluator的init函数。  
  public void init() {  
   partial = null;  
  }  
  //iterate接收传入的参数，并进行内部的轮转。其返回类型为boolean。  
  //接受传入的参数，并进行内部的轮转  
  public boolean iterate(String value,String deli){  
     
   if (value == null){  
    return true;  
   }  
   if (partial == null){  
    partial = new PartialResult();  
    partial.result = new String("");  
    if(  deli == null || deli.equals("") )  
    {  
     partial.delimiter = new String(",");  
    }  
    else  
    {  
     partial.delimiter = new String(deli);  
    }  
          
   }  
   if ( partial.result.length() > 0 )  
   {  
    partial.result = partial.result.concat(partial.delimiter);  
   }  
     
   partial.result = partial.result.concat(value);  
     
   return true;  
  }  
  //terminatePartial无参数，其为iterate函数轮转结束后，返回轮转数据，terminatePartial类似于hadoop的Combiner。  
    
  public PartialResult terminatePartial(){  
   return partial;  
  }  
    
  //merge接收terminatePartial的返回结果，进行数据merge操作，其返回类型为boolean。  
  public boolean merge(PartialResult other){  
   if (other == null){  
    return true;  
   }  
   if (partial == null){  
    partial = new PartialResult();  
    partial.result = new String(other.result);  
    partial.delimiter = new String(other.delimiter);  
   }  
   else  
   {     
    if ( partial.result.length() > 0 )  
    {  
     partial.result = partial.result.concat(partial.delimiter);  
    }  
    partial.result = partial.result.concat(other.result);  
   }  
   return true;  
  }  
    
  public String terminate(){  
   return new String(partial.result);  
  }  
 }  
}  


打包jar后
add jar rowtocol.jar
create temporary function concat_test as'com.Hive.udf.Concat'; 
select a,concat_test(b,',') from concat_test group by a;
顶
0
踩

评论列表

本站所提供的代码，版权归原作者所有，若有侵犯作者版权，请与我们联系，我们将立即删除或修改。谢谢!
本站所有代码发布及提供者。

试试其它关键字

同语言下

可能有用的

振峰贡献的其它代码(9)