Hivehive并行执行job
作者:沅铱 / 发布于2017-3-23/ 52
用过Oracle rac的应该都知道parallel的用途。 并行执行的确可以大的加快任务的执行速率,但不会减少其占用的资源。 在Hive中也有并行执行的选项。 set hive.exec.parallel=true; //打开任务并行执行 set hive.exec.parallel.thread.number=16; //同一个sql允许最大并行度,默认为8。 对于同一个SQL产生的JOB,如果不存在依赖的情况下,将会并行启动JOB,
评论列表