Tez配置

刘超 17天前 ⋅ 5349 阅读   编辑

目录

  1、调优
    a、失败容忍度
    b、shuffle

  2、升级

友情提示

  1、0.9tez官方配置

  

配置项 说明
tez.task.resource.memory.mb
队列
tez.java.opts
tez.queue.name default
容器大小  
  hive.tez.container.size 2048
堆大小  
  hive.tez.java.opts 
-Xmx1600m
   
调优  
任务执行优先级  
  tez.am.task.reschedule.higher.priority true 是否是高优先级
失败容忍度 Shuffle failed with too many fetch failures and insufficient progress!failureCounts=5, pendingInputs=6106, fetcherHealthy=false
tez.am.max.app.attempts 4 任务中attempts失败的最大重试次数,默认跟yarn一样是4次 ,在不稳定集群可以设置大一点
tez.am.task.max.failed.attempts 2 am自己失败的最大重试次数,默认是2次。这里并不是说am自己挂了,只是因为一些系统原因导致失联了
tez.am.maxtaskfailures.per.node 3 失败多少次后,加入黑名单
tez.am.node-blacklisting.ignore-threshold-node-percent 33 加入黑名单的比例超过这个值时,关闭黑名单
tez.am.node-blacklisting.enabled true/false 是否使用黑名单,默认true
shuffle  
  tez.runtime.shuffle.memory.limit.percent 0.25 存储在文件中的与存储器相比25%
  tez.runtime.shuffle.fetch.buffer.percent 0.9 当内存达到90&时保存到文件
升级  
application级  
tez.lib.uris /hdp/apps/${hdp.version}/tez/tez.tar.gz

/hdp/apps/2.5.6.0-40/tez/tez.tar.gz

tez on yarn 提交任务后会下载该文件,通过该参数可以修改tez.tar.gz存放位置


注意:本文归作者所有,未经作者允许,不得转载

全部评论: 0

    我有话说: