Shuffle failed with too many fetch failures and insufficient progress!failureCounts=5, pendingInputs=6106, fetcherHealthy=false,

刘超 19天前 ⋅ 5557 阅读   编辑

一、描述

  hive的执行引擎是tez,跑hivesql报如下错误

  

二、解决方法

  配置一下失败容忍度,配置如下

set tez.am.max.app.attempts=1024;
set tez.am.task.max.failed.attempts=1024;
set tez.am.node-blacklisting.ignore-threshold-node-percent=66;
set tez.am.maxtaskfailures.per.node=3;

  

 


注意:本文归作者所有,未经作者允许,不得转载

全部评论: 0

    我有话说: