Warning: Ignoring non-spark config property: --hiveconf hive.exec.orc.split.strategy=BI

刘超 12天前 ⋅ 154 阅读   编辑

一、描述

  spark设置hive.exec.orc.split.strategy=BI有提示

[2019-11-11 08:00:44,035] {logging_mixin.py:95} INFO - [2019-11-11 08:00:44,035] {spark_submit_hook.py:415} INFO - Warning: Ignoring non-spark config property: --hiveconf hive.exec.orc.split.strategy=BI

二、解决方法

  spark2.3以上可以这样设置hive参数spark.hadoop.hive.exec.orc.split.strategy=BI,如果不是spark2.3以上版本可以参考这里升级

三、参考文章

  1、https://stackoverflow.com/questions/58633753/ignoring-non-spark-config-property-hive-exec-dynamic-partition-mode


注意:本文归作者所有,未经作者允许,不得转载

全部评论: 0

    我有话说: