Ошибка выполнения HIVE, код возврата 1 из org.apache.hadoop.hive.ql.exec.DDLTask

Ответ 1

set hive.msck.path.validation=ignore;
MSCK REPAIR TABLE table_name;

Убедитесь, что местоположение указано правильно.

Ответ 2

Устанавливает свойство hive.metastore.schema.verification в файле hive-site.xml значение true, по умолчанию оно ложно.

Подробнее см. ссылку .

Ответ 3

Я столкнулся с той же ошибкой. Причина в моем случае - это каталог, созданный в хранилище HDFS с тем же именем. Когда этот каталог был удален, он решил мою проблему.

Ответ 4

Возможно, это связано с тем, что ваш metastore_db является corrubpted. Удалите файлы .lck из metastore_db.

Ответ 5

hive -e "msck repair table database.tablename" он восстановит таблицу таблицы метастартов таблицы;

Ответ 6

Причина, по которой мы получили эту ошибку, заключалась в том, что мы добавили новый столбец во внешнюю таблицу Hive. set hive.msck.path.validation = игнорировать; работали над исправлением запросов улья, но у Impala были дополнительные проблемы, которые были решены с помощью следующих шагов:

После выполнения недействительных метаданных запросы Impala начали давать сбой с ошибкой: несовместимая схема паркета для столбца

Ошибка импалы РЕШЕНИЕ: установите PARQUET_FALLBACK_SCHEMA_RESOLUTION = name;

Если вы используете дистрибутив Cloudera, приведенные ниже шаги сделают изменение постоянным, и вам не нужно будет устанавливать опцию для каждой сессии.

Cloudera Manager → Кластеры → Impala → Конфигурация → Параметры запросов Impala Daemon Фрагмент расширенной конфигурации (предохранительный клапан)

Добавьте значение: PARQUET_FALLBACK_SCHEMA_RESOLUTION = имя

ПРИМЕЧАНИЕ: не используйте SET или точку с запятой при настройке параметра в Cloudera Manager

Ответ 7

Следующим способом я решил проблему.

set hive.msck.repair.batch.size=1;
set hive.msck.path.validation=ignore;

Если вы не можете установить значение, и получите ошибку. Error: Error while processing statement: Cannot modify hive.msck.path.validation at runtime. It is not in list of params that are allowed to be modified at runtime (state=42000,code=1)

добавить контент в hive-site:

key:
hive.security.authorization.sqlstd.confwhitelist.append
value:
hive\.msck\.path\.validation|hive\.msck\.repair\.batch\.size