Переопределить log4j.properties в hadoop

Как переопределить log4j.properties по умолчанию в hadoop? Если я установил hasoop.root.logger = WARN, консоль, он не печатает журналы на консоли, тогда как я хочу, чтобы он не печатал INFO в файле журналов. Я добавил файл log4j.properties в моем банке, но я не могу переопределить значение по умолчанию. Короче говоря, я хочу, чтобы файл журнала печатал только ошибки и предупреждения.

# Define some default values that can be overridden by system properties
hadoop.root.logger=INFO,console
hadoop.log.dir=.
hadoop.log.file=hadoop.log

#
# Job Summary Appender 
#
# Use following logger to send summary to separate file defined by 
# hadoop.mapreduce.jobsummary.log.file rolled daily:
# hadoop.mapreduce.jobsummary.logger=INFO,JSA
# 
hadoop.mapreduce.jobsummary.logger=${hadoop.root.logger}
hadoop.mapreduce.jobsummary.log.file=hadoop-mapreduce.jobsummary.log

# Define the root logger to the system property "hadoop.root.logger".
log4j.rootLogger=${hadoop.root.logger}, EventCounter

# Logging Threshold
log4j.threshold=ALL

#
# Daily Rolling File Appender
#

log4j.appender.DRFA=org.apache.log4j.DailyRollingFileAppender
log4j.appender.DRFA.File=${hadoop.log.dir}/${hadoop.log.file}

# Rollver at midnight
log4j.appender.DRFA.DatePattern=.yyyy-MM-dd

# 30-day backup
#log4j.appender.DRFA.MaxBackupIndex=30
log4j.appender.DRFA.layout=org.apache.log4j.PatternLayout

# Pattern format: Date LogLevel LoggerName LogMessage
log4j.appender.DRFA.layout.ConversionPattern=%d{ISO8601} %p %c: %m%n
# Debugging Pattern format
#log4j.appender.DRFA.layout.ConversionPattern=%d{ISO8601} %-5p %c{2} (%F:%M(%L)) - %m%n


#
# console
# Add "console" to rootlogger above if you want to use this 
#

log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n

#
# TaskLog Appender
#

#Default values
hadoop.tasklog.taskid=null
hadoop.tasklog.iscleanup=false
hadoop.tasklog.noKeepSplits=4
hadoop.tasklog.totalLogFileSize=100
hadoop.tasklog.purgeLogSplits=true
hadoop.tasklog.logsRetainHours=12

log4j.appender.TLA=org.apache.hadoop.mapred.TaskLogAppender
log4j.appender.TLA.taskId=${hadoop.tasklog.taskid}
log4j.appender.TLA.isCleanup=${hadoop.tasklog.iscleanup}
log4j.appender.TLA.totalLogFileSize=${hadoop.tasklog.totalLogFileSize}

log4j.appender.TLA.layout=org.apache.log4j.PatternLayout
log4j.appender.TLA.layout.ConversionPattern=%d{ISO8601} %p %c: %m%n

#
#Security appender
#
hadoop.security.log.file=SecurityAuth.audit
log4j.appender.DRFAS=org.apache.log4j.DailyRollingFileAppender 
log4j.appender.DRFAS.File=${hadoop.log.dir}/${hadoop.security.log.file}

log4j.appender.DRFAS.layout=org.apache.log4j.PatternLayout
log4j.appender.DRFAS.layout.ConversionPattern=%d{ISO8601} %p %c: %m%n
#new logger
# Define some default values that can be overridden by system properties
hadoop.security.logger=INFO,console
log4j.category.SecurityLogger=${hadoop.security.logger}

#
# Rolling File Appender
#

#log4j.appender.RFA=org.apache.log4j.RollingFileAppender
#log4j.appender.RFA.File=${hadoop.log.dir}/${hadoop.log.file}

# Logfile size and and 30-day backups
#log4j.appender.RFA.MaxFileSize=1MB
#log4j.appender.RFA.MaxBackupIndex=30

#log4j.appender.RFA.layout=org.apache.log4j.PatternLayout
#log4j.appender.RFA.layout.ConversionPattern=%d{ISO8601} %-5p %c{2} - %m%n
#log4j.appender.RFA.layout.ConversionPattern=%d{ISO8601} %-5p %c{2} (%F:%M(%L)) - %m%n

#
# FSNamesystem Audit logging
# All audit events are logged at INFO level
#
log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=WARN

# Custom Logging levels

#log4j.logger.org.apache.hadoop.mapred.JobTracker=DEBUG
#log4j.logger.org.apache.hadoop.mapred.TaskTracker=DEBUG
#log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=DEBUG

# Jets3t library
log4j.logger.org.jets3t.service.impl.rest.httpclient.RestS3Service=ERROR

#
# Event Counter Appender
# Sends counts of logging messages at different severity levels to Hadoop Metrics.
#
log4j.appender.EventCounter=org.apache.hadoop.metrics.jvm.EventCounter

#
# Job Summary Appender
#
log4j.appender.JSA=org.apache.log4j.DailyRollingFileAppender
log4j.appender.JSA.File=${hadoop.log.dir}/${hadoop.mapreduce.jobsummary.log.file}
log4j.appender.JSA.layout=org.apache.log4j.PatternLayout
log4j.appender.JSA.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n
log4j.appender.JSA.DatePattern=.yyyy-MM-dd
log4j.logger.org.apache.hadoop.mapred.JobInProgress$JobSummary=${hadoop.mapreduce.jobsummary.logger}
log4j.additivity.org.apache.hadoop.mapred.JobInProgress$JobSummary=false

#
# MapReduce Audit Log Appender
#

# Set the MapReduce audit log filename
#hadoop.mapreduce.audit.log.file=hadoop-mapreduce.audit.log

# Appender for AuditLogger.
# Requires the following system properties to be set
#    - hadoop.log.dir (Hadoop Log directory)
#    - hadoop.mapreduce.audit.log.file (MapReduce audit log filename)

#log4j.logger.org.apache.hadoop.mapred.AuditLogger=INFO,MRAUDIT
#log4j.additivity.org.apache.hadoop.mapred.AuditLogger=false
#log4j.appender.MRAUDIT=org.apache.log4j.DailyRollingFileAppender
#log4j.appender.MRAUDIT.File=${hadoop.log.dir}/${hadoop.mapreduce.audit.log.file}
#log4j.appender.MRAUDIT.DatePattern=.yyyy-MM-dd
#log4j.appender.MRAUDIT.layout=org.apache.log4j.PatternLayout
#log4j.appender.MRAUDIT.layout.ConversionPattern=%d{ISO8601} %p %c: %m%n

Ответы

Ответ 1

Если вы используете файл Log4j.properties по умолчанию, параметры ведения журнала переопределяются переменными среды из запуска script. Если вы хотите использовать log4j по умолчанию и просто хотите изменить уровень ведения журнала, используйте $HADOOP_CONF_DIR/hadoop-env.sh

Например, чтобы изменить регистратор на уровень журнала DEBUG и регистратор DRFA, используйте

export HADOOP_ROOT_LOGGER="DEBUG,DRFA"

Ответ 2

  • Вы можете удалить log4j.properties из hadoop jar
  • ИЛИ убедитесь, что ваш jar/log4j.properties является первым в пути к классам (log4j выбирает первый log4j.properties из найденного пути к классам)
  • ИЛИ укажите системную переменную: -Dlog4j.configuration=PATH_TO_FILE

Смотрите документацию, чтобы узнать, как log4j находит конфигурацию.

Ответ 3

Измените файл log4j внутри HADOOP_CONF_DIR. Обратите внимание, что joboop не будет рассматривать файл log4j вашего приложения. Он будет рассматривать внутри внутри HADOOP_CONF_DIR.

Если вы хотите заставить hasoop использовать другой файл log4j, попробуйте один из них:

  • Вы можете попробовать, что сказал @Patrice. то есть.

    -Dlog4j.configuration = Файл:/path/to/user_specific/log4j.xml

  • Настройте HADOOP_CONF_DIR/log4j.xml и установите уровень регистратора для "ваших" классов согласно вашему желанию. Другие пользователи не будут затронуты из-за этого, если оба из них не имеют классов с одинаковой структурой пакета. Это не будет работать для основных классов хаопа, так как все пользователи будут заражены.

  • Создайте свой собственный файл log4j. Скопируйте каталог HADOOP_CONF_DIR и поместите в него свой файл log4j. экспортируйте HADOOP_CONF_DIR в каталог conf. Другие пользователи указывают на значение по умолчанию.

Ответ 4

Я столкнулся с той же проблемой (CDH3U3, Hadoop 0.20.2). Я наконец нашел решение с (примечание file: префикс в пути):

-Dlog4j.configuration=file:/path/to/user_specific/log4j.xml

Ответ 5

Упаковка Maven:

Как только я понял, что мне нужно добавить свой пользовательский файл debug-log.properties в src/main/java/resources, Maven добавила его в корневой каталог application.jar, и тогда это было просто вопрос об этом или нет в -Dlog4j.configuration=debug-log.properties из командной строки.

Oozie <java> Действие:

Что касается Oozie, используйте <java-opts>-Dlog4j.configuration=${log4jConfig}</java-opts> в действиях workflow.xml и определите следующее в файле job.properties.

#one of the following log4j.config parameters must be defined 
#log4jConfig=log4j.properties
log4jConfig=debug-log.properties

Oozie <map-reduce> Действие:

 <property>
      <name>mapred.child.java.opts</name>
      <value>-Dlog4j.configuration=${log4jConfig}</value>
 </property>

Ответ 6

Как упоминалось Сульфа, для hadoop 1.2.1, важно переопределить task -log4j.properties, который присутствует внутри hasoop-core.jar

Для моего псевдораспределенного режима

Мне не удалось распечатать отладочные сообщения моих UDF-свиноматок и пришлось удалить task -log4j.properties из hadoop-core.jar и заменить его копией $HADOOP_INSTALL/conf/log4j.properties.

Используется

zip -d hadoop-core-1.2.1.jar task-log4j.properties #to delete

и

zip -g hadoop-core-1.2.1.jar task-log4j.properties #to add back

Ответ 7

Если в файле jar уже установлен файл свойств log4j. вы можете переопределить простым положением -Dlog4j.configuration = перед -classpath

вот пример:

java -Dlog4j.configuration =..\conf\log4j.properties -classpath% CLASSPATH%

Ответ 8

Поставьте параметр log4j.configuration в параметры дочернего java.

т.е.

hadoop jar ... -Dmapred.child.java.opts=-Dlog4j.configuration=file:/...../log4j_debug.properties

Вы должны поместить файл log4j_debug.properties на всех подчиненных серверах в том же пути каталога, что и /home/yourname/log 4j_debug.properties или/tmp/log4j_debug.properties

Этот параметр перезаписывает настройки mapred.child.java.opts. Если вы хотите использовать другие параметры, такие как -Xmx32m, что означает размер кучи размером 32 МБ, выполните следующие действия:

hadoop jar ... -Dmapred.child.java.opts='-Xmx32m -Dlog4j.configuration=file:/...../log4j_debug.properties'

Ответ 9

В Hadoop 1.2.1 есть 2 файла конфигурации: log4j.properties и task -log4j.properties Итак, чтобы сделать пример выше работы, изменение должно быть выполнено в task -log4j.properties не в log4j.properties

вы можете добавить строку follwing в свой task -log4j.properties:

log4j.logger.org.xxx=WARN