Как подавить вездесущий журнал Tensorflow?
Я убираю свой код Tensorflow с помощью nosetests, но он производит такое количество подробных результатов, что делает его бесполезным.
Следующий тест
import unittest
import tensorflow as tf
class MyTest(unittest.TestCase):
def test_creation(self):
self.assertEquals(True, False)
при запуске с nosetests
создает огромное количество бесполезного ведения журнала:
FAIL: test_creation (tests.test_tf.MyTest)
----------------------------------------------------------------------
Traceback (most recent call last):
File "/home/cebrian/GIT/thesis-nilm/code/deepmodels/tests/test_tf.py", line 10, in test_creation
self.assertEquals(True, False)
AssertionError: True != False
-------------------- >> begin captured logging << --------------------
tensorflow: Level 1: Registering Const (<function _ConstantShape at 0x7f4379131c80>) in shape functions.
tensorflow: Level 1: Registering Assert (<function no_outputs at 0x7f43791319b0>) in shape functions.
tensorflow: Level 1: Registering Print (<function _PrintGrad at 0x7f4378effd70>) in gradient.
tensorflow: Level 1: Registering Print (<function unchanged_shape at 0x7f4379131320>) in shape functions.
tensorflow: Level 1: Registering HistogramAccumulatorSummary (None) in gradient.
tensorflow: Level 1: Registering HistogramSummary (None) in gradient.
tensorflow: Level 1: Registering ImageSummary (None) in gradient.
tensorflow: Level 1: Registering AudioSummary (None) in gradient.
tensorflow: Level 1: Registering MergeSummary (None) in gradient.
tensorflow: Level 1: Registering ScalarSummary (None) in gradient.
tensorflow: Level 1: Registering ScalarSummary (<function _ScalarShape at 0x7f4378f042a8>) in shape functions.
tensorflow: Level 1: Registering MergeSummary (<function _ScalarShape at 0x7f4378f042a8>) in shape functions.
tensorflow: Level 1: Registering AudioSummary (<function _ScalarShape at 0x7f4378f042a8>) in shape functions.
tensorflow: Level 1: Registering ImageSummary (<function _ScalarShape at 0x7f4378f042a8>) in shape functions.
tensorflow: Level 1: Registering HistogramSummary (<function _ScalarShape at 0x7f4378f042a8>) in shape functions.
tensorflow: Level 1: Registering HistogramAccumulatorSummary (<function _ScalarShape at 0x7f4378f042a8>) in shape functions.
tensorflow: Level 1: Registering Pack (<function _PackShape at 0x7f4378f047d0>) in shape functions.
tensorflow: Level 1: Registering Unpack (<function _UnpackShape at 0x7f4378f048c0>) in shape functions.
tensorflow: Level 1: Registering Concat (<function _ConcatShape at 0x7f4378f04938>) in shape functions.
tensorflow: Level 1: Registering ConcatOffset (<function _ConcatOffsetShape at 0x7f4378f049b0>) in shape functions.
......
тогда как использование tensorflow из консоли ipython не выглядит таким подробным:
$ ipython
Python 2.7.11+ (default, Apr 17 2016, 14:00:29)
Type "copyright", "credits" or "license" for more information.
IPython 4.2.0 -- An enhanced Interactive Python.
? -> Introduction and overview of IPython features.
%quickref -> Quick reference.
help -> Python own help system.
object? -> Details about 'object', use 'object??' for extra details.
In [1]: import tensorflow as tf
I tensorflow/stream_executor/dso_loader.cc:108] successfully opened CUDA library libcublas.so locally
I tensorflow/stream_executor/dso_loader.cc:108] successfully opened CUDA library libcudnn.so locally
I tensorflow/stream_executor/dso_loader.cc:108] successfully opened CUDA library libcufft.so locally
I tensorflow/stream_executor/dso_loader.cc:108] successfully opened CUDA library libcuda.so locally
I tensorflow/stream_executor/dso_loader.cc:108] successfully opened CUDA library libcurand.so locally
In [2]:
Как я могу подавить прежнее ведение журнала при запуске nosetests?
Ответы
Ответ 1
Обновление 2.0 (08.10.19)
Настройка TF_CPP_MIN_LOG_LEVEL
должна все еще работать (см. ниже в обновлении v0. 12+), но в настоящее время существует открытая проблема (см. Issue # 31870). Если настройка TF_CPP_MIN_LOG_LEVEL
не работает для вас (опять же, см. ниже), попробуйте сделать следующее, чтобы установить уровень журнала:
import tensorflow as tf
tf.get_logger().setLevel('INFO')
Кроме того, см. документацию по tf.autograph.set_verbosity
, в которой задается подробность сообщений журнала автографов, например:
# Can also be set using the AUTOGRAPH_VERBOSITY environment variable
tf.autograph.set_verbosity(1)
v0. 12+ Обновление (20.05.17), работа через TF 2. 0+:
В TensorFlow 0. 12+, для этой проблемы, теперь вы можете управлять регистрацией через переменную окружения, называемую TF_CPP_MIN_LOG_LEVEL
; по умолчанию оно равно 0 (показаны все журналы), но может быть установлено одно из следующих значений в столбце Level
.
Level | Level for Humans | Level Description
-------|------------------|------------------------------------
0 | DEBUG | [Default] Print all messages
1 | INFO | Filter out INFO messages
2 | WARNING | Filter out INFO & WARNING messages
3 | ERROR | Filter out all messages
Смотрите следующий общий пример ОС с использованием Python:
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3' # or any {'0', '1', '2'}
import tensorflow as tf
Чтобы быть точным, вы также можете установить уровень для модуля Python tf_logging
, который используется, например, в. сводные операции, тензорная доска, различные оценки и т.д.
# append to lines above
tf.logging.set_verbosity(tf.logging.ERROR) # or any {DEBUG, INFO, WARN, ERROR, FATAL}
Для версии 1.14 вы будете получать предупреждения, если не переключитесь на использование API v1 следующим образом:
# append to lines above
tf.compat.v1.logging.set_verbosity(tf.compat.v1.logging.ERROR) # or any {DEBUG, INFO, WARN, ERROR, FATAL}
Для предыдущих версий TensorFlow или TF-Learn Logging (v0.11.x или ниже):
Посмотрите страницу ниже для получения информации о ведении журнала TensorFlow; с новым обновлением вы можете установить подробность ведения журнала на DEBUG
, INFO
, WARN
, ERROR
или FATAL
. Например:
tf.logging.set_verbosity(tf.logging.ERROR)
На странице дополнительно отображаются мониторы, которые можно использовать с моделями TF-Learn. Вот страница.
Это не блокирует все журналы (только TF-Learn). У меня есть два решения; одно - "технически правильное" решение (Linux), а другое - перестройка TensorFlow.
script -c 'python [FILENAME].py' | grep -v 'I tensorflow/'
Для прочтения см. этот ответ, который включает изменение исходного кода и перестройку TensorFlow.
Ответ 2
Запуск тестов с помощью nosetests --nologcapture
отключит отображение этих журналов.
Дополнительная информация о регистрации для носететов:
https://nose.readthedocs.io/en/latest/plugins/logcapture.html
Ответ 3
Здесь пример этого. К сожалению, это требует изменения источника и восстановления. Здесь ошибка отслеживания, чтобы упростить ее