TensorFlow - Импорт данных из файла TFEvent TensorBoard?

Ответ 1

Как сказал Фабрицио, TensorBoard - это отличный инструмент для визуализации содержимого ваших сводных журналов. Однако, если вы хотите выполнить пользовательский анализ, вы можете использовать функцию tf.train.summary_iterator(), чтобы зациклить все протоколы tf.Event и tf.Summary буферы в журнале:

for summary in tf.train.summary_iterator("/path/to/log/file"):
    # Perform custom processing in here.

ОБНОВЛЕНИЕ для tf2:

from tensorflow.python.summary import summary_iterator

Вы должны импортировать его, этот уровень модуля в настоящее время не импортируется по умолчанию. На 2.0.0-rc2

Ответ 2

Чтобы прочитать TFEvent, вы можете получить итератор Python, который дает буферы протокола событий.

# This example supposes that the events file contains summaries with a
# summary value tag 'loss'.  These could have been added by calling
# `add_summary()`, passing the output of a scalar summary op created with
# with: `tf.scalar_summary(['loss'], loss_tensor)`.
for e in tf.train.summary_iterator(path_to_events_file):
    for v in e.summary.value:
        if v.tag == 'loss' or v.tag == 'accuracy':
            print(v.simple_value)

Дополнительная информация: summary_iterator

Ответ 3

Вы можете просто использовать:

tensorboard --inspect --event_file=myevents.out

или если вы хотите отфильтровать определенное подмножество событий графика:

tensorboard --inspect --event_file=myevents.out --tag=loss

Если вы хотите создать что-то более обычное, вы можете вставить

/tensorflow/python/summary/event_file_inspector.py 

чтобы понять, как разбирать файлы событий.

Ответ 4

Вот полный пример получения значений из скаляра. Вы можете увидеть спецификацию сообщения для протокола Protobuf для события здесь

import tensorflow as tf


for event in tf.train.summary_iterator('runs/easy_name/events.out.tfevents.1521590363.DESKTOP-43A62TM'):
    for value in event.summary.value:
        print(value.tag)
        if value.HasField('simple_value'):
            print(value.simple_value)

Ответ 5

Следующие работы в версии TenorFlow 2.0.0-beta1:

import os

import tensorflow as tf
from tensorflow.python.framework import tensor_util

summary_dir = 'tmp/summaries'
summary_writer = tf.summary.create_file_writer('tmp/summaries')

with summary_writer.as_default():
  tf.summary.scalar('loss', 0.1, step=42)
  tf.summary.scalar('loss', 0.2, step=43)
  tf.summary.scalar('loss', 0.3, step=44)
  tf.summary.scalar('loss', 0.4, step=45)


from tensorflow.core.util import event_pb2
from tensorflow.python.lib.io import tf_record

def my_summary_iterator(path):
    for r in tf_record.tf_record_iterator(path):
        yield event_pb2.Event.FromString(r)

for filename in os.listdir(summary_dir):
    path = os.path.join(summary_dir, filename)
    for event in my_summary_iterator(path):
        for value in event.summary.value:
            t = tensor_util.MakeNdarray(value.tensor)
            print(value.tag, event.step, t, type(t))

код для my_summary_iterator скопирован из tensorflow.python.summary.summary_iterator.py - не было способа импортировать его во время выполнения.

Ответ 6

Вы можете использовать скрипт serialize_tensorboard, который будет принимать logdir и записывать все данные в формате json.

Вы также можете использовать EventAccumulator для удобного API Python (это тот же API, который использует TensorBoard).

Ответ 7

Я использовал это. Предполагается, что вы хотите видеть только те теги, которые вы зарегистрировали более одного раза, значения которых являются плавающими, и возвращает результаты в виде pd.DataFrame. Просто позвоните metrics_df = parse_events_file(path).

from collections import defaultdict
import pandas as pd
import tensorflow as tf

def is_interesting_tag(tag):
    if 'val' in tag or 'train' in tag:
        return True
    else:
        return False


def parse_events_file(path: str) -> pd.DataFrame:
    metrics = defaultdict(list)
    for e in tf.train.summary_iterator(path):
        for v in e.summary.value:

            if isinstance(v.simple_value, float) and is_interesting_tag(v.tag):
                metrics[v.tag].append(v.simple_value)
            if v.tag == 'loss' or v.tag == 'accuracy':
                print(v.simple_value)
    metrics_df = pd.DataFrame({k: v for k,v in metrics.items() if len(v) > 1})
    return metrics_df