Кодер Python JSON для поддержки даты и времени?

Есть ли какой-нибудь элегантный способ сделать так, чтобы кодер Python JSON поддерживал datetime? какой-то сторонний модуль или легкий взлом?

Я использую обертку базы данных торнадо, чтобы получить несколько строк из базы данных для создания JSON. Результат запроса включает в себя обычный столбец метки времени MySQL.

Довольно досадно, что кодировщик json по умолчанию в Python не поддерживает свой собственный тип datetime, который так часто встречается во всех видах запросов к базе данных.

Я не хочу изменять собственный кодер json Python. любая хорошая практика? Большое спасибо!

PS: я нашел грязный взлом, изменив метод кодировщика Python JSON по умолчанию:

Изменить:

def default(self, o):
    raise TypeError(repr(o) + " is not JSON serializable")

Для того, чтобы:

def default(self, o):
    from datetime import date
    from datetime import datetime
    if isinstance(o, datetime):
        return o.isoformat()
    elif isinstance(o, date):
        return o.isoformat()
    else:
        raise TypeError(repr(o) + " is not JSON serializable")

ну, это будет временное решение только для среды разработки.

Но для долгосрочного решения или продакшен среды это довольно уродливо, и мне приходится вносить изменения каждый раз, когда я развертываюсь на новом сервере.

Есть ли способ лучше? Я не хочу изменять ни сам код Python, ни исходный код Tornado. Есть ли что-то, что я могу сделать с моим собственным кодом проекта, чтобы это произошло? желательно в одном темпе.

Большое спасибо!

Ответы

Ответ 1

Документы предлагают создать подкласс JSONEncoder и реализовать собственный метод по умолчанию. Похоже, вы в основном там, и это не "грязный взлом".

Причины даты не обрабатываются кодером по умолчанию, потому что в JSON отсутствует стандартное представление даты. Некоторые люди используют формат /Date(1198908717056)/, но я предпочитаю формат ISO лично.

import json
import datetime


class DateTimeEncoder(json.JSONEncoder):

    def default(self, obj):
        if isinstance(obj, (datetime.datetime, datetime.date, datetime.time)):
            return obj.isoformat()
        elif isinstance(obj, datetime.timedelta):
            return (datetime.datetime.min + obj).time().isoformat()

        return super(DateTimeEncoder, self).default(obj)

now = datetime.datetime.now()
encoder = DateTimeEncoder()
encoder.encode({"datetime": now, "date": now.date(), "time": now.time()})
> {"datetime": "2019-07-02T16:17:09.990126", "date": "2019-07-02", "time": "16:17:09.990126"}

Ответ 2

json.dumps(thing, default=str)

Ответ 3

Я создал свои собственные классы для своего проекта:

import datetime
import decimal
import json
import sys

class EnhancedJSONEncoder(json.JSONEncoder):
    def default(self, obj):
        if isinstance(obj, datetime.datetime):
            ARGS = ('year', 'month', 'day', 'hour', 'minute',
                     'second', 'microsecond')
            return {'__type__': 'datetime.datetime',
                    'args': [getattr(obj, a) for a in ARGS]}
        elif isinstance(obj, datetime.date):
            ARGS = ('year', 'month', 'day')
            return {'__type__': 'datetime.date',
                    'args': [getattr(obj, a) for a in ARGS]}
        elif isinstance(obj, datetime.time):
            ARGS = ('hour', 'minute', 'second', 'microsecond')
            return {'__type__': 'datetime.time',
                    'args': [getattr(obj, a) for a in ARGS]}
        elif isinstance(obj, datetime.timedelta):
            ARGS = ('days', 'seconds', 'microseconds')
            return {'__type__': 'datetime.timedelta',
                    'args': [getattr(obj, a) for a in ARGS]}
        elif isinstance(obj, decimal.Decimal):
            return {'__type__': 'decimal.Decimal',
                    'args': [str(obj),]}
        else:
            return super().default(obj)


class EnhancedJSONDecoder(json.JSONDecoder):

    def __init__(self, *args, **kwargs):
        super().__init__(*args, object_hook=self.object_hook,
                         **kwargs)

    def object_hook(self, d): 
        if '__type__' not in d:
            return d
        o = sys.modules[__name__]
        for e in d['__type__'].split('.'):
            o = getattr(o, e)
        args, kwargs = d.get('args', ()), d.get('kwargs', {})
        return o(*args, **kwargs)

if __name__ == '__main__':
    j1 = json.dumps({'now': datetime.datetime.now(),
        'val': decimal.Decimal('9.3456789098765434987654567')},
        cls=EnhancedJSONEncoder)
    print(j1)
    o1 = json.loads(j1, cls=EnhancedJSONDecoder)
    print(o1)

Результат:

{"val": {"args": ["9.3456789098765434987654567"], "__type__": "decimal.Decimal"}, "now": {"args": [2014, 4, 29, 11, 44, 57, 971600], "__type__": "datetime.datetime"}}
{'val': Decimal('9.3456789098765434987654567'), 'now': datetime.datetime(2014, 4, 29, 11, 44, 57, 971600)}

Литература:

Примечание. Его можно сделать более гибким, передав пользовательский словарь с типами в виде ключей и args, kwargs как значения в кодере __init__() и используйте это (или словарь по умолчанию) в методе default().

Ответ 4

json.dumps(r, default=lambda o: o.isoformat() if hasattr(o, 'isoformat') else o)

Ответ 6

Преобразуйте тип datetime в временную метку unix, затем закодируйте содержимое в json.

например.: http://codepad.org/k3qF09Kr

Ответ 7

Создайте собственный декодер/кодировщик:

class CustomJSONEncoder(json.JSONEncoder):
    def default(self, obj):
        if isinstance(obj, datetime.datetime):
            return http_date(obj)
        if isinstance(obj, uuid.UUID):
            return str(obj)
        return json.JSONEncoder.default(self, obj)

class CustomJSONDecoder(json.JSONDecoder):
    def __init__(self, *args, **kwargs):
        json.JSONDecoder.__init__(self, object_hook=self.object_hook, *args, **kwargs)

    def object_hook(self, source):
        for k, v in source.items():
            if isinstance(v, str):
                try:
                    source[k] = datetime.datetime.strptime(str(v), '%a, %d %b %Y %H:%M:%S %Z')
                except:
                    pass
        return source

Ответ 8

Просто создайте собственный кодер

(небольшим, но важным дополнением к ответу Коула является обработка значений pd.NaT(или значений null/empty timestamp), так как без добавления вы получите очень странные преобразования временной отметки для данных NaT/отсутствующих временных данных)

class CustomEncoder(json.JSONEncoder):
    def default(self, obj):
        if pd.isnull(obj):
            return None
        elif isinstance(obj, datetime):
            return obj.isoformat()
        elif isinstance(obj, date):
            return obj.isoformat()
        elif isinstance(obj, timedelta):
            return (datetime.min + obj).time().isoformat()
        else:
            return super(CustomEncoder, self).default(obj)

Затем используйте его для кодирования фрейма данных:

df_as_dict = df.to_dict(outtype = 'records')  # transform to dict

df_as_json = CustomEncoder().encode(df_as_dict) #transform to json

Поскольку кодировщик стандартизовал данные, обычный декодер будет действовать отлично, превратив его обратно в кадр данных:

result_as_dict = json.JSONDecoder().decode(df_as_json) # decode back to dict

result_df = pd.DataFrame(result)  # transform dict back to dataframe

Конечно, это также сработает, если вы поместите блок данных в более крупный dict перед кодировкой, например

input_dict = {'key_1':val_1,'key_2':val_2,...,'df_as_dict':df_as_dict}
input_json = CustomEncoder().encode(input_dict)
input_json_back_as_dict = json.JSONDecoder().decode(input_json)
input_df_back_as_dict = input_json_back_as_dict['df_as_dict']
input_df_back_as_df = pd.DataFrame(input_df_back_as_dict)