AWS-клей: как обрабатывать вложенные JSON с различными схемами

Ответ 1

Я не уверен, что вы можете сделать это с помощью определения таблицы, но вы можете выполнить это с помощью задания ETL, используя функцию отображения для приведения значений верхнего уровня в виде строк JSON. Документация: [ссылка]

import json

# Your mapping function
def flatten(rec):
    for key in rec:
        rec[key] = json.dumps(rec[key])
    return rec

old_df = glueContext.create_dynamic_frame.from_options(
    's3',
    {"paths": ['s3://...']},
    "json")

# Apply mapping function f to all DynamicRecords in DynamicFrame
new_df = Map.apply(frame=old_df, f=flatten)

Отсюда у вас есть возможность экспортировать в S3 (возможно, в Parquet или каком-либо другом столбчатом формате для оптимизации запросов) или напрямую в Redshift из моего понимания, хотя я не пробовал.

Ответ 2

С 20.12.2008 я смог вручную определить таблицу с полями json первого уровня в виде столбцов с типом STRING. Затем в сценарии склеивания динамический кадр имеет столбец в виде строки. Оттуда вы можете выполнить операцию Unbox типа json над полями. Это json проанализирует поля и выведет реальную схему. Объединение Unbox с Filter позволяет вам циклически проходить и обрабатывать гетерогенные схемы Unbox с одного и того же входа, если вы можете циклически проходить через список схем.

Однако, одно слово предостережения, это невероятно медленно. Я думаю, что клей загружает исходные файлы из s3 во время каждой итерации цикла. Я пытался найти способ сохранить исходные данные источника, но похоже, что .toDF выводит схему строковых полей json, даже если вы указываете их как клей StringType. Я добавлю здесь комментарий, если смогу найти решение с лучшей производительностью.

Ответ 3

На данный момент это ограничение Клее. Вы взглянули на классификаторы клея? Это единственная вещь, которую я еще не использовал, но мог бы удовлетворить ваши потребности. Вы можете определить путь JSON для поля или что-то в этом роде.

Помимо этого - Клей Джобс - это путь. Это искры в фоновом режиме, поэтому вы можете делать почти все. Настройте конечную точку разработки и поиграйте с ней. Я столкнулся с различными препятствиями в течение последних трех недель и решил полностью отказаться от всех функциональных возможностей Glue и только Spark, так что он переносится и фактически работает.

Одна вещь, которую вам, возможно, стоит иметь в виду, когда настройка конечной точки dev заключается в том, что для роли IAM должен быть путь "/", поэтому вам, вероятно, потребуется создать отдельную роль вручную, которая имеет этот путь. У созданного автоматически создается путь /service-role/.

Ответ 4

вы должны добавить классификатор клея, предпочтительно $ [*]

Когда вы сканируете json файл в s3, он будет читать первую строку файла.

Вы можете создать клей-задание, чтобы загрузить таблицу каталога данных этого json файла в красное смещение.

Моя единственная проблема здесь в том, что у Redshift Spectrum есть проблемы с чтением json-таблиц в каталоге данных.

сообщите мне, нашли ли вы решение

Ответ 5

Процедура, которую я нашел полезной для мелкого вложенного json:

1. ApplyMapping для первого уровня как datasource0;

2. Взорвать struct или array объектов, чтобы избавиться от уровня элемента df1 = datasource0.toDF().select(id,col1,col2,...,explode(coln).alias(coln), где explode требует from pyspark.sql.functions import explode;

3. Выберите объекты JSON, которые вы хотели бы сохранить неизменными, с помощью intact_json = df1.select(id, itct1, itct2,..., itctm);

4. Преобразование df1 обратно в dynamicFrame и Relationalize dynamicFrame, а также удаление неповрежденных столбцов с помощью dataframe.drop_fields(itct1, itct2,..., itctm);

5. Соедините реляционную таблицу с неповрежденной таблицей на основе столбца 'id'.