Доступ к хранилищу блога Azure из эксперимента Azure ML

Azure ML Experiments предоставляет способы чтения и записи CSV файлов в хранилище Azure blob через модули Reader и Writer. Однако мне нужно написать файл JSON для хранения блоков. Поскольку для этого нет модуля, я пытаюсь сделать это из модуля Execute Python Script.

Однако это приводит к ошибке: ImportError: No module named azure.storage.blob

Это означает, что пакет azure-storage Python не установлен на Azure ML.

Как я могу писать в хранилище Blade Azure из эксперимента Azure ML?

Здесь отображается сообщение об ошибке заполнения:

ОБНОВЛЕНИЕ: Спасибо Дэну и Питеру за приведенные ниже идеи. Это прогресс, который я сделал с помощью этих рекомендаций. Я создал чистую виртуальную среду Python 2.7 (в VS 2005) и сделал pip install azure-storage, чтобы получить зависимости в моем каталоге пакетов сайтов. Затем я закрепил папку сайта-пакетов и загрузил ее как Zip файл, как указано в примечании Дэн. Затем я включил ссылку на каталог сайтов-пакетов и успешно импортировал необходимые элементы. Это привело к ошибке времени при записи в хранилище блога.

Где мое текущее исследование ведет к тому, что существует зависимость от пакета requests Python в azure-storage. requests имеет известную ошибку в Python 2.7 для вызова более новых протоколов SSL. Не уверен, но сейчас я копаю в этой области.

ОБНОВЛЕНИЕ 2: этот код отлично работает внутри ноутбука Python 3 Jupyter. Кроме того, если я создаю контейнер Blob для открытого доступа, я могу напрямую ПРОЧИТАТЬ из Контейнера через URL-адрес. Например: df = pd.read_csv("https://mystorageaccount.blob.core.windows.net/upload/test.csv") легко загружает файл из хранилища blob. Однако я не могу использовать azure.storage.blob.BlobService для чтения из того же файла.

ОБНОВЛЕНИЕ 3: Дэн, в комментарии ниже, предложил попробовать у ноутбуков Jupyter, размещенных на Azure ML. Я запускал его из локального ноутбука Jupyter (см. Обновление 2 выше). Однако он не работает при запуске из ноутбука Azure ML, а ошибки снова указывают на пакет requires. Мне нужно найти известные проблемы с этим пакетом, но из моего чтения известная проблема связана с urllib3 и влияет только на Python 2.7 и не на любые версии Python 3.x. И это было запущено в ноутбуке Python 3.x. Хмм.

ОБНОВЛЕНИЕ 4: Как отмечает Дэн, это может быть проблемой в сети Azure ML, поскольку Execute Python Script является относительно новым и только что получил поддержку в сети. Тем не менее, я также тестировал это на веб-сайте Azure App Service, который находится на совершенно другой платформе Azure. (Он также находится на совершенно другом дистрибутиве Python и поддерживает как Python 2.7, так и 3.4/5, но только на 32 бит - даже на 64-битных машинах.) В этом коде также отсутствует сообщение InsecurePlatformWarning.

Ответы

Ответ 1

Bottom Line Up Front: Используйте HTTP вместо HTTPS для доступа к хранилищу Azure.

При объявлении BlobService в protocol='http', чтобы заставить службу связываться через HTTP. Обратите внимание, что у вас должен быть настроен ваш контейнер, чтобы разрешать запросы по HTTP (который он делает по умолчанию).

client = BlobService(STORAGE_ACCOUNT, STORAGE_KEY, protocol="http")

История и кредит:

Я отправил запрос по этой теме в @AzureHelps, и они открыли билет на форумах MSDN: https://social.msdn.microsoft.com/Forums/azure/en-US/46166b22-47ae-4808-ab87-402388dd7a5c/trouble-writing-blob-storage-file-in-azure-ml-experiment?forum=MachineLearning&prof=required

Сударшан Рагхунатхан ответил магией. Вот шаги, которые облегчают для каждого дублирование моего исправления:

Загрузите azure.zip, который предоставляет необходимые библиотеки: https://azuremlpackagesupport.blob.core.windows.net/python/azure.zip
Загрузите их в DataSet в Azure ML Studio
Подключите их к входу Zip в модуле Execute Python Script
Напишите свой script, как обычно, создав BlobService объект protocol='http'
Запустите эксперимент - теперь вы сможете писать в хранилище blob.

Пример кода примера можно найти здесь: https://gist.github.com/drdarshan/92fff2a12ad9946892df

Код, который я использовал, был следующим, который сначала не записывает CSV в файловую систему, а отправляет как текстовый поток.

from azure.storage.blob import BlobService

def azureml_main(dataframe1 = None, dataframe2 = None):
    account_name = 'mystorageaccount'
    account_key='p8kSy3FACx...redacted...ebz3plQ=='
    container_name = "upload"
    json_output_file_name = 'testfromml.json'
    json_orient = 'records' # Can be index, records, split, columns, values
    json_force_ascii=False;

    blob_service = BlobService(account_name, account_key, protocol='http')

    blob_service.put_block_blob_from_text(container_name,json_output_file_name,dataframe1.to_json(orient=json_orient, force_ascii=json_force_ascii))

    # Return value must be of a sequence of pandas.DataFrame
    return dataframe1,

Некоторые мысли:

Я бы предпочел, чтобы по умолчанию были импортированы лазурные библиотеки Python. Microsoft импортирует сотни сторонних библиотек в Azure ML как часть дистрибутива Anaconda. Они также должны включать те, которые необходимы для работы с Azure. Мы в Лазуре, мы посвятили себя Лазури. Обнимите его.
Мне не нравится, что я должен использовать HTTP, а не HTTPS. Конечно, это внутренняя связь с Azure, поэтому, скорее всего, это не имеет большого значения. Однако большая часть документации предлагает использовать SSL/HTTPS при работе с хранилищем blob, поэтому я предпочел бы иметь возможность сделать это.
Я все еще получаю случайные ошибки таймаута в эксперименте. Иногда код Python будет выполняться в миллисекундах, в других случаях он запускается в течение 60 или секунд, а затем истекает время. Это делает запуск в эксперименте очень расстраивающим время от времени. Однако при публикации в качестве веб-службы у меня, похоже, нет этой проблемы.
Я бы предпочел, чтобы опыт моего локального кода соответствовал более близкому Azure ML. Локально я могу использовать HTTPS и никогда не выходить из игры. Он быстро вспыхивает и легко читается. Но переход к эксперименту Azure ML означает некоторую отладку почти каждый раз.

Огромные реквизиты Дэну, Питеру и Сударшану, все от Microsoft, за их помощь в разрешении этого. Я очень ценю это!

Ответ 2

Вы идете по правильному пути. Модуль Execution Python Script предназначен для пользовательских нужд так же, как это. Реальная проблема заключается в том, как импортировать существующие модули Python script. Здесь можно найти полные маршруты, но я опишу для SO.

Вы захотите взять SDK Azure Python и закрепить его, загрузить, а затем импортировать в свой модуль. Я могу посмотреть, почему это не по умолчанию...

https://azure.microsoft.com/en-us/documentation/articles/machine-learning-execute-python-scripts/

Импорт существующих модулей Python script

Общим примером использования многих ученых в области данных является включение существующих сценариев Python в эксперименты по изучению Azure Machine Learning. Вместо конкатенации и вставки всего кода в один блок script модуль Execute Python script принимает третий входной порт, к которому может быть подключен zip файл, содержащий модули Python. Затем файл распаковывается каркасом выполнения во время выполнения, а содержимое добавляется в путь библиотеки интерпретатора Python. Функция точки входа azureml_main может напрямую импортировать эти модули.

В качестве примера рассмотрим файл Hello.py, содержащий простую функцию "Hello, World".

Рисунок 4. Пользовательская функция.

Далее мы можем создать файл Hello.zip, содержащий Hello.py:

Рисунок 5. Zip файл, содержащий пользовательский код Python.

Затем загрузите это как набор данных в Azure Machine Learning Studio. Если затем создать и запустить простой эксперимент, он использует модуль:

Рисунок 6. Пример эксперимента с пользовательским кодом Python, загруженным в виде zip файла.

Выход модуля показывает, что zip файл был распакован, и функция print_hello действительно запущена. Рисунок 7. Пользовательская функция, используемая внутри модуля Execute Python script.

Ответ 3

Как я знаю, вы можете использовать другие пакеты через zip файл, который вы предоставляете на третий вход. Комментарии в шаблоне Python script в Azure ML говорят:

Если подключен zip файл к третьему входному порту, он распаковывается в папку ".\ Script Bundle". Этот каталог добавляется в sys.path. Поэтому, если ваш zip файл содержит файл mymodule.py на Python, вы можете импортировать его, используя: import mymodule

Итак, вы можете упаковать azure-storage-python в виде zip файла, нажав Новый, нажмите Набор данных, а затем выберите Из локального файла и Zip файл, чтобы загрузить ZIP файл в рабочее пространство.

В качестве ссылки вы можете увидеть дополнительную информацию в разделе How to Use Execute Python Script документа Execute Python Script.