Как настроить TensorFlow в облаке Google? Я понимаю, как создать экземпляр Google Compute Engine и как запустить TensorFlow локально; и недавний пост в блоге Google предполагает, что должен быть способ создать экземпляр Google Compute Engine и запустить приложения TensorFlow в облаке:
Проекты машинного обучения могут быть разных размеров, и, как мы видели с нашим открытым исходным кодом, предлагающим TensorFlow, проекты часто необходимо масштабировать вверх. Некоторые небольшие задачи лучше всего обрабатывать с помощью локального настольных компьютеров, в то время как приложениям большого масштаба требуется как масштаб и надежность размещенного решения. Обучение Google Cloud Machine направлена на поддержание полного диапазона и обеспечение плавного перехода от от локальной к облачной среде.
Даже если я немного поучаю в этом, это должно быть так, учитывая, какие конкурирующие платформы, такие как Microsoft Azure, предлагают способ создания приложений TensorFlow (разработанных локально и "плавно" ) в облако, предположительно используя графические процессоры) в облаке Google.
Например, я хотел бы работать локально в своей среде IDE, настраивая функции и код для моего проекта, запуская ограниченную подготовку и проверку там, и периодически помещаю код в облако, чтобы запустить поезд там с (произвольно) большими ресурсами, а затем сохраните и загрузите обученную модель. Или, может быть, даже лучше, просто запустите графики (или части графиков) в облаке с помощью настраиваемых ресурсов.
Есть ли способ сделать это; один запланирован? Как настроить TensorFlow в облаке Google?
Это все еще находится в ограниченном предварительном просмотре. Лучшее, что вы можете сделать, это зарегистрироваться и надеяться, что они выберут вас, чтобы быть частью предварительного просмотра.
Изменить: CloudML теперь находится в открытой бета-версии, поэтому любой может использовать его без регистрации и запроса доступа. Надеемся, вы попробуете! У нас есть тег для вопросов: google-cloud-ml.
Я предлагаю вам следовать этому руководству, которое поможет вам шаг за шагом:
https://www.youtube.com/watch?v=N422_CYuzZg
Вот основная статья для настройки учетной записи и т.д.
https://cloud.google.com/solutions/machine-learning-with-financial-time-series-data
Как описано в блоге Kubernetes, вы можете запустить TensorFlow на Kubernetes. Он ссылается на "пошаговое руководство step-by-step tutorial, в котором показано, как создать контейнер для обслуживающего док-сервера TensorFlow для обслуживания модели классификации изображений Inception-v3", которое вы сможете адаптировать для запуска своего собственного Рабочая нагрузка TensorFlow. Вы можете использовать Google Container Engine для запуска Kubernetes в облаке Google.
Или, как упомянул Аарон, вы можете попробовать подписаться на ранний доступ к продукту Google CloudML.
Одним из наиболее простых способов работы с TensorFlow на облачной платформе Google, использующим ускорение TPU, является использование команды ctpu:
https://cloud.google.com/tpu/docs/quickstart
Это создаст все, что вам нужно, и зарегистрирует вас на виртуальной машине, откуда вы сможете запускать программы TensorFlow.
Здесь больше информации о том, как запустить ctpu с вашего рабочего стола, если вы хотите избежать использования облачной оболочки Google:
Чтобы запустить TensorFlow в Google Cloud, в порядке предпочтения:
(1) Используйте Cloud ML Engine. Это полностью управляемый сервис, поддерживающий как обучение, так и обслуживание. Вы можете выбрать между CPU, GPU и TPU.
(2) Используйте Deep Learning VM, которая является экземпляром Google Compute Engine с уже установленным TensorFlow: https://cloud.google.com/deep-learning-vm/docs/ - вы можете добавить графические процессоры к этому экземпляру.
(3) Используйте Kubeflow на GKE (TensorFlow на Kubernetes).
В зависимости от варианта использования может быть несколько способов. На данный момент мне на ум приходят следующие два метода:
1) Выберите Project/Computer Engine/экземпляры виртуальной машины/создать экземпляр виртуальной машины. Затем перейдите к экземплярам виртуальной машины, проверьте экземпляр/щелкните SSH (требуется "gcloud")/скопируйте команду и запустите в облачной оболочке. Теперь вы находитесь на собственной виртуальной машине. Установите pip3 здесь. Установите тензор потока (версия для процессора или gpu). и использовать его :)
В настоящее время облако Google поддерживает версию tenorflow & lt; = 1.4.
Если вы заинтересованы в использовании tenorflow-gpu == 2.0, вы можете использовать Google Cloud Funcitons по адресу https://cloud.google.com/blog/products/ai-machine-learning/how-to-serve-deep-learning-models-using-tensorflow-2-0-with-cloud-functions
2) Вы можете использовать Google Cloud AI Platform https://cloud.google.com/ml-engine/docs/packaging-trainer
В данный момент он также поддерживает версию tenorflow & lt; = 1.4.