it-swarm.com.ru

Как настроить блоки данных Azure для использования VSTS для контроля версий

Недавно я начал использовать блоки данных Azure и сравнивать их с ноутбуками Jupyter, работающими в HDInsight. Я искал и читал документацию, пытаясь узнать, как заставить ADBricks использовать VSTS git для контроля версий. Однако я не нашел решение, которое работает. 

Я нашел инструкции по использованию других провайдеров git, но хочу пояснить, что это не вариант для этого варианта использования, поэтому, пожалуйста, воздержитесь от таких ответов.

HDInsight имеет аналогичные ограничения, но я мог бы обойтись через ssh/rsync, и это было прекрасно, потому что я развертывал на удаленном сервере, так же, как сборка, и мог выполнять сине-зеленые развертывания и тому подобное, как сборка будет делать ,.

Для ADBricks кластер по требованию удивителен, но есть предположение, что вы разрабатываете в ноутбуках «на кластере» и фактически находитесь в режиме непрерывной доставки. Это хорошо для меня (за исключением неадекватной разработки ноутбуков с высокой задержкой), но мне все еще нужно периодически автоматизировать получение кода в VSTS, чтобы сохранять состояние/резервное копирование, как должен делать хороший кодер :).

3
jatal

Обычно для полного CI/CD в кирпичах данных Azure мы используем API рабочей области для извлечения и переноса целых записных книжек или каталогов из блоков данных на локальный компьютер пользователя или сервер сборки. https://docs.azuredatabricks.net/api/latest/workspace.html

Databricks также имеет CLI, который использует API рабочей области для более простых команд более высокого уровня: https://docs.azuredatabricks.net/user-guide/dev-tools/databricks-cli.html

Рабочий процесс для этого выглядит примерно так:  enter image description here

Вот блог от Databricks, который более подробно рассматривается: https://databricks.com/blog/2017/10/30/continuous-integration-continuous-delivery-databricks.html

3
shoeboxer

На данный момент таких связей между Azure Databricks и VSTS git repo нет.

Но есть голос пользователя добавить поддержку Git для Visual Studio Team Services для блоков данных Azure который предлагает соединения, вы можете голосовать и следить за ними. И там вы можете описать ваши требования к деталям (например, записные книжки для контроля версий, интеграция с VSTS CI, CD и т.д.). 

2
Marina Liu - MSFT

Теперь в Azure DevOps встроена поддержка, также называемая VSTS:

https://docs.azuredatabricks.net/user-guide/notebooks/Azure-devops-services-version-control.html

1
Kyle - Microsoft