Модели машинного обучения (ML) не работают изолированно. Чтобы обеспечить ценность, они должны интегрироваться в существующие производственные системы и инфраструктуру, что требует рассмотрения всего жизненного цикла машинного обучения во время проектирования и разработки. Операции ML, известные как MLOps, направлены на оптимизацию, автоматизацию и мониторинг моделей ML на протяжении всего их жизненного цикла. Создание надежного конвейера MLOps требует межфункционального сотрудничества. Специалисты по данным, инженеры ML, ИТ-персонал и команды DevOps должны работать вместе, чтобы ввести в действие модели — от исследования до развертывания и обслуживания. Благодаря правильным процессам и инструментам MLOps позволяет организациям надежно и эффективно внедрять машинное обучение в своих командах.
Хотя требования к конвейерам непрерывной интеграции и непрерывной доставки (CI/CD) могут быть уникальными и отражать потребности каждой организации, масштабирование практики MLOps между командами можно упростить за счет использования управляемых оркестровок и инструментов, которые могут ускорить процесс разработки и устранить недифференцированную тяжелую работу. .
Amazon SageMaker MLOps представляет собой набор функций, включающий Проекты Amazon SageMaker (CI/CD), Конвейеры Amazon SageMaker и Реестр моделей Amazon SageMaker.
Конвейеры SageMaker позволяет легко создавать рабочие процессы машинного обучения и управлять ими, а также предлагает возможности хранения и повторного использования этапов рабочего процесса. Реестр моделей SageMaker централизует отслеживание моделей, упрощая развертывание моделей. Проекты SageMaker знакомит с методами CI/CD для машинного обучения, включая контроль четности среды, контроль версий, тестирование и автоматизацию. Это позволяет быстро внедрить CI/CD в вашей среде машинного обучения, обеспечивая эффективную масштабируемость по всему предприятию.
Встроенный шаблоны проектов предоставляемые Создатель мудреца Амазонки включают интеграцию с некоторыми сторонними инструментами, такими как Jenkins для оркестрации и GitHub для контроля версий, а некоторые используют собственные инструменты CI/CD AWS, такие как AWS CodeCommit, Кодовый конвейер AWSи Сборка кода AWS. Однако во многих сценариях клиенты хотели бы интегрировать SageMaker Pipelines с другими существующими инструментами CI/CD и, следовательно, создавать свои собственные шаблоны проектов.
В этом посте мы покажем вам пошаговую реализацию, позволяющую добиться следующего:
- Создайте собственный шаблон проекта SageMaker MLOps, который интегрируется с GitHub и GitHub Actions.
- Сделайте свои собственные шаблоны проектов доступными в Студия Amazon SageMaker для вашей команды по обработке данных с помощью подготовки в один клик
Обзор решения
В этом посте мы создаем следующую архитектуру. Мы создаем автоматизированный конвейер построения модели, который включает этапы подготовки данных, обучения модели, оценки модели и регистрации обученной модели в реестре моделей SageMaker. Полученная в результате обученная модель машинного обучения затем развертывается из реестра моделей SageMaker в промежуточной и производственной средах после одобрения вручную.
Давайте углубимся в элементы этой архитектуры, чтобы понять полную конфигурацию.
GitHub и действия GitHub
GitHub — это веб-платформа, обеспечивающая контроль версий и управление исходным кодом с помощью Git. Это позволяет командам сотрудничать в проектах разработки программного обеспечения, отслеживать изменения и управлять репозиториями кода. GitHub служит централизованным местом для хранения, версии и управления вашей базой кода ML. Это гарантирует, что ваша база кода ML и конвейеры версионированы, документированы и доступны членам команды.
Действия GitHub — это мощный инструмент автоматизации в экосистеме GitHub. Он позволяет создавать собственные рабочие процессы, которые автоматизируют процессы жизненного цикла разработки программного обеспечения, такие как сборка, тестирование и развертывание кода. Вы можете создавать рабочие процессы, управляемые событиями, запускаемые определенными событиями, например, когда код отправляется в репозиторий или создается запрос на включение. При реализации MLOps вы можете использовать GitHub Actions для автоматизации различных этапов конвейера ML, таких как:
- Проверка и предварительная обработка данных
- Обучение и оценка модели
- Развертывание и мониторинг модели
- CI/CD для моделей машинного обучения
С помощью GitHub Actions вы можете оптимизировать рабочие процессы машинного обучения и гарантировать, что ваши модели будут последовательно создаваться, тестироваться и развертываться, что приведет к более эффективному и надежному развертыванию машинного обучения.
В следующих разделах мы начнем с настройки предварительных требований, касающихся некоторых компонентов, которые мы используем как часть этой архитектуры:
- AWS CloudFormation – AWS CloudFormation инициирует развертывание модели и устанавливает конечные точки SageMaker после активации конвейера развертывания модели после утверждения обученной модели.
- Подключение к AWS CodeStar - Мы используем AWS CodeStar чтобы установить связь с репозиторием GitHub и использовать его для интеграции репозитория кода с ресурсами AWS, такими как SageMaker Studio.
- Amazon EventBridge – Amazon EventBridge отслеживает все изменения в реестре моделей. Он также поддерживает правило, которое предлагает функции Lambda развернуть конвейер модели, когда статус версии пакета модели изменяется с
PendingManualApproval
вApproved
в реестре моделей. - AWS Lambda - Мы используем AWS Lambda Функция для инициирования рабочего процесса развертывания модели в действиях GitHub после регистрации новой модели в реестре модели.
- Создатель мудреца Амазонки — Настраиваем следующие компоненты SageMaker:
- Трубопровод - Этот компонент состоит из направленного ациклического графа (DAG), который помогает нам построить автоматизированный рабочий процесс машинного обучения на этапах подготовки данных, обучения модели и оценки модели. Реестр моделей хранит записи версий моделей, связанных с ними артефактов, происхождения и метаданных. Создается группа пакетов моделей, содержащая все связанные версии моделей. Реестр моделей также отвечает за управление статусом утверждения версии модели для последующего развертывания.
- Конечная точка – Этот компонент устанавливает две конечные точки HTTPS в реальном времени для вывода. Конфигурацию хостинга можно настроить, например, для пакетного преобразования или асинхронного вывода. Промежуточная конечная точка создается, когда конвейер развертывания модели активируется путем утверждения обученной модели из реестра моделей SageMaker. Эта конечная точка используется для проверки развернутой модели, гарантируя, что она предоставляет прогнозы, соответствующие нашим стандартам точности. Когда модель подготовлена к производственному развертыванию, производственная конечная точка развертывается на этапе утверждения вручную в рабочем процессе GitHub Actions.
- Код репозитория – При этом в вашей учетной записи SageMaker будет создан репозиторий Git в качестве ресурса. Используя существующие данные из репозитория кода GitHub, которые вы вводите во время создания проекта SageMaker, при запуске проекта в SageMaker устанавливается связь с тем же репозиторием. По сути, это формирует ссылку на репозиторий GitHub в SageMaker, позволяя выполнять интерактивные действия (извлечение/отправка) с вашим репозиторием.
- Реестр моделей – Это отслеживает различные версии модели и соответствующие артефакты, включая происхождение и метаданные. Коллекция, известная как модельная группа пакетов Создан корпус, соответствующий версиям модели. Более того, реестр моделей контролирует статус утверждения версии модели, обеспечивая ее готовность к последующему развертыванию.
- Менеджер секретов AWS – Чтобы надежно сохранить ваш личный токен доступа GitHub, необходимо установить секрет в Менеджер секретов AWS и разместите в нем свой токен доступа.
- Каталог сервисов AWS - Мы используем Каталог сервисов AWS для реализации проектов SageMaker, которые включают в себя такие компоненты, как репозиторий кода SageMaker, функцию Lambda, правило EventBridge, корзину артефактов S3 и т. д., все они реализованы через CloudFormation. Это позволяет вашей организации многократно использовать шаблоны проектов, назначать проекты каждому пользователю и оптимизировать операции.
- Amazon S3 - Мы используем Простой сервис хранения Amazon (Amazon S3) для хранения артефактов модели, созданных конвейером.
Предпосылки
У вас должны быть следующие предпосылки:
Перед внедрением решения также необходимо выполнить дополнительные шаги по настройке.
Настройка подключения к AWS CodeStar
Если у вас еще нет подключения AWS CodeStar к вашей учетной записи GitHub, см. Создать подключение к GitHub инструкции по его созданию. ARN вашего подключения к AWS CodeStar будет выглядеть следующим образом:
В этом примере aEXAMPLE-8aad-4d5d-8878-dfcab0bc441f
— уникальный идентификатор этого соединения. Мы используем этот идентификатор при создании проекта SageMaker далее в этом примере.
Настройте секретные ключи доступа для вашего токена GitHub.
Чтобы безопасно хранить свой личный токен доступа GitHub, вам необходимо создать секрет в Secrets Manager. Если у вас нет токена личного доступа к GitHub, см. Управление вашими токенами личного доступа инструкции по его созданию.
Вы можете создать классический или детальный токен доступа. Однако убедитесь, что токен имеет доступ к содержимому и действиям репозитория (рабочим процессам, запускам и артефактам).
Выполните следующие шаги, чтобы сохранить свой токен в Secrets Manager:
- На консоли диспетчера секретов выберите Храните новый секрет.
- Выберите Другой тип секрета для Выберите тип секрета.
- Укажите имя для вашего секрета в Основные поле и добавьте свой личный токен доступа в соответствующее поле. Значение поле.
- Выберите Следующая, введите имя своего секрета и выберите Следующая снова.
- Выберите Магазин чтобы сохранить свою тайну.
Сохранив свой личный токен доступа GitHub в Secrets Manager, вы можете безопасно получить к нему доступ в своем конвейере MLOps, гарантируя при этом его конфиденциальность.
Создайте пользователя IAM для действий GitHub.
Чтобы разрешить GitHub Actions развертывать конечные точки SageMaker в вашей среде AWS, вам необходимо создать Управление идентификацией и доступом AWS (IAM) и предоставьте ему необходимые разрешения. Инструкции см. Создание пользователя IAM в вашей учетной записи AWS, Использовать iam/GithubActionsMLOpsExecutionPolicy.json
файл (предоставляется в образец кода), чтобы предоставить этому пользователю достаточные разрешения для развертывания ваших конечных точек.
После создания пользователя IAM сгенерировать ключ доступа. Вы будете использовать этот ключ, который состоит как из идентификатора ключа доступа, так и из секретного ключа доступа, на следующем этапе при настройке секретов GitHub.
Настройте свою учетную запись GitHub
Ниже приведены шаги по подготовке вашей учетной записи GitHub для запуска этого примера.
Клонировать репозиторий GitHub
Для этого примера вы можете повторно использовать существующий репозиторий GitHub. Однако будет проще, если вы создадите новый репозиторий. Этот репозиторий будет содержать весь исходный код для сборок и развертываний конвейера SageMaker.
Скопируйте содержимое каталога исходного кода в корень вашего репозитория GitHub. Например, .github
Каталог должен находиться в корне вашего репозитория GitHub.
Создайте секрет GitHub, содержащий ваш ключ доступа пользователя IAM.
На этом этапе мы сохраняем данные ключа доступа вновь созданного пользователя в нашей Секрет GitHub.
- На веб-сайте GitHub перейдите к своему репозиторию и выберите Настройки.
- В разделе «Безопасность» выберите Секреты и переменные , а затем выбрать Действия.
- Выберите Новый секрет репозитория.
- Что касается Имя, войти
AWS_ACCESS_KEY_ID
- Что касается Secret, введите идентификатор ключа доступа, связанный с пользователем IAM, которого вы создали ранее.
- Выберите Добавить секрет.
- Повторите ту же процедуру для
AWS_SECRET_ACCESS_KEY
Настройте свои среды GitHub
Чтобы создать шаг утверждения вручную в наших конвейерах развертывания, мы используем Среда GitHub. Выполните следующие шаги:
- Перейдите в Настройки, Среды меню вашего репозитория GitHub и создайте новую среду под названием Production.
- Что касается Правила защиты окружающей среды, наведите на Требуются рецензенты.
- Добавьте нужные имена пользователей GitHub в качестве рецензентов. В этом примере вы можете выбрать свое собственное имя пользователя.
Обратите внимание, что функция среды недоступна в некоторых типах планов GitHub. Для получения дополнительной информации см. Использование сред для развертывания.
Развертывание функции Lambda
На следующих шагах мы сжимаем lambda_function.py
в ZIP-файл, который затем загружается в корзину S3.
Соответствующий пример кода для этого можно найти в следующем Репо GitHub, В частности, lambda_function.py
находится в лямбда_функции/lambda_github_workflow_trigger каталог.
Вместо этого рекомендуется создать ответвление примера кода и клонировать его. Это даст вам свободу изменять код и экспериментировать с различными аспектами примера.
- После получения копии кода перейдите в соответствующий каталог и используйте команду
zip
команда для сжатияlambda_function.py
. Пользователи Windows и MacOS могут использовать свою собственную систему управления файлами, Проводник или Finder соответственно, для создания файла .zip.
- Загрузить
lambda-github-workflow-trigger.zip
в ведро S3.
Доступ к этому сегменту позже будет доступен из каталога услуг. Вы можете выбрать любой сегмент, к которому у вас есть доступ, при условии, что каталог сервисов сможет извлекать из него данные на последующих шагах.
Начиная с этого шага, нам необходимо установить и настроить AWS CLI v2. Альтернативой может быть использование AWS CloudShell, который поставляется со всеми необходимыми предустановленными инструментами, что исключает необходимость каких-либо дополнительных настроек.
- Чтобы загрузить файл в корзину S3, используйте следующую команду:
Теперь мы создаем слой Lambda для зависимостей, связанных с lambda_function
мы только что загрузили.
- Настройте виртуальную среду Python и установите зависимости:
- Создайте ZIP-файл с помощью следующих команд:
- Опубликуйте слой в AWS:
После публикации этого слоя все ваши функции Lambda теперь могут ссылаться на него для удовлетворения своих зависимостей. Более подробное представление о слоях Lambda см. Работа со слоями Lambda.
Создайте собственный шаблон проекта в SageMaker.
После выполнения всех вышеперечисленных шагов у нас есть все ресурсы и компоненты конвейера CI/CD. Далее мы покажем, как можно сделать эти ресурсы доступными в виде пользовательского проекта в SageMaker Studio, доступного посредством развертывания одним щелчком мыши.
Как обсуждалось ранее, когда шаблоны, предоставленные SageMaker, не соответствуют вашим потребностям (например, вы хотите иметь более сложную оркестровку в CodePipeline с несколькими этапами, настраиваемыми этапами утверждения или интеграцию со сторонним инструментом, таким как GitHub и действия GitHub). показано в этом посте), вы можете создавать свои собственные шаблоны. Мы рекомендуем начать с шаблонов, предоставленных SageMaker, чтобы понять, как организовать код и ресурсы и использовать их. Для получения более подробной информации см. Создание пользовательских шаблонов проектов.
Обратите внимание, что вы также можете автоматизировать этот шаг и вместо этого использовать CloudFormation для развертывания портфеля и продуктов каталога услуг с помощью кода. Однако в этом посте для большего удобства мы покажем вам развертывание консоли.
На этом этапе мы используем предоставленный шаблон CloudFormation для создания портфеля каталога услуг, который помогает нам создавать собственные проекты в SageMaker.
Вы можете создать новый домен или повторно использовать свой домен SageMaker для следующих шагов. Если у вас нет домена, см. Подключение к домену Amazon SageMaker с помощью быстрой настройки инструкции по установке.
После того как вы разрешите доступ администратора к шаблонам SageMaker, выполните следующие шаги:
- В консоли каталога услуг в разделе Администрация на панели навигации выберите Портфели.
- Выберите Создать новое портфолио.
- Назовите портфолио «Шаблоны организаций SageMaker».
- Скачать шаблон.yml файл на свой компьютер.
Этот шаблон Cloud Formation предоставляет все необходимые нам ресурсы CI/CD в виде конфигурации и инфраструктуру в виде кода. Вы можете изучить шаблон более подробно, чтобы увидеть, какие ресурсы развернуты в его составе. Этот шаблон был настроен для интеграции с GitHub и GitHub Actions.
- В
template.yml
файл, изменитеS3Bucket
значение в корзину, в которую вы загрузили ZIP-файл Lambda:
- Выберите новый портфель.
- Выберите Загрузить новый продукт.
- Что касается Наименование¸ введите имя вашего шаблона. Мы используем имя
build-deploy-github
. - Что касается Описаниевведите описание.
- Что касается Владелец, введите ваше имя.
- Под Детали версии, Для Способ доставки, выберите Используйте файл шаблона.
- Выберите Загрузить шаблон.
- Загрузите шаблон, который вы скачали.
- Что касается Название версии, выберите 1.0.
- Выберите Обзор.
- Просмотрите свои настройки и выберите Создать продукт.
- Выберите обновление перечислить новый продукт.
- Выберите продукт, который вы только что создали.
- На Теги во вкладке добавьте к товару следующий тег:
- Основные =
sagemaker:studio-visibility
- Значение =
true
- Основные =
Вернувшись к сведениям о портфолио, вы должны увидеть что-то похожее на следующий снимок экрана (с разными идентификаторами).
- На ограничения , выберите Создать ограничение.
- Что касается Продукт, выберите
build-deploy-github
(продукт, который вы только что создали). - Что касается скованность тип, выберите Презентация.
- Под Ограничение запуска, Для Способ доставки, выберите Выберите IAM-роль.
- Выберите
AmazonSageMakerServiceCatalogProductsLaunchRole
. - Выберите Создавай.
- На Группы, роли и пользователи , выберите Добавить группы, роли, пользователей.
- На роли на вкладке выберите роль, которую вы использовали при настройке домена SageMaker Studio. Здесь можно найти роль домена SageMaker.
- Выберите Добавить доступ.
Разверните проект из SageMaker Studio.
В предыдущих разделах вы подготовили пользовательскую среду проекта MLOps. Теперь давайте создадим проект, используя этот шаблон:
- В консоли SageMaker перейдите к домену, в котором вы хотите создать этот проект.
- На Презентация Меню, выберите Студия.
Вы будете перенаправлены в среду SageMaker Studio.
- В SageMaker Studio на панели навигации под Развертывания, выберите Проекты.
- Выберите Создать проект.
- В верхней части списка шаблонов выберите Шаблоны организации.
Если вы успешно выполнили все предыдущие шаги, вы сможете увидеть новый шаблон пользовательского проекта с именем Build-Deploy-GitHub
.
- Выберите этот шаблон и выберите Выберите шаблон проекта.
- Введите необязательное описание.
- Что касается Имя владельца репозитория GitHub, введите владельца вашего репозитория GitHub. Например, если ваш репозиторий находится по адресу
https://github.com/pooyavahidi/my-repo
, владелец будетpooyavahidi
. - Что касается Имя репозитория GitHubвведите имя репозитория, в который вы скопировали исходный код. Это будет просто название репо. Например, в
https://github.com/pooyavahidi/my-repo
, репоmy-repo
. - Что касается Уникальный идентификатор соединения Codestar, введите уникальный идентификатор созданного вами подключения AWS CodeStar.
- Что касается Имя секрета в диспетчере секретов, в котором хранится токен GitHub., введите имя секрета в диспетчере секретов, где вы создали и сохранили токен GitHub.
- Что касается Файл рабочего процесса GitHub для развертываниявведите имя файла рабочего процесса GitHub (по адресу
.github/workflows/deploy.yml
), где у вас есть инструкции по развертыванию. В этом примере вы можете оставить его по умолчанию, то естьdeploy.yml
. - Выберите Создать проект.
- После создания проекта обязательно обновите
AWS_REGION
иSAGEMAKER_PROJECT_NAME
переменные среды в файлах рабочего процесса GitHub соответственно. Файлы рабочих процессов находятся в вашем репозитории GitHub (скопированном из исходного кода), внутри.github/workflows
каталог. Обязательно обновите обаbuild.yml
иdeploy.yml
файлы.
Теперь ваша среда готова к работе! Вы можете запустить конвейеры напрямую, внести изменения и отправить эти изменения в свой репозиторий GitHub, чтобы запустить автоматизированный конвейер сборки и посмотреть, как автоматизируются все этапы сборки и развертывания.
Убирать
Чтобы очистить ресурсы, выполните следующие действия:
- Удалите стеки CloudFormation, используемые для проекта SageMaker и конечных точек SageMaker.
- Удалите домен SageMaker.
- Удалите ресурсы каталога услуг.
- Удалите ссылку на подключение AWS CodeStar к репозиторию GitHub.
- Удалите пользователя IAM, которого вы создали для действий GitHub.
- Удалите секрет в Secrets Manager, в котором хранятся данные личного доступа к GitHub.
Обзор
В этом посте мы рассмотрели процесс использования пользовательского шаблона проекта SageMaker MLOps для автоматического создания и организации конвейера CI/CD. Этот конвейер эффективно интегрирует существующие механизмы CI/CD с возможностями SageMaker для манипулирования данными, обучения моделей, утверждения моделей и их развертывания. В нашем сценарии мы сосредоточились на интеграции GitHub Actions с проектами и конвейерами SageMaker. Для полного понимания деталей реализации посетите Репозиторий GitHub. Не стесняйтесь экспериментировать с этим и не стесняйтесь оставлять любые вопросы в разделе комментариев.
Об авторах
Доктор Ромина Шарифпур — старший архитектор решений машинного обучения и искусственного интеллекта в Amazon Web Services (AWS). Она более 10 лет руководила разработкой и внедрением инновационных комплексных решений, ставших возможными благодаря достижениям в области машинного обучения и искусственного интеллекта. Областями интересов Ромины являются обработка естественного языка, большие языковые модели и MLOps.
Пуя Вахиди — старший архитектор решений в AWS, увлекается информатикой, искусственным интеллектом и облачными вычислениями. Как специалист в области искусственного интеллекта, он является активным членом группы AWS AI/ML Area-of-Depth. Обладая более чем двадцатилетним опытом работы в сфере разработки архитектуры и разработки крупномасштабных решений, он помогает клиентам в их трансформационном пути с помощью облачных технологий и технологий искусственного интеллекта и машинного обучения.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/build-an-end-to-end-mlops-pipeline-using-amazon-sagemaker-pipelines-github-and-github-actions/
- :имеет
- :является
- :нет
- :куда
- $UP
- 10
- 100
- 114
- 14
- 20
- 28
- 7
- 8
- 9
- a
- в состоянии
- О нас
- выше
- ускорять
- доступ
- Доступ
- доступной
- соответственно
- Учетная запись
- точность
- Достигать
- через
- действия
- активный
- ациклический
- Добавить
- дополнительный
- Отрегулированный
- принять
- достижения
- После
- снова
- AI
- AI / ML
- Все
- выделять
- позволять
- позволяет
- уже
- причислены
- альтернатива
- Amazon
- Создатель мудреца Амазонки
- Конвейеры Amazon SageMaker
- Amazon Web Services
- Веб-службы Amazon (AWS)
- an
- и
- и инфраструктура
- любой
- соответствующий
- утверждение
- архитектура
- МЫ
- области
- искусственный
- искусственный интеллект
- AS
- аспекты
- связанный
- Объединение
- At
- автоматизировать
- Автоматизированный
- автоматически
- Автоматизация
- автоматизация
- доступен
- AWS
- фон
- Использование темпера с изогнутым основанием
- BE
- было
- до
- изоферменты печени
- строить
- Строительство
- строит
- построенный
- встроенный
- by
- под названием
- CAN
- возможности
- каталог
- CD
- централизованная
- изменение
- изменения
- Выберите
- классический
- чистым
- нажмите на
- облако
- облачных вычислений
- код
- кодовая база
- сотрудничать
- сотрудничество
- лыжных шлемов
- выходит
- Комментарии
- полный
- завершение
- комплекс
- компонент
- компоненты
- комплексный
- компьютер
- Информатика
- вычисление
- конфиденциальность
- Конфигурация
- настроить
- настройка
- связи
- принимая во внимание
- последовательно
- состоит
- Консоли
- строить
- содержать
- содержание
- (CIJ)
- контроль
- соответствующий
- Создайте
- создали
- создает
- Создающий
- создание
- изготовленный на заказ
- Клиенты
- подгонянный
- DAG
- данным
- Подготовка данных
- наука о данных
- десятилетия
- По умолчанию
- доставить
- поставка
- копаться
- запросы
- демонстрировать
- убивают
- Зависимости
- развертывание
- развернуть
- развертывание
- развертывание
- развертывания
- описание
- Проект
- желанный
- подробность
- подробный
- подробнее
- Развитие
- различный
- направленный
- непосредственно
- обсуждается
- do
- домен
- Dont
- в течение
- каждый
- Ранее
- легче
- экосистема
- Эффективный
- фактически
- эффективный
- эффективно
- или
- элементы
- уничтожение
- включить
- включен
- позволяет
- позволяет
- впритык
- Конечная точка
- Проект и
- Инженеры
- обеспечивать
- обеспечивает
- обеспечение
- Enter
- Предприятие
- Весь
- Окружающая среда
- средах
- по существу
- установить
- установленный
- налаживает
- создание
- и т.д
- оценка
- События
- пример
- существующий
- опыт
- эксперимент
- опыта
- исследователь
- облегчающий
- Особенность
- Особенности
- чувствовать
- поле
- Файл
- Файлы
- Finder
- Фокус
- внимание
- после
- Что касается
- вилка
- образование
- формы
- найденный
- Бесплатно
- Freedom
- от
- функция
- Функции
- порождать
- генерируется
- получить
- идти
- GitHub
- Дайте
- будет
- ушел
- предоставлять
- график
- большой
- группы
- Группы
- Есть
- he
- тяжелый
- тяжелая атлетика
- помогает
- хостинг
- Вилла / Бунгало
- дома
- жилье
- Как
- How To
- Однако
- HTML
- HTTP
- HTTPS
- ID
- Личность
- идентификаторы
- if
- реализация
- в XNUMX году
- Осуществляющий
- in
- включают
- включает в себя
- В том числе
- информация
- Инфраструктура
- инициировать
- Посвященные
- инновационный
- вход
- внутри
- устанавливать
- установлен
- пример
- вместо
- инструкции
- интегрировать
- Интегрируется
- Интегрируя
- интеграции.
- Интеллекта
- интерактивный
- интерес
- в
- Представляет
- изоляция
- IT
- ЕГО
- Путешествия
- JPG
- JSON
- всего
- Сохранить
- держит
- Основные
- ключи
- известный
- язык
- большой
- крупномасштабный
- новее
- запуск
- слой
- слоев
- ведущий
- изучение
- Оставлять
- Жизненный цикл
- Подтяжка лица
- такое как
- происхождение
- LINK
- Список
- расположенный
- расположение
- Длинное
- посмотреть
- выглядит как
- машина
- обучение с помощью машины
- MacOS
- поддерживает
- техническое обслуживание
- сделать
- управлять
- управляемого
- управление
- менеджер
- управления
- Манипуляция
- руководство
- многих
- механизмы
- Встречайте
- член
- Участники
- Меню
- Метаданные
- может быть
- MIT
- ML
- млн операций в секунду
- модель
- Модели
- изменения
- изменять
- Мониторинг
- Мониторы
- БОЛЕЕ
- более эффективным
- Более того
- с разными
- должен
- имя
- Названный
- имена
- родной
- натуральный
- Обработка естественного языка
- Откройте
- Навигация
- необходимо
- требует
- Необходимость
- потребности
- Новые
- новый продукт
- вновь
- следующий
- сейчас
- получать
- of
- предлагающий
- on
- ONE
- далее
- работать
- Операционный отдел
- or
- оркестровка
- организация
- организации
- Другое
- наши
- за
- обзор
- собственный
- владелец
- пакет
- хлеб
- соотношение
- часть
- вечеринка
- страстный
- Разрешения
- личного
- трубопровод
- Планы
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- «портфель»
- После
- мощный
- практиками
- Predictions
- подготовка
- Подготовить
- (например,
- предпосылки
- предыдущий
- процедуры
- процесс
- Процессы
- обработка
- Произведенный
- Продукт
- Производство
- профессиональный
- Проект
- проектов
- наводящие
- защиту
- обеспечивать
- при условии
- приводит
- опубликованный
- Push
- толкнул
- Питон
- Запросы
- САЙТ
- Готовность
- готовый
- реального времени
- рекомендовать
- Управление по борьбе с наркотиками (DEA)
- учет
- относиться
- ссылка
- отражать
- зарегистрированный
- Регистрация
- реестра
- Связанный
- соответствующие
- складская
- удаление
- НЕОДНОКРАТНО
- хранилище
- запросить
- требовать
- Требования
- исследованиям
- ресурс
- Полезные ресурсы
- соответственно
- ответственный
- в результате
- снова использовать
- правую
- надежный
- Роли
- роли
- корень
- Правило
- Run
- работает
- sagemaker
- Конвейеры SageMaker
- то же
- Сохранить
- Масштабируемость
- масштабирование
- сценарий
- Сценарии
- Наука
- Ученые
- Secret
- секреты
- Раздел
- разделах
- безопасно
- безопасность
- посмотреть
- семя
- выберите
- старший
- служит
- обслуживание
- Услуги
- Наборы
- установка
- настройки
- установка
- несколько
- она
- должен
- показывать
- аналогичный
- просто
- упрощенный
- упрощение
- Software
- разработка программного обеспечения
- Решение
- Решения
- некоторые
- удалось
- Источник
- исходный код
- напряженность
- конкретный
- конкретно
- потраченный
- Стеки
- Персонал
- Этап
- этапы
- инсценировка
- стандартов
- Начало
- Начало
- Статус:
- Шаг
- Шаги
- диск
- магазин
- хранить
- магазины
- хранение
- простой
- упорядочить
- упорядочение
- студия
- Кабинет
- последующее
- Успешно
- такие
- достаточный
- suite
- Убедитесь
- система
- системы
- TAG
- команда
- Члены команды
- команды
- технологии
- шаблон
- шаблоны
- проверенный
- Тестирование
- который
- Ассоциация
- Источник
- их
- тогда
- следовательно
- Эти
- они
- В третьих
- сторонние
- этой
- те
- Через
- по всему
- в
- вместе
- знак
- инструментом
- инструменты
- топ
- трек
- Отслеживание
- специалистов
- Обучение
- Transform
- преобразующей
- вызвать
- срабатывает
- два
- напишите
- Типы
- под
- понимать
- понимание
- созданного
- Обновление ПО
- загружено
- на
- us
- использование
- используемый
- Информация о пользователе
- пользователей
- через
- использовать
- использовать
- VALIDATE
- Проверка
- ценностное
- различный
- версия
- версии
- с помощью
- Виртуальный
- Войти
- ходил
- хотеть
- we
- Web
- веб-сервисы
- Web-Based
- Вебсайт
- Что
- когда
- , которые
- в то время как
- будете
- окна
- в
- Работа
- работать вместе
- рабочий
- Рабочие процессы
- бы
- лет
- Ты
- ВАШЕ
- зефирнет
- ZIP