Amazon SageMaker HyperPod специально создан для ускорения обучения базовой модели (FM), устраняя недифференцированную тяжелую работу, связанную с управлением и оптимизацией большого обучающего вычислительного кластера. С помощью SageMaker HyperPod вы можете тренировать FM без перерывов неделями и месяцами.
Обычно кластеры HyperPod используются несколькими пользователями: исследователями машинного обучения (ML), инженерами-программистами, специалистами по обработке данных и администраторами кластеров. Они редактируют свои файлы, выполняют свою работу и не хотят влиять на работу друг друга. Чтобы создать такую многопользовательскую среду, вы можете воспользоваться механизмом пользователей и групп Linux и статически создавать несколько пользователей на каждом экземпляре с помощью сценариев жизненного цикла. Однако недостатком этого подхода является то, что настройки пользователей и групп дублируются в нескольких экземплярах кластера, что затрудняет их согласованную настройку во всех экземплярах, например, когда присоединяется новый член команды.
Чтобы решить эту проблему, мы можем использовать Облегченный протокол доступа к каталогам (LDAP) и LDAP через TLS/SSL (LDAPS) для интеграции со службой каталогов, такой как Служба каталогов AWS для Microsoft Active Directory. С помощью службы каталогов вы можете централизованно управлять пользователями и группами, а также их разрешениями.
В этом посте мы представляем решение для интеграции кластеров HyperPod с AWS Managed Microsoft AD и объясняем, как создать беспрепятственную многопользовательскую среду входа в систему с централизованно поддерживаемым каталогом.
Обзор решения
Решение использует следующие сервисы и ресурсы AWS:
Мы также используем AWS CloudFormation развернуть стек, чтобы создать необходимые условия для кластера HyperPod: VPC, подсети, группу безопасности и Amazon FSx для блеска Объем.
Следующая диаграмма иллюстрирует высокоуровневую архитектуру решения.
В этом решении экземпляры кластера HyperPod используют протокол LDAPS для подключения к AWS Managed Microsoft AD через NLB. Мы используем Прекращение TLS путем установки сертификата в NLB. Чтобы настроить LDAPS в экземплярах кластера HyperPod, сценарий жизненного цикла устанавливает и настраивает Демон служб безопасности системы (SSSD)— клиентское программное обеспечение с открытым исходным кодом для LDAP/LDAPS.
Предпосылки
В этом посте предполагается, что вы уже знаете, как создать базовый кластер HyperPod без SSSD. Дополнительные сведения о создании кластеров HyperPod см. Начало работы с SageMaker HyperPod и Мастерская HyperPod.
Кроме того, на этапах настройки вы будете использовать компьютер Linux для создания самозаверяющего сертификата и получения запутанного пароля для пользователя средства чтения AD. Если у вас нет машины с Linux, вы можете создать экземпляр EC2 Linux или использовать Облачная оболочка AWS.
Создайте VPC, подсети и группу безопасности.
Следуйте инструкциям в Собственный аккаунт раздел мастерской HyperPod. Вы развернете стек CloudFormation и создадите необходимые ресурсы, такие как VPC, подсети, группа безопасности и том FSx для Lustre. При развертывании стека CloudFormation вам необходимо создать как основную, так и резервную подсеть, поскольку AWS Managed Microsoft AD требует как минимум две подсети. с разными зонами доступности.
В этом посте для простоты мы используем одни и те же VPC, подсети и группу безопасности как для кластера HyperPod, так и для службы каталогов. Если вам необходимо использовать разные сети между кластером и службой каталогов, убедитесь, что группы безопасности и таблицы маршрутизации настроены так, чтобы они могли взаимодействовать друг с другом.
Создание управляемого AWS Microsoft AD в службе каталогов
Выполните следующие шаги, чтобы настроить каталог:
- На Консоль службы каталогов, выберите Справочники в навигационной панели.
- Выберите Установить каталог.
- Что касается Тип каталога, наведите на Microsoft AD под управлением AWS.
- Выберите Следующая.
- Что касается Тираж, наведите на Стандартное издание.
- Что касается DNS-имя каталога, введите предпочитаемое DNS-имя каталога (например,
hyperpod.abc123.com
). - Что касается пароль администратора¸ установите пароль и сохраните его для дальнейшего использования.
- Выберите Следующая.
- В Networking В разделе укажите VPC и две созданные вами частные подсети.
- Выберите Следующая.
- Ознакомьтесь с конфигурацией и ценами, затем выберите Создать каталог.
Начнется создание каталога. Подождите, пока статус не изменится с Создающий в Активные, что может занять 20–30 минут. - Когда статус изменится на Активные, откройте страницу сведений о каталоге и запишите адреса DNS для дальнейшего использования.
Создайте NLB перед службой каталогов.
Чтобы создать NLB, выполните следующие действия:
- На Консоль Amazon EC2, выберите Целевые группы в навигационной панели.
- Выберите Создать целевые группы.
- Создайте целевую группу со следующими параметрами:
- Что касается Выберите тип цели, наведите на IP-адреса.
- Что касается Название целевой группы, войти
LDAP
. - Что касается Протокол: Порт, выберите TCP и введите
389
. - Что касается Тип IP-адреса, наведите на IPv4.
- Что касается VPC, выберите SageMaker HyperPod VPC (который вы создали с помощью шаблона CloudFormation).
- Что касается Протокол проверки здоровья, выберите TCP.
- Выберите Следующая.
- В Зарегистрируйте цели раздел зарегистрируйте DNS-адреса службы каталогов в качестве целевых.
- Что касается Порты, выберите Включить как ожидающие ниже.Адреса добавляются в Обзор целей раздел с В ожидании Статус.
- Выберите Создать целевую группу.
- На Консоль балансировщиков нагрузки, выберите Создать балансировщик нагрузки.
- Под Балансировщик сетевой нагрузки, выберите Создавай.
- Настройте NLB со следующими параметрами:
- Что касается Имя балансировщика нагрузкивведите имя (например,
nlb-ds
). - Что касается Схема, наведите на внутренний.
- Что касается Тип IP-адреса, наведите на IPv4.
- Что касается VPC, выберите SageMaker HyperPod VPC (который вы создали с помощью шаблона CloudFormation).
- Под Отображения, выберите две частные подсети и их диапазоны CIDR (которые вы создали с помощью шаблона CloudFormation).
- Что касается Группы безопасности, выберите
CfStackName-SecurityGroup-XYZXYZ
(который вы создали с помощью шаблона CloudFormation).
- Что касается Имя балансировщика нагрузкивведите имя (например,
- В Слушатели и маршрутизация разделе укажите следующие параметры:
- Что касается протокол, выберите TCP.
- Что касается порт, войти
389
. - Что касается Действие по умолчанию, выберите целевую группу с именем LDAP.
Здесь мы добавляем прослушиватель LDAP. Мы добавим LDAPS позже.
- Выберите Создать балансировщик нагрузки.Подождите, пока статус не изменится с Резервирование в Активный, что может занять 3–5 минут.
- Когда статус изменится на Активные, откройте страницу сведений о подготовленном NLB и запишите DNS-имя (
xyzxyz.elb.region-name.amazonaws.com
) для дальнейшего использования.
Создайте самозаверяющий сертификат и импортируйте его в диспетчер сертификатов.
Чтобы создать самозаверяющий сертификат, выполните следующие действия:
- В вашей среде Linux (локальный ноутбук, экземпляр EC2 Linux или CloudShell) выполните следующую команду: OpenSSL команды для создания самозаверяющего сертификата и закрытого ключа:
- На Консоль диспетчера сертификатов, выберите Импортировать.
- Введите тело сертификата и закрытый ключ из содержимого
ldaps.crt
иldaps.key
соответственно. - Выберите Следующая.
- Добавьте любые необязательные теги, затем выберите Следующая.
- Просмотрите конфигурацию и выберите Импортировать.
Добавить прослушиватель LDAPS
Мы добавили прослушиватель LDAP уже в NLB. Теперь добавляем прослушиватель LDAPS с импортированным сертификатом. Выполните следующие шаги:
- На Консоль балансировщиков нагрузки, перейдите на страницу сведений о NLB.
- На Слушатели , выберите Добавить слушателя.
- Настройте прослушиватель со следующими параметрами:
- Что касается протокол, выберите TLS.
- Что касается порт, войти
636
. - Что касается Действие по умолчанию, выберите LDAP.
- Что касается Источник сертификата, наведите на От ACM.
- Что касается Сертификация, введите то, что вы импортировали в ACM.
- Выберите Добавить.Теперь NLB слушает как LDAP, так и LDAPS. Рекомендуется удалить прослушиватель LDAP, поскольку он передает данные без шифрования, в отличие от LDAPS.
Создайте экземпляр EC2 Windows для администрирования пользователей и групп в AD.
Чтобы создавать и поддерживать пользователей и группы в AD, выполните следующие шаги:
- На консоли Amazon EC2 выберите Экземпляры в навигационной панели.
- Выберите Запустить экземпляры.
- Что касается Имя, введите имя для вашего экземпляра.
- Что касается Образ машины Amazon, выберите База Microsoft Windows Server 2022.
- Что касается Тип экземпляра, выберите t2.micro.
- В Сетевые настройки раздел укажите следующие параметры:
- Что касается VPC, выберите SageMaker HyperPod VPC (который вы создали с помощью шаблона CloudFormation).
- Что касается Subnet, выберите любую из двух подсетей, созданных с помощью шаблона CloudFormation.
- Что касается Общие группы безопасности, выберите
CfStackName-SecurityGroup-XYZXYZ
(который вы создали с помощью шаблона CloudFormation).
- Что касается Настроить хранилище, установите хранилище на 30 ГБ gp2.
- В Дополнительные сведения раздел, для Каталог присоединения к домену¸ выберите созданный вами AD.
- Что касается Профиль экземпляра IAM, выберите Управление идентификацией и доступом AWS (IAM) как минимум с
AmazonSSMManagedEC2InstanceDefaultPolicy
Политика. - Просмотрите сводку и выберите Запустить экземпляр.
Создайте пользователей и группы в AD, используя экземпляр Windows EC2.
Доступно Удаленный рабочий стол, подключитесь к экземпляру EC2 Windows, который вы создали на предыдущем шаге. Использование клиента RDP рекомендуется вместо использования удаленного рабочего стола на основе браузера, чтобы вы могли обмениваться содержимым буфера обмена с локальным компьютером с помощью операций копирования и вставки. Более подробную информацию о подключении к экземплярам EC2 Windows см. Подключитесь к вашему экземпляру Windows.
Если вам будет предложено ввести учетные данные для входа, используйте hyperpodAdmin
(где hyperpod
— это первая часть DNS-имени вашего каталога) в качестве имени пользователя и используйте пароль администратора, который вы установили для службы каталогов.
- Когда откроется экран рабочего стола Windows, выберите Диспетчер серверов из Start .
- Выберите Локальный сервер в области навигации и убедитесь, что домен соответствует тому, который вы указали службе каталогов.
- На Управление Меню, выберите Добавьте роли и функции.
- Выберите Следующая пока ты не окажешься в Особенности стр.
- Расширить функцию Средства удаленного администрирования сервера, развернуть Инструменты администрирования ролейИ выберите Инструменты AD DS и AD LDS и Служба управления правами Active Directory.
- Выберите Следующая и Установите.Начнется установка функции.
- После завершения установки выберите Закрыть.
- Откройте Пользователи и компьютеры Active Directory из Start .
- Под
hyperpod.abc123.com
, развернутьhyperpod
. - Выбрать (щелкнуть правой кнопкой мыши)
hyperpod
, выберите Новые, и выберите Организационная единица. - Создайте организационное подразделение под названием
Groups
. - Выбрать (щелкнуть правой кнопкой мыши) Группы, выберите Новые, и выберите группы.
- Создайте группу под названием
ClusterAdmin
. - Создайте вторую группу под названием
ClusterDev
. - Выбрать (щелкнуть правой кнопкой мыши) Пользователи, выберите Новые, и выберите Информация о пользователе.
- Создайте нового пользователя.
- Выберите (щелкните правой кнопкой мыши) пользователя и выберите Добавить в группу.
- Добавляйте своих пользователей в группы
ClusterAdmin
orClusterDev
.Пользователи добавлены вClusterAdmin
группа будет иметьsudo
привилегии в кластере.
Создайте пользователя ReadOnly в AD.
Создайте пользователя с именем ReadOnly
под Users
, ReadOnly
user используется кластером для программного доступа к пользователям и группам в AD.
Запишите пароль для дальнейшего использования.
(Для аутентификации с открытым ключом SSH) Добавьте пользователям открытые ключи SSH.
Сохранив открытый ключ SSH для пользователя в AD, вы можете войти в систему без ввода пароля. Вы можете использовать существующую пару ключей или создать новую пару ключей с помощью OpenSSH. ssh-keygen
команда. Дополнительную информацию о создании пары ключей см. Создайте пару ключей для вашего экземпляра Amazon EC2..
- In Пользователи и компьютеры Active Directory, На Вид меню, включить Расширенные функции.
- Откройте приложение Объекты диалог пользователя.
- На Редактор атрибутов , выберите
altSecurityIdentities
укажите Редактировать. - Что касается Значение для добавления, выберите Добавить.
- Что касается Наши ценности, добавьте открытый ключ SSH.
- Выберите OK.Убедитесь, что открытый ключ SSH отображается в качестве атрибута.
Получите запутанный пароль для пользователя ReadOnly.
Чтобы избежать включения обычного текстового пароля в файл конфигурации SSSD, вы запутываете пароль. Для этого шага вам понадобится среда Linux (локальный ноутбук, экземпляр EC2 Linux или CloudShell).
Установить sssd-tools
пакет на компьютере Linux для установки модуля Python pysss
для запутывания:
Запустите следующий однострочный скрипт Python. Введите пароль ReadOnly
пользователь. Вы получите запутанный пароль.
Создайте кластер HyperPod со сценарием жизненного цикла с поддержкой SSSD.
Затем вы создаете кластер HyperPod с интеграцией LDAPS/Active Directory.
- Найдите файл конфигурации
config.py
в каталоге сценариев жизненного цикла, откройте его в текстовом редакторе и отредактируйте свойства вConfig
класс иSssdConfig
учебный класс:- Поставьте
True
дляenable_sssd
чтобы включить настройку SSSD. - Ассоциация
SssdConfig
класс содержит параметры конфигурации для SSSD. - Убедитесь, что вы используете запутанный пароль для
ldap_default_authtok
свойство, а не простой текстовый пароль.
- Поставьте
- Скопируйте файл сертификата
ldaps.crt
в тот же каталог (гдеconfig.py
существуют). - Загрузите измененные файлы сценариев жизненного цикла на свой Простой сервис хранения Amazon (Amazon S3) и создайте с его помощью кластер HyperPod.
- Подождите, пока статус не изменится на В сервисе.
проверка
Давайте проверим решение, войдя в кластер по SSH. Поскольку кластер был создан в частной подсети, вы не можете напрямую подключиться к кластеру по SSH из локальной среды. Вы можете выбрать один из двух вариантов подключения к кластеру.
Вариант 1. Вход по SSH через AWS Systems Manager.
Вы можете использовать Менеджер систем AWS в качестве прокси для SSH-соединения. Добавьте запись хоста в файл конфигурации SSH. ~/.ssh/config
используя следующий пример. Для HostName
поле укажите целевое имя Systems Manger в формате sagemaker-cluster:[cluster-id]_[instance-group-name]-[instance-id]
. Для IdentityFile
поле укажите путь к файлу закрытого ключа SSH пользователя. Это поле не является обязательным, если вы выбрали аутентификацию по паролю.
Запустите ssh
команду, используя указанное вами имя хоста. Подтвердите, что вы можете войти в экземпляр с указанным пользователем.
На этом этапе пользователи по-прежнему могут использовать сеанс оболочки по умолчанию Systems Manager для входа в кластер как ssm-user
с административными привилегиями. Чтобы заблокировать доступ к оболочке Systems Manager по умолчанию и обеспечить доступ по SSH, вы можете настроить политику IAM, воспользовавшись следующим примером:
Более подробную информацию о том, как обеспечить доступ по SSH, см. Начните сеанс с документом, указав документы сеанса в политиках IAM..
Вариант 2. Вход по SSH через хост-бастион.
Другой вариант доступа к кластеру — использовать хозяин бастиона в качестве прокси. Эту опцию можно использовать, если у пользователя нет разрешения на использование сеансов Systems Manager или для устранения неполадок, когда Systems Manager не работает.
- Создайте группу безопасности-бастиона, которая разрешит входящий доступ по SSH (порт TCP 22) из вашей локальной среды.
- Обновите группу безопасности для кластера, чтобы разрешить входящий доступ по SSH из группы безопасности-бастиона.
- Создайте экземпляр EC2 Linux.
- Что касается Образ машины Amazon, выберите Сервер Ubuntu 20.04 LTS.
- Что касается Тип экземпляра, выберите т3.маленький.
- В Сетевые настройки раздел укажите следующие параметры:
- Что касается VPC, выберите SageMaker HyperPod VPC (который вы создали с помощью шаблона CloudFormation).
- Что касается Subnet, выберите общедоступную подсеть, созданную с помощью шаблона CloudFormation.
- Что касается Общие группы безопасности, выберите созданную вами группу безопасности-бастиона.
- Что касается Настроить хранилище, установите объем памяти 8 ГБ.
- Определите общедоступный IP-адрес хоста-бастиона и частный IP-адрес целевого экземпляра (например, узла входа в кластер) и добавьте две записи хоста в конфигурацию SSH, используя следующий пример:
- Запустите
ssh
команду, используя указанное ранее имя целевого хоста, и подтвердите, что вы можете войти в экземпляр с указанным пользователем:
Убирать
Очистите ресурсы в следующем порядке:
- Удалите кластер HyperPod.
- Удалите балансировщик сетевой нагрузки.
- Удалите целевую группу балансировки нагрузки.
- Удалите сертификат, импортированный в диспетчер сертификатов.
- Удалите экземпляр EC2 Windows.
- Удалите экземпляр EC2 Linux для хоста-бастиона.
- Удалите управляемый AWS Microsoft AD.
- Удалите стек CloudFormation для VPC, подсетей, группы безопасности и FSx для тома Lustre.
Заключение
В этом посте представлены шаги по созданию кластера HyperPod, интегрированного с Active Directory. Это решение устраняет необходимость обслуживания пользователей в крупномасштабных кластерах и позволяет централизованно управлять пользователями и группами из одного места.
Дополнительную информацию о HyperPod см. Мастерская HyperPod и Руководство разработчика SageMaker HyperPod. Оставьте свой отзыв об этом решении в разделе комментариев.
Об авторах
Томонори Симомура является старшим архитектором решений в команде Amazon SageMaker, где он предоставляет подробные технические консультации клиентам SageMaker и предлагает команде разработчиков улучшения продукта. До прихода в Amazon он занимался проектированием и разработкой встроенного программного обеспечения для игровых консолей, а теперь использует свои глубокие навыки в облачных технологиях. В свободное время он любит играть в видеоигры, читать книги и писать программы.
Джузеппе Анджело Порчелли является главным специалистом по машинному обучению, архитектором решений для Amazon Web Services. Имея несколько лет разработки программного обеспечения и опыт работы с машинным обучением, он работает с клиентами любого размера, чтобы понять их бизнес и технические потребности и разработать решения для искусственного интеллекта и машинного обучения, которые наилучшим образом используют облако AWS и стек машинного обучения Amazon. Он работал над проектами в различных областях, включая MLOps, компьютерное зрение и NLP, с использованием широкого набора сервисов AWS. В свободное время Джузеппе любит играть в футбол.
Монидипа Чакраборти в настоящее время работает старшим инженером по разработке программного обеспечения в Amazon Web Services (AWS), в частности в команде SageMaker HyperPod. Она стремится помогать клиентам путем разработки и внедрения надежных и масштабируемых систем, демонстрирующих операционное превосходство. Имея почти десятилетний опыт разработки программного обеспечения, Монидипа внес свой вклад в различные сектора Amazon, включая видео, розничную торговлю, Amazon Go и AWS SageMaker.
Сатиш Пасумарти — разработчик программного обеспечения в Amazon Web Services. Имея несколько лет опыта разработки программного обеспечения и опыта машинного обучения, он любит устранять разрыв между машинным обучением и системами и страстно увлечен созданием систем, которые делают возможным крупномасштабное обучение моделей. Он работал над проектами в различных областях, включая платформы машинного обучения, сравнительный анализ моделей, создание бета-версии Hyperpod с использованием широкого набора сервисов AWS. В свободное время Сатиш любит играть в бадминтон.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/integrate-hyperpod-clusters-with-active-directory-for-seamless-multi-user-login/
- :имеет
- :является
- :нет
- :куда
- $UP
- 1
- 10
- 100
- 11
- 15%
- 16
- 20
- 2022
- 22
- 258
- 30
- 32
- 33
- 369
- 385
- 600
- 7
- 798
- 8
- 9
- a
- О нас
- ускорять
- Принять
- доступ
- Протокол доступа
- Достигать
- ACM
- через
- Действие
- активный
- Ad
- Добавить
- добавленный
- добавить
- адрес
- адреса
- Администратор
- управлять
- администрация
- административный
- администраторы
- продвинутый
- плюс
- AI
- Все
- позволять
- позволяет
- уже
- причислены
- Amazon
- Amazon EC2
- Амазонское машинное обучение
- Создатель мудреца Амазонки
- Amazon Web Services
- Веб-службы Amazon (AWS)
- an
- и
- любой
- появляется
- подхода
- APT
- архитектура
- МЫ
- AS
- содействие
- предполагает,
- At
- Атрибуты
- Аутентификация
- свободных мест
- избежать
- AWS
- фон
- Восстановление
- стабилизатор
- Балансировка
- Использование темпера с изогнутым основанием
- основной
- BE
- , так как:
- до
- бенчмаркинг
- ЛУЧШЕЕ
- beta
- между
- связывать
- Заблокировать
- тело
- Книги
- изоферменты печени
- МОСТ
- Приведение
- широкий
- строить
- Строительство
- бизнес
- но
- кнопка
- by
- под названием
- CAN
- сертификат
- вызов
- изменение
- изменения
- проверка
- Выберите
- Выбирая
- выбрал
- Город
- класс
- клиент
- облако
- Кластер
- код
- COM
- команду
- Комментарии
- привержен
- Общий
- общаться
- Компания
- полный
- Вычисление
- компьютер
- Компьютерное зрение
- компьютеры
- состояние
- Конфигурация
- настроить
- подтвердить
- подтверждение
- Свяжитесь
- Соединительный
- связи
- последовательно
- Консоли
- консолей
- консультация
- содержит
- содержание
- контекст
- способствовало
- контроллер
- страна
- Создайте
- создали
- создание
- ПОЛНОМОЧИЯ
- В настоящее время
- Клиенты
- приборная панель
- данным
- десятилетие
- По умолчанию
- демонстрировать
- развертывание
- развертывание
- Проект
- проектирование
- компьютера
- подробность
- подробнее
- Застройщик
- Развитие
- диаграмма
- Диалог
- различный
- трудный
- непосредственно
- каталог
- Нарушение
- Выдающийся
- DNS
- документ
- Документация
- Безразлично
- не
- домен
- доменов
- Dont
- вниз
- Падение
- e
- каждый
- Ранее
- редактор
- эффект
- или
- встроенный
- включить
- шифрование
- обеспечивать соблюдение
- инженер
- Проект и
- Инженеры
- Enter
- входящий
- запись
- Окружающая среда
- пример
- Превосходство
- обмена
- существующий
- существует
- Расширьте
- опыт
- Объяснять
- дополнительно
- Особенность
- Особенности
- Обратная связь
- несколько
- поле
- Поля
- Файл
- Файлы
- First
- после
- футбол
- Что касается
- формат
- Год основания
- каркасы
- Бесплатно
- от
- передний
- полный
- игра
- Игры
- разрыв
- порождать
- порождающий
- получить
- Go
- группы
- Группы
- Есть
- he
- тяжелый
- тяжелая атлетика
- на высшем уровне
- его
- Главная
- кашель
- Как
- How To
- Однако
- HTML
- HTTP
- HTTPS
- Личность
- if
- иллюстрирует
- воздействуя
- Осуществляющий
- Импортировать
- импортирующий
- улучшение
- in
- углубленный
- В том числе
- включенный
- информация
- вход
- устанавливать
- установка
- Установка
- пример
- инструкции
- интегрировать
- интегрированный
- интеграции.
- Интернет
- в
- вводить
- вовлеченный
- с участием
- IP
- IP-адрес
- IT
- Джобс
- присоединиться
- присоединение
- Играя
- JPEG
- JPG
- Основные
- ключи
- Знать
- портативный компьютер
- большой
- крупномасштабный
- новее
- изучение
- наименее
- Оставлять
- оставил
- письмо
- рычаги
- Жизненный цикл
- Подтяжка лица
- Linux
- Список
- слушатель
- слушателей
- слушает
- загрузка
- локальным
- журнал
- каротаж
- Войти
- любит
- ООО
- машина
- обучение с помощью машины
- поддерживать
- поддержанный
- техническое обслуживание
- сделать
- Создание
- управлять
- управляемого
- управление
- менеджер
- управления
- отображение
- механизм
- член
- Меню
- метод
- Microsoft
- Минут
- ML
- млн операций в секунду
- модель
- модифицировало
- изменять
- Модули
- месяцев
- БОЛЕЕ
- с разными
- имя
- Названный
- имена
- Откройте
- Навигация
- почти
- Необходимость
- потребности
- сеть
- сетей
- Новые
- НЛП
- узел
- в своих размышлениях
- сейчас
- получать
- of
- on
- ONE
- открытый
- с открытым исходным кодом
- открытый
- Откроется
- OpenSSL
- оперативный
- Операционный отдел
- оптимизирующий
- Опция
- Опции
- or
- заказ
- организация
- организационной
- Другое
- внешний
- за
- собственный
- пакет
- страница
- боль
- пара
- хлеб
- параметр
- параметры
- часть
- страстный
- Пароль
- путь
- в ожидании
- выполнения
- разрешение
- Разрешения
- Часть
- заполнитель
- одноцветный
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- игры
- пожалуйста
- Точка
- политика
- возможное
- После
- привилегированный
- предпосылка
- предпосылки
- предыдущий
- цены
- первичный
- Основной
- частная
- Секретный ключ
- привилегия
- привилегии
- Продукт
- Прогресс
- проектов
- свойства
- собственность
- протокол
- обеспечивать
- при условии
- приводит
- полномочие
- что такое варган?
- публичный ключ
- открытые ключи
- Питон
- вполне
- диапазоны
- RE
- читатель
- Reading
- Управление по борьбе с наркотиками (DEA)
- относиться
- область
- зарегистрироваться
- Регистрация
- удаленные
- удаляет
- удаление
- запросить
- обязательный
- требуется
- исследователи
- ресурс
- Полезные ресурсы
- соответственно
- розничный
- обзоре
- Щелкните правой кнопкой мыши
- правые
- надежный
- Роли
- роли
- дорога
- маршрутизация
- Run
- sagemaker
- то же
- Сохранить
- масштабируемые
- Шкала
- Ученые
- экран
- скрипт
- скрипты
- бесшовные
- Во-вторых
- Раздел
- Сектора юридического права
- безопасность
- выберите
- выбор
- старший
- послать
- сервер
- служит
- обслуживание
- Услуги
- Сессия
- сессиях
- набор
- установка
- настройки
- установка
- несколько
- она
- Оболочка
- сторона
- просто
- простота
- Размер
- навыки
- So
- Software
- разработка программного обеспечения
- разработка программного обеспечения
- Решение
- Решения
- РЕШАТЬ
- некоторые
- Источник
- специалист
- конкретно
- указанный
- указав
- SSH
- стек
- и политические лидеры
- начинается
- Область
- заявление
- Статус:
- Шаг
- Шаги
- По-прежнему
- диск
- хранение
- подсети
- подсеть
- такие
- Предлагает
- РЕЗЮМЕ
- Убедитесь
- системы
- TAG
- взять
- цель
- Целевая группа
- направлена против
- команда
- Технический
- Технологии
- шаблон
- текст
- который
- Ассоциация
- их
- Их
- тогда
- Там.
- они
- этой
- Через
- время
- в
- Train
- Обучение
- правда
- два
- напишите
- Ubuntu
- под
- понимать
- Ед. изм
- В отличие от
- до
- us
- использование
- используемый
- Информация о пользователе
- пользователей
- использования
- через
- ценностное
- разнообразие
- различный
- проверить
- версия
- с помощью
- Видео
- видеоигра
- видеоигры
- Вид
- видение
- объем
- ждать
- хотеть
- законопроект
- Вашингтон
- we
- Web
- веб-сервисы
- Недели
- ЧТО Ж
- Что
- Что такое
- когда
- который
- Википедия.
- будете
- окно
- окна
- в
- без
- Работа
- работавший
- работает
- работает
- семинар
- Семинары
- письмо
- лет
- Ты
- ВАШЕ
- зефирнет
- зоны