Это второй пост из серии из четырех частей, подробно описывающей, как НатВест Групп, крупное учреждение финансовых услуг, в партнерстве с Профессиональные услуги AWS создать новую платформу операций машинного обучения (MLOps). В этом посте мы рассказываем, как группа NatWest использовала AWS для самостоятельного развертывания своей стандартизированной, безопасной и совместимой платформы MLOps с использованием Каталог сервисов AWS и Создатель мудреца Амазонки. Это привело к сокращению времени, необходимого для подготовки новых сред, с нескольких дней до нескольких часов.
Мы считаем, что лица, принимающие решения, могут извлечь выгоду из этого контента. Технические директора, CDAO, старшие специалисты по данным и старшие инженеры по облачным технологиям могут следовать этому шаблону, чтобы предоставлять инновационные решения для своих групп по науке о данных и инженерам.
Прочтите всю серию:
|
Технологии в NatWest Group
NatWest Group — это банк взаимоотношений в цифровом мире, который предоставляет финансовые услуги более чем 19 миллионам клиентов по всей Великобритании. Группа располагает разнообразным технологическим портфелем, в котором решения бизнес-задач часто реализуются с использованием индивидуальных проектов и в длительные сроки.
Недавно NatWest Group приняла стратегию «облачных технологий», которая позволила компании использовать управляемые сервисы для предоставления вычислительных ресурсов и ресурсов хранения по требованию. Этот шаг привел к улучшению общей стабильности, масштабируемости и производительности бизнес-решений, одновременно снизив затраты и ускорив темпы доставки. Кроме того, переход в облако позволяет NatWest Group упростить свой технологический стек, внедрив набор согласованных, повторяемых и предварительно одобренных проектов решений, отвечающих нормативным требованиям и работающих контролируемым образом.
Вызовы
Пилотные этапы внедрения облачного подхода включали несколько этапов экспериментирования и оценки с использованием широкого спектра аналитические услуги на АВС. Первые версии облачной платформы NatWest Group для рабочих нагрузок обработки данных столкнулись с проблемами обеспечения согласованных, безопасных и совместимых облачных сред. Процесс создания новой среды занимал от нескольких дней до недель и даже месяцев. Зависимость от групп центральной платформы для создания, предоставления, защиты, развертывания и управления инфраструктурой и источниками данных затрудняла привлечение новых команд для работы в облаке.
Из-за различий в конфигурации инфраструктуры между учетными записями AWS командам, решившим перенести свои рабочие нагрузки в облако, пришлось пройти сложный процесс обеспечения соответствия. Каждый компонент инфраструктуры приходилось анализировать отдельно, что увеличивало сроки аудита безопасности.
Чтобы начать разработку в AWS, нужно было прочитать набор руководств по документации, написанных командами платформы. Первоначальные шаги по настройке среды включали управление открытыми и закрытыми ключами для аутентификации, настройку подключений к удаленным службам с помощью Интерфейс командной строки AWS (AWS CLI) или SDK из локальных сред разработки, а также запуск пользовательских сценариев для связывания локальных IDE с облачными сервисами. Технические проблемы часто затрудняли прием новых членов команды. После настройки сред разработки путь к выпуску программного обеспечения в производство оказался таким же сложным и длительным.
Как описано в части 1 этой серии, перед созданием новой платформы обработки данных и MLOps совместная проектная группа собрала большое количество отзывов об опыте пользователей и требованиях от команд NatWest Group. Общей темой в этих отзывах была необходимость автоматизации и стандартизации как предпосылки быстрой и эффективной реализации проектов на AWS. Новая платформа использует управляемые сервисы AWS для оптимизации затрат, сокращения усилий по настройке платформы и сокращения выбросов углекислого газа от выполнения неоправданно больших вычислительных заданий. Стандартизация заложена в основу платформы с предварительно одобренными, полностью настроенными, безопасными, совместимыми и многократно используемыми компонентами инфраструктуры, которые могут использоваться группами данных и аналитики.
Почему SageMaker Studio?
Команда выбрала Студия Amazon SageMaker в качестве основного инструмента для построения и развертывания конвейеров машинного обучения. Studio предоставляет единый веб-интерфейс, который предоставляет пользователям полный доступ, контроль и прозрачность каждого шага, необходимого для создания, обучения и развертывания моделей. Развитость Studio IDE (интегрированной среды разработки) для разработки моделей, отслеживания метаданных, управления артефактами и развертывания была среди функций, которые сильно понравились команде NatWest Group.
Специалисты по данным из NatWest Group работают с блокнотами SageMaker внутри Studio на начальных этапах разработки модели для выполнения анализа данных, обработки данных и разработки функций. После того, как пользователи будут довольны результатами этой первоначальной работы, код легко преобразуется в компонуемые функции для преобразования данных, обучения модели, вывода, ведения журналов и модульных тестов, чтобы он был готов к работе.
Более поздние этапы жизненного цикла разработки модели включают использование Конвейеры Amazon SageMaker, который можно визуально проверять и отслеживать в Studio. Конвейеры визуализируются в виде DAG (направленного ациклического графика), в котором этапы имеют цветовую кодировку в зависимости от их состояния во время работы конвейера. Кроме того, резюме Журналы Amazon CloudWatch отображается рядом с группой обеспечения доступности баз данных, чтобы облегчить отладку неудачных шагов. Специалистам по данным предоставляется шаблон кода, содержащий все основные этапы конвейера SageMaker. Это обеспечивает стандартизированную структуру (одинаковую для всех пользователей платформы, что упрощает совместную работу и обмен знаниями), в которую разработчики могут добавлять специальную логику и код приложения, соответствующие бизнес-задаче, которую они решают.
Разработчики запускают конвейеры в Studio IDE, чтобы гарантировать правильную интеграцию изменений кода с другими этапами конвейера. После того как изменения кода проверены и одобрены, эти конвейеры создаются и запускаются автоматически на основе триггера основной ветки репозитория Git. Во время обучения модели метрики оценки модели сохраняются и отслеживаются в SageMaker Experiments, которые можно использовать для настройки гиперпараметров. После обучения модели артефакт модели сохраняется в Реестр моделей SageMaker, а также метаданные, связанные с контейнерами модели, данными, используемыми во время обучения, функциями модели и кодом модели. Реестр моделей играет ключевую роль в процессе развертывания модели, поскольку он упаковывает всю информацию о модели и позволяет автоматизировать продвижение модели в рабочие среды.
Инженеры MLOps развертывают управляемые Задания пакетного преобразования SageMaker, масштабируемый в соответствии с требованиями рабочей нагрузки. И автономные пакетные задания вывода, и онлайн-модели, обслуживаемые через конечную точку, используют функции управляемого вывода SageMaker. Это приносит пользу командам как по платформам, так и по бизнес-приложениям, поскольку инженеры платформ больше не тратят время на настройку компонентов инфраструктуры для вывода моделей, а команды по бизнес-приложениям не пишут дополнительный шаблонный код для настройки и взаимодействия с вычислительными экземплярами.
Почему Каталог сервисов AWS?
Команда выбрала AWS Service Catalog для создания каталога безопасных, совместимых и предварительно одобренных шаблонов инфраструктуры. Компоненты инфраструктуры в продукте каталога сервисов AWS предварительно настроены в соответствии с требованиями безопасности NatWest Group. Управление ролевым доступом, политики ресурсов, конфигурация сети и политики централизованного управления настраиваются для каждого ресурса, упакованного в продукт каталога сервисов AWS. Версии продуктов создаются и предоставляются группам приложений в соответствии со стандартным процессом, который позволяет группам по обработке данных и инженерам самостоятельно обслуживать и развертывать инфраструктуру сразу после получения доступа к своим учетным записям AWS.
Команды разработчиков платформ могут легко совершенствовать продукты AWS Service Catalog с течением времени, чтобы обеспечить реализацию новых функций в зависимости от бизнес-требований. Итеративные изменения продуктов вносятся с помощью управления версиями продуктов в каталоге сервисов AWS. При выпуске новой версии продукта команда платформы объединяет изменения кода в основную ветку Git и увеличивает версию продукта каталога сервисов AWS. Существует определенная степень автономии и гибкости при обновлении инфраструктуры, поскольку учетные записи бизнес-приложений могут использовать более ранние версии продуктов до перехода на последнюю версию.
Обзор решения
На следующей общей диаграмме архитектуры показано, как на AWS развертывается типичный вариант использования бизнес-приложения. В следующих разделах более подробно рассматривается архитектура учетной записи, способ развертывания инфраструктуры, управление доступом пользователей и использование различных сервисов AWS для создания решений машинного обучения.
Как показано на диаграмме архитектуры, учетные записи следуют звездообразной модели. Общая учетная запись платформы служит центральной учетной записью, в которой ресурсы, необходимые для учетных записей группы бизнес-приложений (распределенных), размещаются командой платформы. Эти ресурсы включают в себя следующее:
- Библиотека безопасных стандартизированных инфраструктурных продуктов, используемых для развертывания инфраструктуры самообслуживания, размещенная в каталоге сервисов AWS.
- Образы Docker, хранящиеся в Реестр Amazon Elastic Container (Amazon ECR), которые используются во время выполнения этапов конвейера SageMaker и вывода модели.
- Артефакт кода AWS репозитории, в которых размещаются предварительно одобренные пакеты Python.
Эти ресурсы автоматически передаются распределенным учетным записям через функцию совместного использования и импорта портфолио каталога сервисов AWS. Управление идентификацией и доступом AWS (IAM) политики доверия в случае Amazon ECR и CodeArtifact.
Каждой команде бизнес-приложений предоставляются три учетные записи AWS в инфраструктурной среде NatWest Group: для разработки, подготовки к производству и производства. Имена сред относятся к предполагаемой роли учетной записи в жизненном цикле разработки науки о данных. Учетная запись разработчика используется для анализа и обработки данных, написания модели и кода конвейера моделей, обучения моделей и запуска развертывания моделей в предпроизводственной и производственной средах с помощью SageMaker Studio. Предварительная учетная запись отражает настройку рабочей учетной записи и используется для тестирования развертывания модели и заданий пакетного преобразования перед их запуском в производство. В рабочей учетной записи размещаются модели и выполняются рабочие нагрузки по созданию логических выводов.
Управление пользователями
NatWest Group имеет строгие процессы управления для обеспечения разделения ролей пользователей. Для каждого пользователя созданы пять отдельных ролей IAM.
Команда платформы использует следующие роли:
- Инженер поддержки платформы – Эта роль содержит разрешения для обычных задач и доступ только для чтения к остальной среде для мониторинга и отладки платформы.
- Инженер по ремонту платформ – Эта роль создана с повышенными разрешениями. Он используется, если есть проблемы с платформой, требующие ручного вмешательства. Эта роль принимается на себя только утвержденным и ограниченным по времени образом.
Команды разработки бизнес-приложений выполняют три различные роли:
- Техническое руководство – Эта роль возложена на руководителя группы приложений, часто старшего специалиста по данным. У этого пользователя есть разрешение на развертывание продуктов AWS Service Catalog и управление ими, запуск выпусков в производство и проверку состояния среды, например Кодовый конвейер AWS статусы и журналы. У этой роли нет разрешения на утверждение модели в реестре моделей SageMaker.
- Застройщик – Эта роль назначается всем членам команды, работающей с SageMaker Studio, в которую входят инженеры, специалисты по обработке данных и часто руководитель группы. Эта роль имеет разрешения на открытие Studio, написание кода, а также запуск и развертывание конвейеров SageMaker. Как и технический руководитель, эта роль не имеет разрешения на утверждение модели в реестре моделей.
- Утверждающий модель – Эта роль имеет ограниченные разрешения, связанные с просмотром, утверждением и отклонением моделей в реестре моделей. Причина такого разделения заключается в том, чтобы запретить пользователям, которые могут создавать и обучать модели, утверждать и выпускать свои собственные модели в более сложные среды.
Для разработчиков и утверждающих модели создаются отдельные профили пользователей Studio. В решении используется комбинация заявлений политики IAM и тегов профиля пользователя SageMaker, поэтому пользователям разрешено открывать только тот профиль пользователя, который соответствует их типу пользователя. Это гарантирует, что пользователю будет назначена правильная роль IAM для выполнения SageMaker (и, следовательно, разрешения) при открытии Studio IDE.
Самостоятельное развертывание с помощью каталога сервисов AWS
Конечные пользователи используют каталог сервисов AWS для развертывания продуктов инфраструктуры обработки данных, таких как следующие:
- Студийная среда
- Профили пользователей студии
- Конвейеры развертывания моделей
- Конвейеры обучения
- Конвейеры логического вывода
- Система мониторинга и оповещения
Конечные пользователи развертывают эти продукты непосредственно через пользовательский интерфейс каталога сервисов AWS, а это означает, что они меньше полагаются на команды центральной платформы для подготовки сред. Это значительно сократило время, необходимое пользователям для получения доступа к новым облачным средам, с нескольких дней до нескольких часов, что в конечном итоге привело к значительному сокращению времени окупаемости. Использование общего набора продуктов каталога сервисов AWS обеспечивает согласованность проектов в масштабах всего предприятия и снижает барьеры для совместной работы и повторного использования.
Поскольку вся инфраструктура обработки данных теперь развертывается через централизованно разрабатываемый каталог инфраструктурных продуктов, при создании каждого из этих продуктов были приняты меры по обеспечению безопасности. Службы настроены для взаимодействия внутри Виртуальное частное облако Amazon (Amazon VPC), чтобы трафик не проходил через общедоступный Интернет. Данные шифруются при передаче и хранении с использованием Служба управления ключами AWS (AWS KMS). Роли IAM также настроены так, чтобы следовать принципу наименьших привилегий.
Наконец, благодаря каталогу сервисов AWS команда платформы может легко постоянно выпускать новые продукты и услуги по мере того, как они становятся доступными или требуются группам бизнес-приложений. Они могут принимать форму новых инфраструктурных продуктов, например, предоставляя конечным пользователям возможность развертывать свои собственные Амазонка ЭМИ кластеры или обновления существующих инфраструктурных продуктов. Поскольку каталог сервисов AWS поддерживает управление версиями продуктов и использует AWS CloudFormation «за кулисами» обновления на месте могут использоваться при выпуске новых версий существующих продуктов. Это позволяет командам платформы сосредоточиться на создании и улучшении продуктов, а не на разработке сложных процессов обновления.
Интеграция с существующим программным обеспечением IaC NatWest
Каталог сервисов AWS используется для самостоятельного развертывания инфраструктуры обработки данных. Кроме того, для создания инфраструктуры в учетных записях AWS используется стандартный инструмент NatWest «инфраструктура как код» (IaC) Terraform. Terraform используется командами платформы во время первоначальной настройки учетной записи для развертывания необходимых ресурсов инфраструктуры, таких как VPC, группы безопасности, Менеджер систем AWS параметры, ключи KMS и стандартные элементы управления безопасностью. Инфраструктура в учетной записи хаба, такая как портфели каталога сервисов AWS и ресурсы, используемые для создания образов Docker, также определяются с помощью Terraform. Однако сами продукты каталога сервисов AWS создаются с использованием стандартных шаблонов CloudFormation.
Повышение производительности разработчиков и качества кода с помощью проектов SageMaker
Проекты SageMaker предоставьте разработчикам и специалистам по обработке данных доступ к проектам быстрого запуска, не выходя из SageMaker Studio. Эти проекты быстрого запуска позволяют одновременно развернуть несколько ресурсов инфраструктуры всего за несколько кликов. К ним относятся репозиторий Git, содержащий стандартизированный шаблон проекта для выбранного типа модели. Простой сервис хранения Amazon (Amazon S3) для хранения данных, сериализованных моделей и артефактов, а также для обучения моделей и конвейеров вывода CodePipeline.
Внедрение стандартизированной архитектуры и инструментов кодовой базы теперь позволяет специалистам по данным и инженерам легко перемещаться между проектами и обеспечивать высокое качество кода. Например, передовые методы разработки программного обеспечения, такие как проверка форматирования и проверки форматирования (выполняются как в виде автоматических проверок, так и в виде перехватчиков перед фиксацией), модульные тесты и отчеты о покрытии, теперь автоматизированы как часть конвейеров обучения, обеспечивая стандартизацию во всех проектах. Это улучшило удобство сопровождения проектов машинного обучения и облегчит запуск этих проектов в производство.
Автоматизация развертывания моделей
Процесс обучения модели организуется с помощью SageMaker Pipelines. После обучения модели они сохраняются в реестре моделей SageMaker. Пользователи, которым назначена роль утверждающего модели, могут открыть реестр модели и найти информацию, относящуюся к процессу обучения, например, когда модель была обучена, значения гиперпараметров и показатели оценки. Эта информация помогает пользователю решить, утвердить или отклонить модель. Отклонение модели предотвращает ее развертывание в расширенной среде, тогда как утверждение модели запускает конвейер продвижения модели через CodePipeline, который автоматически копирует модель в предсерийную учетную запись AWS, готовую к тестированию рабочей нагрузки. После того, как команда подтвердит, что модель работает правильно на стадии подготовки к производству, утверждается ручной шаг в том же конвейере, и модель автоматически копируется в производственный аккаунт, готовый к рабочим нагрузкам, связанным с производством.
Результаты
Одной из основных целей этого совместного проекта NatWest и AWS было сокращение времени, необходимого для предоставления и развертывания облачных сред обработки данных и моделей машинного обучения в производстве. Это было достигнуто: теперь NatWest может предоставлять новые, масштабируемые и безопасные среды AWS за считанные часы, а не за дни или даже недели. Специалисты по данным и инженеры теперь могут самостоятельно развертывать инфраструктуру обработки данных и управлять ею с помощью каталога сервисов AWS, что позволяет снизить зависимость от централизованных команд платформы. Кроме того, использование проектов SageMaker позволяет пользователям приступить к кодированию и обучению моделей за считанные минуты, а также предоставляет стандартизированные структуры проектов и инструменты.
Поскольку каталог сервисов AWS служит основным методом развертывания инфраструктуры обработки данных, платформу можно легко расширить и модернизировать в будущем. При необходимости конечным пользователям можно быстро предлагать новые сервисы AWS, а существующие продукты каталога сервисов AWS можно обновлять на месте, чтобы воспользоваться преимуществами новых функций.
Наконец, переход к управляемым сервисам на AWS означает, что вычислительные ресурсы выделяются и отключаются по требованию. Это обеспечило экономию средств и гибкость, а также соответствие Цель NatWest – достичь нулевого уровня выбросов к 2050 году из-за примерно 75% сокращения выбросов CO.2 выбросы.
Заключение
Принятие стратегии облачного подхода в NatWest Group привело к созданию надежного решения AWS, которое может поддерживать большое количество групп разработчиков бизнес-приложений в организации. Управление инфраструктурой с помощью каталога сервисов AWS значительно улучшило процесс подключения к облаку за счет использования безопасных, совместимых и предварительно одобренных строительных блоков инфраструктуры, которые можно легко расширить. Компоненты управляемой инфраструктуры SageMaker улучшили процесс разработки моделей и ускорили реализацию проектов машинного обучения.
Чтобы узнать больше о процессе создания готовых к производству моделей машинного обучения в NatWest Group, ознакомьтесь с оставшейся частью этой серии из четырех частей, посвященной стратегическому сотрудничеству между NatWest Group и AWS Professional Services:
- Часть 1 объясняет, как NatWest Group сотрудничала с AWS Professional Services для создания масштабируемой, безопасной и устойчивой платформы MLOps.
- Часть 3 предоставляет обзор того, как NatWest Group использует сервисы SageMaker для создания проверяемых, воспроизводимых и объяснимых моделей машинного обучения.
- Часть 4 Подробно рассказывается, как специалисты NatWest по обработке и анализу данных переносят свои существующие модели на архитектуру SageMaker.
Об авторах
Джунаид Баба является консультантом DevOps в Профессиональные услуги AWS Он использует свой опыт в Kubernetes, распределенных вычислениях, AI/MLOps для ускорения внедрения облачных технологий клиентами отрасли финансовых услуг Великобритании. Джунаид работает в AWS с июня 2018 года. До этого Джунаид работал с рядом финансовых стартапов, внедряя практики DevOps. Помимо работы он увлекается треккингом, современным искусством и фотографией.
Йорданка Иванова работает инженером по данным в NatWest Group. У нее есть опыт создания и предоставления решений по работе с данными для компаний в сфере финансовых услуг. До прихода в NatWest Йорданка работала техническим консультантом, где приобрела опыт использования широкого спектра облачных сервисов и технологий с открытым исходным кодом для достижения бизнес-результатов на нескольких облачных платформах. В свободное время Йорданка любит заниматься спортом, путешествовать и играть на гитаре.
Майкл Англия — инженер-программист в команде по науке о данных и инновациях в NatWest Group. Он увлечен разработкой решений для выполнения крупномасштабных рабочих нагрузок машинного обучения в облаке. До прихода в NatWest Group Майкл работал и возглавлял группы разработчиков программного обеспечения, разрабатывающие критически важные приложения в сфере финансовых услуг и туризма. В свободное время он любит играть на гитаре, путешествовать и исследовать сельскую местность на велосипеде.
- Коинсмарт. Лучшая в Европе биржа биткойнов и криптовалют.
- Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. БЕСПЛАТНЫЙ ДОСТУП.
- КриптоХок. Альткоин Радар. Бесплатная пробная версия.
- Источник: https://aws.amazon.com/blogs/machine-learning/part-2-how-natwest-group-built-a-secure-compliance-self-service-mlops-platform-using-aws-service- каталог-и-amazon-sagemaker/
- "
- 100
- О нас
- ускоренный
- ускоряющий
- доступ
- Учетная запись
- через
- дополнение
- дополнительный
- Принятие
- плюс
- Все
- Amazon
- среди
- количество
- суммы
- анализ
- аналитика
- Применение
- Приложения
- подхода
- утвердить
- архитектура
- Искусство
- назначенный
- аудит
- Аутентификация
- Автоматизированный
- автоматизация
- Автоматизация и стандартизация
- доступен
- AWS
- Банка
- становиться
- за кулисами
- не являетесь
- польза
- Преимущества
- ЛУЧШЕЕ
- лучшие практики
- строить
- Строительство
- бизнес
- углерод
- заботится
- централизованная
- вызов
- проблемы
- Проверки
- облако
- Облачная платформа
- облачные сервисы
- код
- Кодирование
- сотрудничество
- сочетание
- Общий
- Компании
- Компания
- сравненный
- комплекс
- Соответствие закону
- уступчивый
- компонент
- Вычисление
- вычисление
- Конфигурация
- Коммутация
- консультант
- Container
- Контейнеры
- содержит
- содержание
- беспрестанно
- контроль
- создали
- Создающий
- создание
- критической
- изготовленный на заказ
- Клиенты
- данным
- анализ данных
- наука о данных
- ученый данных
- поставляется
- доставки
- поставка
- Спрос
- запросы
- развертывание
- развернуть
- развертывание
- развертывание
- развертывания
- описано
- конструкций
- подробность
- подробнее
- развитый
- Застройщик
- застройщиков
- развивающийся
- Разработка
- различный
- трудный
- Интернет
- непосредственно
- распределенный
- распределенных вычислений
- Docker
- не
- вниз
- вождение
- легко
- эффективный
- усилия
- Разрабатывать
- включить
- Конечная точка
- инженер
- Проект и
- Инженеры
- Предприятие
- Окружающая среда
- По оценкам,
- оценка
- развивается
- пример
- выполнение
- существующий
- опыт
- Особенность
- Особенности
- Обратная связь
- финансовый
- финансовые услуги
- First
- фиксированный
- Трансформируемость
- Фокус
- следовать
- после
- след
- форма
- Рамки
- функциональность
- будущее
- идти
- управление
- группы
- Группы
- Гиды
- счастливый
- помощь
- помогает
- High
- Как
- HTTPS
- Личность
- реализация
- улучшенный
- включают
- включены
- включает в себя
- расширились
- промышленности
- промышленность
- информация
- Инфраструктура
- Инновации
- инновационный
- учреждение
- интегрировать
- интегрированный
- интересы
- Интерфейс
- Интернет
- вовлеченный
- вопросы
- IT
- Джобс
- Основные
- ключи
- знания
- большой
- последний
- вести
- УЧИТЬСЯ
- изучение
- привело
- рычаги
- Используя
- Библиотека
- Ограниченный
- линия
- связывающий
- локальным
- машина
- обучение с помощью машины
- сделанный
- основной
- ДЕЛАЕТ
- управлять
- управляемого
- управление
- управления
- способ
- руководство
- Вопрос
- зрелость
- смысл
- Участники
- Метрика
- миллиона
- против
- ML
- модель
- Модели
- Мониторинг
- месяцев
- БОЛЕЕ
- двигаться
- перемещение
- с разными
- имена
- сетей
- Новые функции
- Новая Платформа
- новый продукт
- новые продукты
- номер
- предложенный
- оффлайн
- Вводный
- онлайн
- открытый
- Операционный отдел
- Оптимизировать
- организация
- Другие контрактные услуги
- общий
- собственный
- особый
- партнерство
- страстный
- шаблон
- производительность
- фотография
- пилот
- Платформа
- Платформы
- игры
- сборах
- политика
- «портфель»
- портфели
- принцип
- частная
- Частные ключи
- процесс
- Процессы
- Продукт
- Производство
- производительность
- Продукция
- профессиональный
- Профиль
- Профили
- Проект
- проектов
- продвижение
- обеспечивать
- приводит
- обеспечение
- что такое варган?
- САЙТ
- быстро
- Reading
- уменьшить
- снижение
- регуляторы
- отношения
- освободить
- выпустил
- публикации
- опора
- Отчеты
- хранилище
- требовать
- обязательный
- Требования
- ресурс
- Полезные ресурсы
- ОТДЫХ
- Итоги
- обзоре
- дорога
- Run
- Бег
- Масштабируемость
- масштабируемые
- Шкала
- Сцены
- Наука
- Ученый
- Ученые
- SDK
- безопасный
- безопасность
- выбранный
- Серии
- обслуживание
- Услуги
- набор
- установка
- Поделиться
- общие
- значительный
- Аналогичным образом
- просто
- So
- Software
- Инженер-программист
- разработка программного обеспечения
- Решение
- Решения
- тратить
- Стабильность
- стек
- стандарт
- стартапов
- и политические лидеры
- Область
- отчетность
- Статус:
- диск
- Стратегический
- Стратегия
- студия
- поддержка
- Поддержка
- комфортного
- система
- системы
- задачи
- команда
- Технический
- технологии
- Технологии
- шаблоны
- тестXNUMX
- Тестирование
- тестов
- сустав
- тема
- следовательно
- Через
- время
- инструментом
- к
- Отслеживание
- трафик
- Обучение
- Transform
- трансформация
- транзит
- путешествовать
- Путешествие
- Доверие
- ui
- Uk
- Updates
- использование
- пользователей
- использовать
- Использующий
- разнообразие
- Вид
- Виртуальный
- видимость
- Web-Based
- будь то
- в то время как
- КТО
- в
- без
- Работа
- работавший
- работает
- разработка
- работает
- Мир