Создатель мудреца Амазонки — это полностью управляемая платформа машинного обучения (ML), которая предлагает комплексный набор услуг, обслуживающих сквозные рабочие нагрузки ML. Как рекомендуется AWS в качестве передовой практики, клиенты использовали отдельные учетные записи, чтобы упростить управление политиками для пользователей и изолировать ресурсы по рабочим нагрузкам и учетным записям. Однако, когда все больше пользователей и команд используют платформу машинного обучения в облаке, мониторинг больших рабочих нагрузок машинного обучения в масштабируемой среде с несколькими учетными записями становится более сложной задачей. Для лучшей наблюдаемости клиенты ищут решения для мониторинга использования ресурсов между учетными записями и отслеживания действий, таких как запуск задания и статус выполнения, что необходимо для их требований к руководству и управлению машинным обучением.
Сервисы SageMaker, такие как Processing, Training и Hosting, собирают метрики и журналы с запущенных экземпляров и передают их пользователям. Amazon CloudWatch Счета. Чтобы просмотреть сведения об этих заданиях в разных учетных записях, вам необходимо войти в каждую учетную запись, найти соответствующие задания и посмотреть статус. Не существует единого окна, которое может легко отображать эту информацию о перекрестных учетных записях и нескольких должностях. Кроме того, группа администраторов облачных вычислений должна предоставлять отдельным лицам доступ к различным учетным записям рабочей нагрузки SageMaker, что увеличивает затраты на управление командой облачной платформы.
В этом посте мы представляем панель мониторинга для нескольких учетных записей, которая обеспечивает централизованное представление для мониторинга действий и ресурсов пользователей SageMaker в нескольких учетных записях. Это позволяет конечным пользователям и группе управления облаком эффективно отслеживать выполняемые рабочие нагрузки машинного обучения, просматривать состояние этих рабочих нагрузок и отслеживать различные действия учетных записей в определенные моменты времени. С помощью этой панели управления вам не нужно переходить из консоли SageMaker и щелкать каждое задание, чтобы найти сведения о журналах заданий. Вместо этого вы можете легко просматривать запущенные задания и статус заданий, устранять проблемы с заданиями и настраивать оповещения при обнаружении проблем в общих учетных записях, таких как сбой задания, недоиспользованные ресурсы и т. д. Вы также можете управлять доступом к этой централизованной панели мониторинга или предоставлять доступ к этой панели соответствующим органам власти для выполнения требований аудита и управления.
Обзор решения
Это решение предназначено для обеспечения централизованного мониторинга заданий и действий SageMaker в среде с несколькими учетными записями. Решение спроектировано таким образом, чтобы не зависеть от AWS Организации, но может быть легко принят в организациях или Башня управления AWS среда. Это решение может помочь операционной группе получить общее представление обо всех рабочих нагрузках SageMaker, распределенных по нескольким учетным записям рабочих нагрузок, с единой панели. Также есть возможность включить CloudWatch для наблюдения за несколькими учетными записями между учетными записями рабочей нагрузки SageMaker, чтобы обеспечить доступ к мониторингу данных телеметрии, таких как метрики, журналы и трассировки, из централизованной учетной записи мониторинга. Пример панели управления показан на следующем снимке экрана.
На следующей диаграмме показана архитектура этого решения для централизованной панели мониторинга.
SageMaker имеет встроенную интеграцию с Amazon EventBridge, который отслеживает события изменения состояния в SageMaker. EventBridge позволяет автоматизировать SageMaker и автоматически реагировать на такие события, как изменение статуса задания обучения или изменение статуса конечной точки. События из SageMaker доставляются в EventBridge почти в реальном времени. Дополнительные сведения о событиях SageMaker, отслеживаемых EventBridge, см. Автоматизация Amazon SageMaker с помощью Amazon EventBridge. В дополнение к собственным событиям SageMaker, AWS CloudTrail публикует события, когда вы делаете вызовы API, которые также передаются в EventBridge, чтобы их можно было использовать во многих нижестоящих сценариях автоматизации или мониторинга. В нашем решении мы используем правила EventBridge в учетных записях рабочей нагрузки для потоковой передачи событий службы SageMaker и событий API на шину событий учетной записи мониторинга для централизованного мониторинга.
В централизованной учетной записи мониторинга события перехватываются правилом EventBridge и далее обрабатываются в различные цели:
- Группа журналов CloudWatch для использования в следующих целях:
- Аудит и архивные цели. Для получения дополнительной информации см. Руководство пользователя журналов Amazon CloudWatch.
- Анализ данных журнала с помощью Анализ журналов CloudWatch запросы. CloudWatch Logs Insights позволяет интерактивно искать и анализировать данные журналов в CloudWatch Logs. Вы можете выполнять запросы, чтобы помочь вам более эффективно и действенно реагировать на операционные проблемы. В случае возникновения проблемы вы можете использовать CloudWatch Logs Insights для определения потенциальных причин и проверки развернутых исправлений.
- Поддержка виджета запроса CloudWatch Metrics Insights для высокоуровневых операций на информационной панели CloudWatch, добавление запроса CloudWatch Insights Query на информационные панели и экспорт результатов запроса.
- An AWS Lambda функции для выполнения следующих задач:
- Выполнение пользовательской логики для дополнения событий службы SageMaker. Одним из примеров является выполнение запроса метрик по метрикам использования узла заданий SageMaker при получении события завершения задания.
- Преобразование информации о событиях в метрики в определенных форматах журнала, EMF журналы. Для получения дополнительной информации см. Встраивание метрик в журналы.
Пример в этом посте поддерживается нативным CloudWatch для наблюдения за несколькими учетными записями функция для получения метрик, журналов и доступа к трассировке между учетными записями. Как показано в нижней части диаграммы архитектуры, он интегрируется с этой функцией, чтобы включить метрики и журналы для разных учетных записей. Для этого необходимо создать необходимые разрешения и ресурсы как в учетных записях мониторинга, так и в исходных учетных записях рабочей нагрузки.
Это решение можно использовать как для учетных записей AWS, управляемых организациями, так и для отдельных учетных записей. В следующих разделах объясняются шаги для каждого сценария. Обратите внимание, что в каждом сценарии шаги выполняются в разных учетных записях AWS. Для вашего удобства тип учетной записи для выполнения шага выделяется в начале каждого шага.
Предпосылки
Прежде чем начать эту процедуру, клонируйте наш исходный код из Репо GitHub в вашей локальной среде или Облако AWS9. Дополнительно вам потребуется следующее:
Разверните решение в среде Организации
Если учетная запись мониторинга и все учетные записи рабочей нагрузки SageMaker находятся в одной организации, необходимая инфраструктура в исходных учетных записях рабочей нагрузки создается автоматически с помощью AWS CloudFormation StackSet из учетной записи управления организации. Таким образом, развертывание инфраструктуры вручную в исходных учетных записях рабочей нагрузки не требуется. Когда создается новая учетная запись или существующая учетная запись перемещается в целевую организационную единицу (OU), исходный стек инфраструктуры рабочей нагрузки будет автоматически развернут и включен в область централизованного мониторинга.
Настройка ресурсов учетной записи мониторинга
Нам необходимо собрать следующую информацию об учетной записи AWS, чтобы настроить ресурсы учетной записи мониторинга, которые мы используем в качестве входных данных для сценария настройки позже.
вход | Описание | Пример |
Домашний регион | Регион, в котором выполняются рабочие нагрузки. | ap-southeast-2 |
Имя профиля AWS CLI учетной записи мониторинга | Вы можете найти имя профиля из ~/.aws/config . Это необязательно. Если он не указан, он использует учетные данные AWS по умолчанию из цепочки. |
. |
Путь подразделения рабочей нагрузки SageMaker | Путь подразделения, в котором находятся учетные записи рабочей нагрузки SageMaker. Держать / в конце пути. |
o-1a2b3c4d5e/r-saaa/ou-saaa-1a2b3c4d/ |
Чтобы получить путь к OU, вы можете перейти в консоль Organizations и в разделе Аккаунты AWS, найдите информацию для построения пути OU. В следующем примере соответствующий путь OU o-ye3wn3kyh6/r-taql/ou-taql-wu7296by/
.
После получения этой информации выполните следующую команду, чтобы развернуть необходимые ресурсы в учетной записи мониторинга:
Вы можете получить следующие выходные данные из развертывания. Запишите выходные данные, которые будут использоваться на следующем шаге при развертывании стека учетных записей управления.
Настройка ресурсов учетной записи управления
Нам необходимо собрать следующую информацию об учетной записи AWS, чтобы настроить ресурсы учетной записи управления, которые мы используем в качестве входных данных для сценария настройки позже.
вход | Описание | Пример |
Домашний регион | Регион, в котором выполняются рабочие нагрузки. Это должно быть то же самое, что и стек мониторинга. | ap-southeast-2 |
Имя профиля AWS CLI учетной записи управления | Вы можете найти имя профиля из ~/.aws/config . Это необязательно. Если он не указан, он использует учетные данные AWS по умолчанию из цепочки. |
. |
Идентификатор подразделения рабочей нагрузки SageMaker | Здесь мы используем только идентификатор OU, а не путь. | ou-saaa-1a2b3c4d |
Идентификатор учетной записи мониторинга | Идентификатор учетной записи, в которой развернут стек мониторинга. | . |
Имя роли учетной записи мониторинга | Выход для MonitoringAccountRoleName с предыдущего шага. |
. |
ARN шины событий учетной записи мониторинга | Выход для MonitoringAccountEventbusARN с предыдущего шага. |
. |
Идентификатор приемника учетной записи мониторинга | Выход из MonitoringAccountSinkIdentifier с предыдущего шага. |
. |
Вы можете развернуть ресурсы учетной записи управления, выполнив следующую команду:
Разверните решение в среде, отличной от организации.
Если в вашей среде не используются организации, стек инфраструктуры учетных записей мониторинга развертывается аналогичным образом, но с некоторыми изменениями. Однако стек инфраструктуры рабочей нагрузки необходимо развернуть вручную в каждой учетной записи рабочей нагрузки. Поэтому этот метод подходит для среды с ограниченным количеством учетных записей. Для большой среды рекомендуется рассмотреть возможность использования организаций.
Настройка ресурсов учетной записи мониторинга
Нам необходимо собрать следующую информацию об учетной записи AWS, чтобы настроить ресурсы учетной записи мониторинга, которые мы используем в качестве входных данных для сценария настройки позже.
вход | Описание | Пример |
Домашний регион | Регион, в котором выполняются рабочие нагрузки. | ap-southeast-2 |
Список учетных записей рабочей нагрузки SageMaker | Список учетных записей, которые запускают рабочую нагрузку SageMaker и передают события в учетную запись мониторинга, разделенные запятыми. | 111111111111,222222222222 |
Имя профиля AWS CLI учетной записи мониторинга | Вы можете найти имя профиля из ~/.aws/config . Это необязательно. Если он не указан, он использует учетные данные AWS по умолчанию из цепочки. |
. |
Мы можем развернуть ресурсы учетной записи мониторинга, выполнив следующую команду после того, как вы соберете необходимую информацию:
Мы получаем следующие результаты, когда развертывание завершено. Запишите выходные данные, которые будут использоваться на следующем шаге при развертывании стека учетных записей управления.
Настройка инфраструктуры мониторинга учетных записей рабочей нагрузки
Нам необходимо собрать следующую информацию об учетной записи AWS, чтобы настроить инфраструктуру мониторинга учетной записи рабочей нагрузки, которую мы используем в качестве входных данных для сценария настройки позже.
вход | Описание | Пример |
Домашний регион | Регион, в котором выполняются рабочие нагрузки. Это должно быть то же самое, что и стек мониторинга. | ap-southeast-2 |
Идентификатор учетной записи мониторинга | Идентификатор учетной записи, в которой развернут стек мониторинга. | . |
Имя роли учетной записи мониторинга | Выход для MonitoringAccountRoleName с предыдущего шага. |
. |
ARN шины событий учетной записи мониторинга | Выход для MonitoringAccountEventbusARN с предыдущего шага. |
. |
Идентификатор приемника учетной записи мониторинга | Выход из MonitoringAccountSinkIdentifier с предыдущего шага. |
. |
Имя профиля AWS CLI учетной записи рабочей нагрузки | Вы можете найти имя профиля из ~/.aws/config . Это необязательно. Если он не указан, он использует учетные данные AWS по умолчанию из цепочки. |
. |
Мы можем развернуть ресурсы учетной записи мониторинга, выполнив следующую команду:
Визуализируйте задачи машинного обучения на панели инструментов CloudWatch.
Чтобы проверить, работает ли решение, нам нужно запустить несколько заданий обработки SageMaker и заданий обучения SageMaker для учетных записей рабочей нагрузки, которые мы использовали в предыдущих разделах. Панель управления CloudWatch можно настроить в соответствии с вашими собственными сценариями. Наш пример панели мониторинга состоит из виджетов для визуализации заданий SageMaker Processing и SageMaker Training. На этой панели отображаются все задания по мониторингу учетных записей рабочей нагрузки. В каждом типе заданий мы показываем три виджета: общее количество заданий, количество невыполненных заданий и сведения о каждом задании. В нашем примере у нас есть две учетные записи рабочей нагрузки. С помощью этой панели мониторинга мы можем легко обнаружить, что одна учетная запись рабочей нагрузки содержит как задания по обработке, так и задания по обучению, а другая учетная запись по рабочей нагрузке содержит только задания по обучению. Как и в случае с функциями, которые мы используем в CloudWatch, мы можем установить интервал обновления, указать тип графика, увеличить или уменьшить масштаб или выполнить такие действия, как загрузка журналов в CSV-файле.
Настройте свою панель
Решение, представленное в репозитории GitHub, включает как задание SageMaker Training, так и мониторинг задания SageMaker Processing. Если вы хотите добавить дополнительные панели мониторинга для мониторинга других заданий SageMaker, таких как задания пакетного преобразования, вы можете следовать инструкциям в этом разделе, чтобы настроить панель мониторинга. Путем изменения файл index.py, вы можете настроить поля, которые вы хотите отображать на панели инструментов. Вы можете получить доступ ко всем данным, собранным CloudWatch, через EventBridge. В функции Lambda вы можете выбрать необходимые поля, которые вы хотите отобразить на панели инструментов. См. следующий код:
Чтобы настроить панель инструментов или виджеты, вы можете изменить исходный код в файл Monitoring-account-infra-stack.ts. Обратите внимание, что имена полей, которые вы используете в этом файле, должны быть такими же, как и те (ключи job_detail
), определенные в файле Lambda:
После изменения панели мониторинга необходимо повторно развернуть это решение с нуля. Вы можете запустить блокнот Jupyter, предоставленный в репозитории GitHub, чтобы повторно запустить конвейер SageMaker, который снова запустит задания обработки SageMaker. Когда задания будут завершены, вы можете перейти в консоль CloudWatch и в разделе Dashboards на панели навигации выберите Пользовательские панели мониторинга. Вы можете найти панель мониторинга с именем SageMaker-Monitoring-Dashboard.
Убирать
Если вам больше не нужна эта настраиваемая панель мониторинга, вы можете очистить ресурсы. Чтобы удалить все созданные ресурсы, используйте код в этом разделе. Очистка для среды организаций немного отличается от среды, не относящейся к организациям.
Для среды Organizations используйте следующий код:
Для среды, отличной от организаций, используйте следующий код:
Кроме того, вы можете войти в учетную запись мониторинга, учетную запись рабочей нагрузки и учетную запись управления, чтобы удалить стеки из консоли CloudFormation.
Заключение
В этом посте мы обсудили реализацию решения для централизованного мониторинга и отчетности для SageMaker с помощью CloudWatch. Следуя пошаговым инструкциям, изложенным в этом посте, вы можете создать панель мониторинга с несколькими учетными записями, которая отображает ключевые показатели и объединяет журналы, связанные с их различными заданиями SageMaker из разных учетных записей в режиме реального времени. С помощью этой централизованной панели мониторинга вы можете лучше видеть действия заданий SageMaker в нескольких учетных записях, быстрее устранять неполадки и принимать обоснованные решения на основе данных в реальном времени. В целом, внедрение централизованного решения для мониторинга и отчетности с использованием CloudWatch предлагает организациям эффективный способ управления своей облачной инфраструктурой машинного обучения и использованием ресурсов.
Пожалуйста, попробуйте решение и отправьте нам отзыв либо в форум AWS для Amazon SageMakerили через ваши обычные контакты AWS.
Чтобы узнать больше о функции наблюдения за несколькими аккаунтами, посетите блог. Наблюдение за несколькими учетными записями Amazon CloudWatch
Об авторах
Джи Донг — облачный архитектор AWS из Сиднея, Австралия. Джи увлечена автоматизацией и любит разрабатывать решения, помогающие клиентам повысить производительность. Система, управляемая событиями, и бессерверная среда — его опыт. В свободное время Джи любит работать над созданием умного дома и исследовать новые гаджеты для умного дома.
Мелани Ли, доктор философии, является старшим специалистом по искусственному интеллекту и машинному обучению TAM в AWS, базирующейся в Сиднее, Австралия. Она помогает корпоративным клиентам создавать решения с использованием передовых инструментов искусственного интеллекта и машинного обучения в AWS, а также предоставляет рекомендации по разработке и внедрению решений машинного обучения с учетом передового опыта. В свободное время она любит исследовать природу и проводить время с семьей и друзьями.
Гордон Ван, является старшим специалистом по искусственному интеллекту и машинному обучению TAM в AWS. Он поддерживает стратегических клиентов с помощью лучших практик искусственного интеллекта и машинного обучения во многих отраслях. Он увлечен компьютерным зрением, NLP, генеративным искусственным интеллектом и MLOps. В свободное время любит бегать и ходить в походы.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Автомобили / электромобили, Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- ЧартПрайм. Улучшите свою торговую игру с ChartPrime. Доступ здесь.
- Смещения блоков. Модернизация права собственности на экологические компенсации. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/build-a-centralized-monitoring-and-reporting-solution-for-amazon-sagemaker-using-amazon-cloudwatch/
- :имеет
- :является
- :нет
- :куда
- $UP
- 100
- 11
- 12
- 17
- 24
- 7
- 8
- 9
- a
- О нас
- доступ
- Учетная запись
- Учетные записи
- Достигать
- через
- действия
- активно
- Добавить
- добавить
- дополнение
- дополнительный
- Дополнительно
- Добавляет
- Администратор
- принял
- После
- снова
- против
- AI
- AI / ML
- Оповещения
- Все
- позволяет
- причислены
- Amazon
- Создатель мудреца Амазонки
- Amazon Web Services
- an
- анализировать
- и
- Другой
- API
- архитектура
- архив
- МЫ
- AS
- At
- аудит
- Австралия
- Власти
- автоматизировать
- автоматически
- автоматизация
- AWS
- назад
- основанный
- BE
- становится
- начало
- ЛУЧШЕЕ
- лучшие практики
- Лучшая
- Блог
- изоферменты печени
- Дно
- строить
- Строительство
- автобус
- но
- by
- Объявления
- CAN
- Может получить
- захваченный
- случаев
- Причины
- централизованная
- определенный
- цепь
- сложные
- изменение
- изменения
- проверка
- Выберите
- нажмите на
- облако
- Облачная платформа
- код
- собирать
- полный
- завершение
- комплексный
- компьютер
- Компьютерное зрение
- Рассматривать
- состоит
- Консоли
- консолидирует
- строить
- контакты
- контекст
- контроль
- удобство
- соответствующий
- Создайте
- создали
- Полномочия
- Пересекать
- изготовленный на заказ
- клиент
- Клиенты
- настраиваемый
- настроить
- приборная панель
- щитки
- данным
- решения
- По умолчанию
- определенный
- поставляется
- Зависимость
- развертывание
- развернуть
- развертывание
- развертывание
- предназначенный
- подробность
- подробнее
- развивать
- различный
- обсуждается
- Дисплей
- отображается
- дисплеев
- не
- Dont
- скачать
- продолжительность
- e
- каждый
- легко
- фактически
- эффективный
- эффективно
- или
- включить
- позволяет
- конец
- впритык
- Конечная точка
- Предприятие
- Окружающая среда
- существенный
- События
- События
- пример
- Кроме
- выполнять
- существующий
- опыта
- Объяснять
- Больше
- выражение
- Oшибка
- отсутствии
- Ошибка
- ложный
- семья
- Особенность
- Обратная связь
- несколько
- поле
- Поля
- Файл
- фильтр
- Найдите
- следовать
- после
- Что касается
- Форум
- Рамки
- друзья
- от
- полностью
- функция
- Функции
- далее
- Более того
- Гаджеты
- генеративный
- Генеративный ИИ
- получить
- GitHub
- стекло
- Go
- управление
- график
- группы
- руководство
- Есть
- he
- высота
- помощь
- помогает
- ее
- на высшем уровне
- Выделенные
- его
- история
- Главная
- кашель
- хостинг
- Однако
- HTML
- HTTP
- HTTPS
- ID
- идентифицированный
- определения
- if
- реализация
- Осуществляющий
- улучшать
- in
- включены
- включает в себя
- лиц
- промышленности
- информация
- сообщил
- Инфраструктура
- затраты
- размышления
- вместо
- инструкции
- Интегрируется
- интеграции.
- в
- вопрос
- вопросы
- IT
- работа
- Джобс
- JPG
- всего
- Сохранить
- Основные
- ключи
- этикетка
- большой
- новее
- запуск
- УЧИТЬСЯ
- изучение
- оставил
- Ограниченный
- Список
- локальным
- журнал
- логика
- дольше
- посмотреть
- искать
- любит
- машина
- обучение с помощью машины
- сделать
- управлять
- управляемого
- управление
- Команда
- способ
- руководство
- вручную
- многих
- метод
- метрический
- Метрика
- ML
- млн операций в секунду
- изменять
- монитор
- контролируемый
- Мониторинг
- Мониторы
- БОЛЕЕ
- переехал
- с разными
- имя
- Названный
- имена
- родной
- природа
- Откройте
- Навигация
- необходимо
- Необходимость
- потребности
- Новые
- следующий
- НЛП
- нет
- Ничто
- ноутбук
- номер
- of
- Предложения
- on
- ONE
- только
- операция
- оперативный
- Операционный отдел
- Опция
- or
- организация
- организационной
- организации
- Другое
- наши
- внешний
- изложенные
- выходной
- общий
- собственный
- хлеб
- параметры
- страстный
- путь
- Выполнять
- выполнены
- выполнения
- Разрешения
- кандидат наук
- трубопровод
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- пожалуйста
- пунктов
- политика
- После
- потенциал
- практиками
- представить
- предыдущий
- процедуры
- Обработанный
- обработка
- производительность
- Профиль
- обеспечивать
- при условии
- приводит
- Публикует
- целей
- Push
- Запросы
- быстро
- реальные
- реального времени
- данные в реальном времени
- получила
- Управление по борьбе с наркотиками (DEA)
- область
- Связанный
- соответствующие
- Reporting
- обязательный
- Требования
- ресурс
- Полезные ресурсы
- Реагируйте
- Итоги
- правую
- Роли
- Правило
- условиями,
- Run
- Бег
- sagemaker
- то же
- масштабирование
- сценарий
- Сценарии
- сфера
- поцарапать
- Поиск
- Раздел
- разделах
- посмотреть
- Отправить
- старший
- отдельный
- служить
- Serverless
- обслуживание
- Услуги
- набор
- установка
- Поделиться
- общие
- она
- должен
- показывать
- показанный
- Шоу
- аналогичный
- упростить
- одинарной
- немного отличается
- умный
- Умный дом
- So
- Решение
- Решения
- Источник
- исходный код
- специалист
- тратить
- распространение
- стек
- сложены
- Стеки
- автономные
- Начало
- современное состояние
- Статус:
- Шаг
- Шаги
- Стратегический
- поток
- потоки
- такие
- подходящее
- Поддержанный
- Поддержка
- Сидней
- система
- ТАБЛИЦЫ
- цель
- направлена против
- задачи
- команда
- команды
- который
- Ассоциация
- График
- информация
- Источник
- их
- Их
- Там.
- следовательно
- Эти
- этой
- те
- три
- Через
- время
- Название
- в
- инструменты
- Всего
- Прослеживать
- трек
- Обучение
- Transform
- правда
- стараться
- два
- напишите
- под
- Неожиданный
- Ед. изм
- us
- Применение
- использование
- используемый
- Информация о пользователе
- пользователей
- использования
- через
- использовать
- VALIDATE
- ценностное
- различный
- с помощью
- Вид
- видимость
- видение
- vs
- хотеть
- Путь..
- we
- Web
- веб-сервисы
- Что
- когда
- который
- ширина
- будете
- в
- Работа
- работает
- Ты
- ВАШЕ
- зефирнет
- зум