Этот пост написан в соавторстве с Джастином Майлзом, Лив д'Алиберти и Джо Ковбой из Лейдоса.
Лейдос — лидер в области научно-технических решений из списка Fortune 500, работающий над решением некоторых из самых сложных мировых проблем в сфере обороны, разведки, национальной безопасности, гражданского строительства и здравоохранения. В этом посте мы обсудим, как Leidos работал с AWS над разработкой подхода к выводу модели большого языка (LLM) с сохранением конфиденциальности с использованием Анклавы AWS Nitro.
LLM предназначены для понимания и создания человеческого языка и используются во многих отраслях, включая правительство, здравоохранение, финансы и интеллектуальную собственность. LLM имеют широкое применение, включая чат-боты, генерацию контента, языковой перевод, анализ настроений, системы ответов на вопросы, поисковые системы и генерацию кода. Внедрение вывода на основе LLM в систему также может создать угрозы конфиденциальности, включая кражу модели, нарушение конфиденциальности данных и непреднамеренное манипулирование услугами на основе LLM. Необходимо реализовать техническую архитектуру, чтобы гарантировать, что LLM не раскрывает конфиденциальную информацию во время вывода.
В этом посте обсуждается, как Nitro Enclaves может помочь защитить развертывание моделей LLM, особенно тех, которые используют личную информацию (PII) или защищенную медицинскую информацию (PHI). Этот пост предназначен только для образовательных целей и не должен использоваться в производственных средах без дополнительных средств контроля.
Обзор LLM и нитро-анклавов
Потенциальным вариантом использования является чат-бот с конфиденциальными запросами на основе LLM, предназначенный для предоставления услуг вопросов и ответов, содержащих PII и PHI. Большинство современных чат-ботов LLM явно информируют пользователей о том, что им не следует включать PII или PHI при вводе вопросов из соображений безопасности. Чтобы смягчить эти проблемы и защитить данные клиентов, владельцы услуг полагаются в первую очередь на следующие средства защиты пользователей:
- пересмотренное издание – Процесс идентификации и сокрытия конфиденциальной информации, такой как персональные данные, в документах, текстах или других формах контента. Это можно сделать с помощью входных данных перед отправкой модели или LLM, обученному автоматически редактировать свои ответы.
- Многофакторная аутентификация – Процесс безопасности, который требует от пользователей предоставления нескольких методов аутентификации для проверки своей личности и получения доступа к LLM.
- Transport Layer Security (TLS) – Криптографический протокол, обеспечивающий безопасную связь и повышающий конфиденциальность данных при передаче между пользователями и службой LLM.
Хотя эти методы повышают уровень безопасности службы, их недостаточно для защиты всей конфиденциальной информации пользователя и другой конфиденциальной информации, которая может сохраняться без ведома пользователя.
В нашем примере использования услуга LLM предназначена для ответа на вопросы о медицинских льготах сотрудников или предоставления личного пенсионного плана. Давайте проанализируем следующий пример архитектуры и определим области риска конфиденциальности данных.
Потенциальные зоны риска следующие:
- Привилегированные пользователи имеют доступ к экземпляру, в котором находится сервер. Непреднамеренные или несанкционированные изменения в службе могут привести к непредвиденному раскрытию конфиденциальных данных.
- Пользователи должны быть уверены, что служба не будет раскрывать или сохранять конфиденциальную информацию в журналах приложений.
- Изменения в пакетах приложений могут привести к изменениям в работе службы, что приведет к раскрытию конфиденциальных данных.
- Привилегированные пользователи, имеющие доступ к экземпляру, имеют неограниченный доступ к LLM, используемому сервисом. Изменения могут привести к возврату пользователям неверной или неточной информации.
Nitro Enclaves обеспечивает дополнительную изоляцию вашего Эластичное вычислительное облако Amazon (Amazon EC2), защищающий используемые данные от несанкционированного доступа, включая пользователей с правами администратора. В предыдущей архитектуре непреднамеренное изменение может привести к тому, что конфиденциальные данные останутся в виде открытого текста и случайно станут доступны пользователю, которому может не потребоваться доступ к этим данным. С помощью Nitro Enclaves вы создаете изолированную среду из вашего экземпляра EC2, что позволяет вам выделять ресурсы ЦП и памяти для анклава. Этот анклав представляет собой виртуальную машину со строгими ограничениями. При запуске кода, обрабатывающего конфиденциальные данные внутри анклава, ни один из родительских процессов не сможет просматривать данные анклава.
Nitro Enclaves предлагает следующие преимущества:
- Изоляция памяти и процессора – Он использует гипервизор Nitro для изоляции ЦП и памяти анклава от пользователей, приложений и библиотек родительского экземпляра. Эта функция помогает изолировать анклав и ваше программное обеспечение, а также значительно снижает вероятность непредвиденных событий.
- Отдельная виртуальная машина – Анклавы — это отдельные виртуальные машины, подключенные к экземпляру EC2 для дополнительной защиты и безопасной обработки высококонфиденциальных данных.
- Нет интерактивного доступа – Анклавы обеспечивают только безопасное соединение локальных сокетов со своим родительским экземпляром. У них нет постоянного хранилища, интерактивного доступа или внешней сети.
- Криптографическое подтверждение - Предложения Нитро Анклавов криптографическое подтверждение, процесс, используемый для подтверждения идентичности анклава и проверки того, что в вашем анклаве работает только авторизованный код.
- Интеграция с AWS - Nitro Enclaves интегрирован с Служба управления ключами AWS (AWS KMS), что позволяет расшифровывать файлы, зашифрованные с помощью AWS KMS внутри анклава. Диспетчер сертификатов AWS (ACM) для Nitro Enclaves позволяет вам использовать общедоступные и частные сертификаты SSL/TLS с вашими веб-приложениями и серверами, работающими на экземплярах EC2 с Nitro Enclaves.
Вы можете использовать эти функции, предоставляемые Nitro Enclaves, чтобы снизить риски, связанные с данными PII и PHI. Мы рекомендуем включать Nitro Enclaves в услугу LLM при работе с конфиденциальными пользовательскими данными.
Обзор решения
Давайте рассмотрим архитектуру примера службы, которая теперь включает Nitro Enclaves. Благодаря включению Nitro Enclaves, как показано на следующем рисунке, LLM становится более безопасным чат-ботом для обработки данных PHI или PII.
Пользовательские данные, включая PII, PHI и вопросы, остаются зашифрованными на протяжении всего процесса запроса-ответа, когда приложение размещается в анклаве. В ходе заключения выполняются следующие шаги:
- Приложение чат-бота генерирует временные учетные данные AWS и просит пользователя ввести вопрос. Вопрос, который может содержать PII или PHI, затем шифруется с помощью AWS KMS. Зашифрованный ввод пользователя объединяется с временными учетными данными для создания зашифрованного запроса.
- Зашифрованные данные отправляются на HTTP-сервер, размещенный Flask, в виде запроса POST. Прежде чем принимать конфиденциальные данные, эту конечную точку следует настроить для HTTP.
- Клиентское приложение получает запрос POST и пересылает его через безопасный локальный канал (например, vsock) серверному приложению, работающему внутри анклавов Nitro.
- Серверное приложение Nitro Enclaves использует временные учетные данные для расшифровки запроса, запрашивает LLM и генерирует ответ. Параметры конкретной модели хранятся в анклавах и защищены криптографической аттестацией.
- Серверное приложение использует те же временные учетные данные для шифрования ответа.
- Зашифрованный ответ возвращается обратно в приложение чат-бота через клиентское приложение в качестве ответа на запрос POST.
- Приложение чат-бота расшифровывает ответ с помощью ключа KMS и отображает пользователю открытый текст.
Предпосылки
Прежде чем мы начнем, вам необходимы следующие предварительные условия для развертывания решения:
Настройка экземпляра EC2
Выполните следующие шаги, чтобы настроить экземпляр EC2:
- Запустить r5.8xlarge Экземпляр EC2 с использованием amzn2-ami-kernel-5.10-hvm-2.0.20230628.0-x86_64-gp2 AMI с включенными нитро-анклавами.
- Установите интерфейс командной строки Nitro Enclaves для создания и запуска приложений Nitro Enclaves:
sudo amazon-linux-extras install aws-nitro-enclaves-cli -y
sudo yum install aws-nitro-enclaves-cli-devel -y
- Проверьте установку интерфейса командной строки Nitro Enclaves:
nitro-cli –version
- В этом посте используется версия 1.2.2.
- Установите Git и Docker для создания образов Docker и загрузите приложение с GitHub. Добавьте пользователя вашего экземпляра в группу Docker ( является пользователем вашего экземпляра IAM):
sudo yum install git -y
sudo usermod -aG ne <USER>
sudo usermod -aG docker <USER>
sudo systemctl start docker && sudo systemctl enable docker
- Запустите и включите службы распределения Nitro Enclaves и прокси-сервера vsock:
sudo systemctl start nitro-enclaves-allocator.service && sudo systemctl enable nitro-enclaves-allocator.service
sudo systemctl start nitro-enclaves-vsock-proxy.service && sudo systemctl enable nitro-enclaves-vsock-proxy.service
Nitro Enclaves использует локальное сокетное соединение под названием vsock для создания безопасного канала между родительским экземпляром и анклавом.
После запуска и включения всех служб перезапустите экземпляр, чтобы убедиться, что все группы пользователей и службы работают правильно:
sudo shutdown -r now
Настройка службы распределения Nitro Enclaves
Nitro Enclaves — это изолированная среда, в которой часть ЦП и памяти экземпляра выделяется для работы анклава. С помощью службы распределения Nitro Enclaves вы можете указать, сколько процессоров и сколько памяти будет взято из родительского экземпляра для запуска анклава.
Измените зарезервированные ресурсы анклава с помощью текстового редактора (для нашего решения мы выделяем 8 ЦП и 70,000 XNUMX МБ памяти, чтобы обеспечить достаточно ресурсов):
vi /etc/nitro_enclaves/allocatory.yaml
Клонировать проект
После настройки экземпляра EC2 вы можете загрузить код для запуска конфиденциального чат-бота с LLM внутри анклавов Nitro.
Вам необходимо обновить server.py
файл с соответствующим идентификатором ключа KMS, который вы создали вначале для шифрования ответа LLM.
- Клонируйте проект GitHub:
cd ~/ && git clone https://<THE_REPO.git>
- Перейдите в папку проекта, чтобы создать
enclave_base
Образ Docker, содержащий Комплект разработки программного обеспечения Nitro Enclaves (SDK) для документов криптографической аттестации из гипервизора Nitro (этот шаг может занять до 15 минут):cd /nitro_llm/enclave_base
docker build ./ -t “enclave_base”
Сохраните LLM в экземпляре EC2.
Мы используем Bloom 560m LLM с открытым исходным кодом для обработки естественного языка и генерации ответов. Эта модель не адаптирована к PII и PHI, но демонстрирует, как LLM может жить внутри анклава. Модель также необходимо сохранить в родительском экземпляре, чтобы ее можно было скопировать в анклав через Dockerfile.
- Перейдите к проекту:
cd /nitro_llm
- Установите необходимые требования для локального сохранения модели:
pip3 install requirements.txt
- Запустите
save_model.py
приложение, чтобы сохранить модель в/nitro_llm/enclave/bloom
каталог:python3 save_model.py
Создайте и запустите образ Nitro Enclaves.
Чтобы запустить Nitro Enclaves, вам необходимо создать файл образа анклава (EIF) из образа Docker вашего приложения. Файл Dockerfile, расположенный в каталоге анклава, содержит файлы, код и LLM, которые будут выполняться внутри анклава.
Создание и запуск анклава займет несколько минут.
- Перейдите в корень проекта:
cd /nitro_llm
- Создайте файл образа анклава как
enclave.eif
:nitro-cli build-enclave --docker-uri enclave:latest --output-file enclave.eif
Когда анклав будет построен, будет создана серия уникальных хешей и регистров конфигурации платформы (PCR). PCR — это непрерывные измерения, подтверждающие идентичность оборудования и приложения. Эти PCR потребуются для криптографической аттестации и будут использоваться на этапе обновления политики ключей KMS.
- Управляйте анклавом, используя ресурсы из
allocator.service
(добавив--attach-console
аргумент в конце запустит анклав в режиме отладки):nitro-cli run-enclave --cpu-count 8 --memory 70000 --enclave-cid 16 --eif-path enclave.eif
Вам необходимо выделить как минимум в четыре раза больше размера файла EIF. Это можно изменить в allocator.service
из предыдущих шагов.
- Убедитесь, что анклав работает, с помощью следующей команды:
nitro-cli describe-enclaves
Обновите политику ключей KMS.
Выполните следующие шаги, чтобы обновить политику ключей KMS:
- В консоли AWS KMS выберите Ключи, управляемые клиентом в навигационной панели.
- Найдите ключ, который вы создали в качестве предварительного условия.
- Выберите Редактировать по ключевой политике.
- Обновите политику ключей, указав следующую информацию:
- Идентификатор вашей учетной записи
- Ваше имя пользователя IAM
- Обновленная роль экземпляра среды Cloud9.
- Действия
kms:Encrypt
иkms:Decrypt
- Анклав PCR (например, PCR0, PCR1, PCR2) в вашей политике ключей с помощью инструкции условия.
См. следующий ключевой код политики:
Сохраните приложение чат-бота.
Чтобы имитировать приложение чат-бота с конфиденциальными запросами, которое находится за пределами учетной записи AWS, вам необходимо сохранить chatbot.py
приложение и запустите его в среде Cloud9. Ваша среда Cloud9 будет использовать свою роль экземпляра для временных учетных данных, чтобы отменить привязку разрешений от EC2, на котором работает анклав. Выполните следующие шаги:
- На консоли Cloud9 откройте созданную вами среду.
- Скопируйте следующий код в новый файл, например
chatbot.py
в основной каталог. - Установите необходимые модули:
pip install boto3
Pip install requests
- На консоли Amazon EC2 запишите IP-адрес, связанный с вашим экземпляром Nitro Enclaves.
- Обновите переменную URL в
http://<ec2instanceIP>:5001
.
- Запустите приложение чат-бота:
-
python3 chat.py
Во время работы терминал запрашивает ввод пользователя и следует ранее разработанной архитектурной схеме, чтобы сгенерировать безопасный ответ.
Запустите чат-бот с личными вопросами и ответами
Теперь, когда Nitro Enclaves запущен и работает на экземпляре EC2, вы можете более безопасно задавать вопросы PHI и PII своему чат-боту. Давайте посмотрим на пример.
В среде Cloud9 мы задаем вопрос нашему чат-боту и указываем свое имя пользователя.
AWS KMS шифрует вопрос, который выглядит, как показано на следующем снимке экрана.
Затем его отправляют в анклав и запрашивают у обеспеченного LLM. Вопрос и ответ LLM будут выглядеть, как на следующем скриншоте (результат и зашифрованный ответ видны внутри анклава только в режиме отладки).
Затем результат шифруется с помощью AWS KMS и возвращается в среду Cloud9 для расшифровки.
Убирать
Выполните следующие шаги, чтобы очистить ресурсы:
- Остановите экземпляр EC2, созданный для размещения вашего анклава.
- Удалите среду Cloud9.
- Удалите ключ KMS.
- Удалите роль экземпляра EC2 и разрешения пользователя IAM.
Заключение
В этом посте мы продемонстрировали, как использовать Nitro Enclaves для развертывания службы вопросов и ответов LLM, которая более безопасно отправляет и получает информацию PII и PHI. Это было развернуто на Amazon EC2, и анклавы интегрированы с AWS KMS, ограничивая доступ к ключу KMS, поэтому только анклавы Nitro и конечный пользователь могут использовать ключ и расшифровывать вопрос.
Если вы планируете масштабировать эту архитектуру для поддержки более крупных рабочих нагрузок, убедитесь, что процесс выбора модели соответствует требованиям вашей модели с ресурсами EC2. Кроме того, вы должны учитывать максимальный размер запроса и то, какое влияние это окажет на HTTP-сервер и время вывода по модели. Многие из этих параметров можно настроить с помощью настроек модели и HTTP-сервера.
Лучший способ определить конкретные настройки и требования для вашей рабочей нагрузки — это тестирование с помощью точно настроенного LLM. Хотя в этом посте рассматривается только обработка конфиденциальных данных на естественном языке, вы можете изменить эту архитектуру для поддержки альтернативных LLM, поддерживающих аудио, компьютерное зрение или мультимодальности. Те же самые принципы безопасности, описанные здесь, могут быть применены к данным в любом формате. Ресурсы, использованные для создания этого поста, доступны на сайте Репо GitHub.
Поделитесь в разделе комментариев, как вы собираетесь адаптировать это решение для своей среды.
Об авторах
Джастин Майлз — облачный инженер в секторе цифровой модернизации Leidos Управления технологий. В свободное время он любит играть в гольф и путешествовать.
Лив д'Алиберти является исследователем в Leidos AI/ML Accelerator при Технологическом управлении. Их исследования сосредоточены на машинном обучении с сохранением конфиденциальности.
Крис Ренцо — старший архитектор решений в организации AWS Defense and Aerospace. Вне работы он наслаждается балансом теплой погоды и путешествий.
Джо Ковба является вице-президентом сектора цифровой модернизации Leidos. В свободное время он любит судить футбольные матчи и играть в софтбол.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/large-language-model-inference-over-confidential-data-using-aws-nitro-enclaves/
- :имеет
- :является
- :нет
- $UP
- 000
- 1
- 15%
- 16
- 24
- 29
- 32
- 36
- 500
- 67
- 7
- 70
- 8
- 9
- a
- в состоянии
- ускоритель
- принимающий
- доступ
- выполнено
- Учетная запись
- ACM
- Действие
- приспосабливать
- Добавить
- добавить
- дополнительный
- Дополнительно
- адрес
- Аэрокосмическая индустрия
- против
- AI / ML
- Все
- выделять
- позволять
- разрешено
- Позволяющий
- позволяет
- причислены
- Несмотря на то, что
- Amazon
- Amazon EC2
- Amazon Web Services
- an
- анализ
- анализировать
- и
- ответ
- ответ
- любой
- приложение
- Применение
- Приложения
- прикладной
- подхода
- соответствующий
- архитектурный
- архитектура
- архитектуры
- МЫ
- ПЛОЩАДЬ
- области
- аргумент
- AS
- спросить
- спрашивающий
- помощь
- связанный
- At
- аудио
- Аутентификация
- уполномоченный
- автоматически
- доступен
- AWS
- назад
- Баланс
- основной
- BE
- становится
- было
- до
- начало
- не являетесь
- польза
- Преимущества
- ЛУЧШЕЕ
- между
- Цвести
- Бот
- широкий
- строить
- построенный
- но
- by
- под названием
- CAN
- проводятся
- нести
- случаев
- Вызывать
- сертификат
- сертификаты
- проблемы
- изменение
- изменения
- Канал
- чат
- Chatbot
- chatbots
- Выберите
- гражданский
- чистым
- кли
- клиент
- облако
- Cloud9
- код
- собирать
- сочетании
- Комментарии
- Связь
- Связь
- полный
- Вычисление
- компьютер
- Компьютерное зрение
- Обеспокоенность
- состояние
- конфиденциальный
- Конфигурация
- настроить
- связи
- связь
- Рассматривать
- Консоли
- содержать
- содержит
- содержание
- Генерация контента
- контрольная
- правильно
- может
- Создайте
- создали
- ПОЛНОМОЧИЯ
- Полномочия
- криптографический
- Текущий
- клиент
- данные клиентов
- настраиваемый
- данным
- конфиденциальность данных
- Decrypt
- Защита
- демонстрирует
- развертывание
- развернуть
- развертывания
- описывать
- предназначенный
- Определять
- развивать
- Развитие
- диаграмма
- Интернет
- каталог
- обсуждать
- обсуждается
- дисплеев
- Docker
- документ
- Документация
- Dont
- скачать
- два
- в течение
- Ранее
- редактор
- образовательных
- эффект
- ЕИФ
- Сотрудник
- включить
- включен
- анклав
- шифровать
- зашифрованный
- конец
- Конечная точка
- инженер
- Двигатели
- повышать
- Усиливает
- достаточно
- Окружающая среда
- средах
- События
- исследовать
- пример
- Кроме
- эксфильтрации
- эксплицитно
- подвергаться
- Экспозиция
- и, что лучший способ
- Oшибка
- Особенность
- Особенности
- фигура
- Файл
- Файлы
- окончательный
- финансовый
- фокусируется
- следовать
- после
- следующим образом
- футбол
- Что касается
- формат
- формы
- Fortune
- 4
- Бесплатно
- от
- функция
- далее
- Gain
- Игры
- порождать
- генерируется
- генерирует
- поколение
- получить
- идти
- GitHub
- будет
- Правительство
- группы
- Группы
- Ручки
- Управляемость
- Аппаратные средства
- Есть
- he
- Медицина
- информация о здоровье
- здравоохранение
- помощь
- помогает
- здесь
- Выделенные
- очень
- его
- родина
- Национальная Безопаность
- кашель
- состоялся
- Вилла / Бунгало
- дома
- Как
- How To
- HTML
- HTTP
- HTTPS
- i
- ID
- идентифицируемый
- определения
- идентифицирующий
- Личность
- if
- изображение
- изображений
- Влияние
- в XNUMX году
- Импортировать
- in
- неточный
- включают
- включены
- В том числе
- включения
- неправильный
- указывать
- промышленности
- наделяют информацией
- информация
- вход
- ввод
- внутри
- устанавливать
- установка
- пример
- интегрированный
- интеграции.
- интеллектуальный
- интеллектуальная собственность
- Интеллекта
- интерактивный
- в
- вводить
- введение
- IP
- изолированный
- изоляция
- IT
- ЕГО
- JOE
- JSON
- Джастин
- Основные
- знания
- язык
- большой
- больше
- последний
- слой
- лидер
- изучение
- наименее
- библиотеки
- такое как
- LIV
- жить
- Живет
- LLM
- локальным
- в местном масштабе
- расположенный
- посмотреть
- выглядит как
- ВЗГЛЯДЫ
- машина
- обучение с помощью машины
- Продукция
- Главная
- сделать
- управляемого
- управление
- Манипуляция
- многих
- Области применения:
- спички
- максимальный
- Май..
- измерение
- Память
- Метаданные
- методы
- Минут
- смягчать
- режим
- модель
- модифицировало
- изменять
- Модули
- БОЛЕЕ
- самых
- много
- с разными
- должен
- имя
- натуральный
- Обработка естественного языка
- Навигация
- ne
- необходимо
- Необходимость
- потребности
- сетей
- Новые
- Нитро
- нет
- Ничто
- в своих размышлениях
- сейчас
- of
- Предложения
- Офис
- on
- только
- открытый
- с открытым исходным кодом
- or
- заказ
- организация
- Другое
- наши
- внешний
- внешнюю
- за
- обзор
- Владельцы
- пакеты
- хлеб
- параметры
- Разрешения
- личного
- Лично
- план
- планирование
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- игры
- политика
- часть
- возможное
- После
- потенциал
- практиками
- предшествующий
- предпосылка
- предпосылки
- президент
- предыдущий
- в первую очередь
- Основной
- Принципы
- политикой конфиденциальности.
- Угрозы конфиденциальности
- частная
- процесс
- Процессы
- обработка
- Производство
- Проект
- собственность
- для защиты
- защищенный
- протокол
- Доказывать
- обеспечивать
- при условии
- приводит
- полномочие
- что такое варган?
- целей
- Запросы
- запрос
- вопрос
- Вопросы
- получает
- рекомендовать
- снижает
- область
- регистры
- полагается
- полагаться
- остатки
- запросить
- Запросы
- обязательный
- Требования
- требуется
- исследованиям
- исследователь
- зарезервированный
- ресурс
- Полезные ресурсы
- ответ
- ответы
- ограничение
- ограничительный
- результат
- в результате
- сохранять
- уход на пенсию
- возвращают
- Показали
- Снижение
- рисках,
- Роли
- корень
- Run
- Бег
- охранять
- охрана
- то же
- образец
- Сохранить
- сохраняются
- Шкала
- Наука
- Наука и технологии
- SDK
- Поиск
- Поисковые системы
- Раздел
- сектор
- безопасный
- обеспеченный
- безопасно
- безопасность
- выбор
- посылает
- чувствительный
- послать
- настроение
- Серии
- сервер
- Серверы
- обслуживание
- Услуги
- набор
- настройки
- должен
- продемонстрированы
- показанный
- выключение
- существенно
- Размер
- So
- Software
- разработка программного обеспечения
- Решение
- Решения
- некоторые
- конкретный
- конкретно
- Начало
- и политические лидеры
- заявление
- Шаг
- Шаги
- диск
- хранить
- такие
- достаточный
- поддержка
- поддержки
- Убедитесь
- Поверхность
- система
- системы
- взять
- приняты
- Технический
- Технологии
- временный
- Терминал
- Тестирование
- текст
- который
- Ассоциация
- их
- тогда
- Эти
- они
- этой
- те
- угрозы
- Через
- по всему
- время
- раз
- в
- знак
- специалистов
- транзит
- Переводы
- Путешествие
- Доверие
- стараться
- неразрешенный
- под
- понимать
- созданного
- неограниченный
- Обновление ПО
- обновление
- URL
- использование
- прецедент
- используемый
- Информация о пользователе
- пользователей
- использования
- через
- переменная
- проверить
- версия
- с помощью
- вице
- вице-президент
- Вид
- Нарушения
- Виртуальный
- виртуальная машина
- видимый
- видение
- теплый
- законопроект
- Путь..
- способы
- we
- Погода
- Web
- веб-приложений
- веб-сервисы
- Что
- когда
- , которые
- КТО
- будете
- в
- без
- Работа
- работавший
- работает
- мире
- X
- Ты
- ВАШЕ
- зефирнет