В эпоху больших данных и искусственного интеллекта компании постоянно ищут способы использования этих технологий для получения конкурентного преимущества. Одной из самых популярных областей ИИ сейчас является генеративный ИИ, и на это есть веские причины. Генеративный искусственный интеллект предлагает мощные решения, которые расширяют границы возможного с точки зрения творчества и инноваций. В основе этих передовых решений лежит базовая модель (FM) — высокоразвитая модель машинного обучения, предварительно обученная на огромных объемах данных. Многие из этих базовых моделей продемонстрировали замечательную способность понимать и генерировать текст, похожий на человеческий, что делает их ценным инструментом для различных приложений, от создания контента до автоматизации поддержки клиентов.
Однако эти модели не лишены своих проблем. Они исключительно велики и требуют больших объемов данных и вычислительных ресурсов для обучения. Кроме того, оптимизация процесса обучения и калибровка параметров может оказаться сложным и повторяющимся процессом, требующим опыта и тщательного экспериментирования. Это может стать препятствием для многих организаций, стремящихся создать свои собственные модели фундамента. Чтобы решить эту проблему, многие клиенты рассматривают возможность доработки существующих моделей фундаментов. Это популярный метод корректировки небольшой части параметров модели для конкретных приложений с сохранением знаний, уже закодированных в модели. Это позволяет организациям использовать возможности этих моделей, одновременно сокращая ресурсы, необходимые для адаптации к конкретной области или задаче.
Существует два основных подхода к точной настройке моделей фундамента: традиционная точная настройка и точная настройка с эффективным использованием параметров. Традиционная точная настройка включает обновление всех параметров предварительно обученной модели для конкретной последующей задачи. С другой стороны, точная настройка с эффективным использованием параметров включает в себя множество методов, которые позволяют настраивать модель без обновления всех исходных параметров модели. Один из таких методов называется адаптацией низкого ранга (LoRA). Он включает в себя добавление небольших модулей для конкретных задач в предварительно обученную модель и их обучение, сохраняя при этом остальные параметры фиксированными, как показано на следующем изображении.
Источник: Генеративный искусственный интеллект на AWS (О'Рейли, 2023 г.)
LoRA приобрела популярность в последнее время по нескольким причинам. Он предлагает более быстрое обучение, снижение требований к памяти и возможность повторного использования предварительно обученных моделей для нескольких последующих задач. Что еще более важно, базовую модель и адаптер можно хранить отдельно и объединять в любое время, что упрощает хранение, распространение и совместное использование доработанных версий. Однако это ставит новую задачу: как правильно управлять этими новыми типами точно настроенных моделей. Стоит ли объединять базовую модель и адаптер или хранить их отдельно? В этом посте мы рассмотрим лучшие практики управления точно настроенными моделями LoRA на Создатель мудреца Амазонки для решения этого возникающего вопроса.
Работа с FM в реестре моделей SageMaker
В этом посте мы рассмотрим комплексный пример тонкой настройки модели большого языка (LLM) Llama2 с использованием метода QLoRA. QLoRA сочетает в себе преимущества точной настройки параметров с 4-битным/8-битным квантованием для дальнейшего сокращения ресурсов, необходимых для точной настройки FM для конкретной задачи или варианта использования. Для этого мы будем использовать предварительно обученную модель Llama7 с 2 миллиардами параметров и точно настроим ее на наборе данных databricks-dolly-15k. LLM, такие как Llama2, имеют миллиарды параметров и предварительно обучаются на огромных наборах текстовых данных. Точная настройка адаптирует LLM к последующей задаче с использованием меньшего набора данных. Однако точная настройка больших моделей требует больших вычислительных затрат. Вот почему мы будем использовать метод QLoRA для квантования весов во время точной настройки, чтобы снизить затраты на вычисления.
В наших примерах вы найдете две тетради (llm-finetune-combined-with-registry.ipynb
и llm-finetune-separate-with-registry.ipynb
). Каждый из них работает по-своему, обрабатывая точно настроенные модели LoRA, как показано на следующей диаграмме:
- Сначала мы загружаем предварительно обученную модель Llama2 с 7 миллиардами параметров с помощью SageMaker Studio Notebooks. LLM, такие как Llama2, продемонстрировали современную производительность при выполнении задач обработки естественного языка (NLP) при точной настройке на данных, специфичных для предметной области.
- Затем мы настраиваем Llama2 на наборе данных databricks-dolly-15k, используя метод QLoRA. QLoRA снижает вычислительные затраты на точную настройку за счет квантования весов модели.
- Во время тонкой настройки мы интегрируем SageMaker Experiments Plus с API Transformers для автоматической регистрации таких показателей, как градиент, потери и т. д.
- Затем мы создаем версию точно настроенной модели Llama2 в реестре моделей SageMaker, используя два подхода:
- Сохранение полной модели
- Храните адаптер и базовую модель отдельно.
- Наконец, мы размещаем точно настроенные модели Llama2 с помощью библиотеки Deep Java Library (DJL), обслуживающей конечную точку SageMaker в режиме реального времени.
В следующих разделах мы более подробно рассмотрим каждый из этих шагов, чтобы продемонстрировать гибкость SageMaker для различных рабочих процессов LLM и то, как эти функции могут помочь улучшить работу ваших моделей.
Предпосылки
Выполните следующие предварительные условия, чтобы начать экспериментировать с кодом.
- Создайте Домен студии SageMaker: Amazon SageMaker Studio, в частности Studio Notebooks, используется для запуска задачи точной настройки Llama2, а затем регистрации и просмотра моделей в ней. Реестр моделей SageMaker. SageMaker эксперименты также используется для просмотра и сравнения журналов заданий точной настройки Llama2 (потери при обучении/потери при тестировании и т. д.).
- Создайте корзину Amazon Simple Storage Service (S3): Требуется доступ к корзине S3 для хранения обучающих артефактов и весов моделей. Инструкции см. Создание ведра. Пример кода, использованный в этой публикации, будет использовать корзину S3 по умолчанию SageMaker, но вы можете настроить его для использования любой соответствующей корзины S3.
- Настройте коллекции моделей (разрешения IAM). Обновите свою роль выполнения SageMaker, указав разрешения для групп ресурсов, как указано в разделе Руководство разработчика по коллекциям модельных реестров для реализации группировки реестра моделей с использованием коллекций моделей.
- Примите Условия использования для Llama2: вам необходимо будет принять лицензионное соглашение с конечным пользователем и политику допустимого использования для использования базовой модели Llama2.
Примеры доступны в Репозиторий GitHub. Файлы записных книжек тестируются с использованием записных книжек Studio, работающих на ядре PyTorch 2.0.0, оптимизированном для графического процессора Python 3.10, и типе экземпляра ml.g4dn.xlarge.
Эксперименты и интеграция обратных вызовов
Эксперименты с Amazon SageMaker позволяет организовывать, отслеживать, сравнивать и оценивать эксперименты машинного обучения (ML) и версии моделей из любой интегрированной среды разработки (IDE), включая локальные блокноты Jupyter, с помощью SageMaker Python SDK или boto3. Он обеспечивает гибкость для регистрации показателей вашей модели, параметров, файлов, артефактов, построения диаграмм на основе различных показателей, сбора различных метаданных, поиска по ним и поддержки воспроизводимости модели. Специалисты по данным могут быстро сравнивать производительность и гиперпараметры для оценки модели с помощью визуальных диаграмм и таблиц. Они также могут использовать SageMaker Experiments, чтобы загрузить созданные диаграммы и поделиться оценкой модели со своими заинтересованными сторонами.
Обучение LLM может быть медленным, дорогостоящим и повторяющимся процессом. Пользователю очень важно отслеживать масштабные эксперименты LLM, чтобы предотвратить несогласованную настройку модели. API HuggingFace Transformer позволить пользователям отслеживать показатели во время учебных задач с помощью Обратные вызовы. Обратные вызовы — это фрагменты кода «только для чтения», которые могут настраивать поведение цикла обучения в PyTorch Trainer, который может проверять состояние цикла обучения для составления отчетов о ходе выполнения, входа в систему TensorBoard или SageMaker Experiments Plus с помощью пользовательской логики (которая включена как часть этой кодовой базы).
Вы можете импортировать код обратного вызова SageMaker Experiments, включенный в репозиторий кода этой публикации, как показано в следующем блоке кода:
Этот обратный вызов автоматически зарегистрирует следующую информацию в SageMaker Experiments как часть обучающего прогона:
- Параметры обучения и гиперпараметры
- Потеря обучения и проверки модели на этапе, эпохе и финале
- Артефакты ввода и вывода модели (набор обучающих данных, набор проверочных данных, расположение выходных данных модели, отладчик обучения и т. д.)
На следующем графике показаны примеры диаграмм, которые можно отобразить, используя эту информацию.
Это позволяет легко сравнивать несколько запусков с помощью функции анализа в SageMaker Experiments. Вы можете выбрать серии экспериментов, которые хотите сравнить, и они автоматически заполнят сравнительные графики.
Регистрация точно настроенных моделей в коллекциях реестров моделей.
Коллекции реестров моделей это особенность Реестр моделей SageMaker это позволяет группировать зарегистрированные модели, связанные друг с другом, и организовывать их в иерархии для улучшения обнаружения моделей в масштабе. Мы будем использовать коллекции реестров моделей для отслеживания базовой модели и доработанных вариантов.
Метод полного копирования модели
Первый метод объединяет базовую модель и адаптер LoRA и сохраняет полную настроенную модель. Следующий код иллюстрирует процесс слияния моделей и сохраняет объединенную модель, используя model.save_pretrained()
.
Объединение адаптера LoRA и базовой модели в единый артефакт модели после тонкой настройки имеет свои преимущества и недостатки. Комбинированная модель является автономной, ею можно независимо управлять и развертывать без необходимости использования исходной базовой модели. Модель можно отслеживать как отдельный объект с именем версии, отражающим базовую модель и данные точной настройки. Мы можем принять номенклатуру, используя base_model_name
+ точно настроен dataset_name
организовать модельные группы. При желании коллекции моделей могут связать исходную и точно настроенную модели, но в этом может не быть необходимости, поскольку объединенная модель независима. В следующем фрагменте кода показано, как зарегистрировать точно настроенную модель.
Вы можете использовать оценщик обучения, чтобы зарегистрировать модель в реестре моделей.
Из реестра моделей вы можете получить пакет модели и напрямую развернуть эту модель.
Однако у этого подхода есть недостатки. Объединение моделей приводит к неэффективности и избыточности хранилища, поскольку базовая модель дублируется в каждой доработанной версии. Поскольку размер модели и количество точно настроенных моделей увеличиваются, это экспоненциально увеличивает потребности в хранилище. Если взять в качестве примера модель llama2 7b, базовая модель имеет размер примерно 13 ГБ, а доработанная модель — 13.6 ГБ. 96% процентов модели необходимо дублировать после каждой тонкой настройки. Кроме того, распространение и совместное использование очень больших файлов моделей также становится более трудным и представляет эксплуатационные проблемы, поскольку затраты на передачу файлов и управление ими возрастают с увеличением размера модели и заданий по точной настройке.
Отдельный адаптер и базовый метод
Второй метод фокусируется на разделении базовых весов и весов адаптера путем сохранения их как отдельных компонентов модели и их последовательной загрузки во время выполнения.
Сохранение веса базы и адаптера имеет свои преимущества и недостатки, как и метод полного копирования модели. Одним из преимуществ является то, что это может сэкономить место для хранения. Базовые грузы, которые являются крупнейшим компонентом точно настроенной модели, сохраняются только один раз и могут быть повторно использованы с другими грузами-адаптерами, настроенными для различных задач. Например, базовый вес Llama2-7B составляет около 13 ГБ, но для каждой задачи тонкой настройки требуется хранить только около 0.6 ГБ веса адаптера, что дает экономию места на 95%. Еще одним преимуществом является то, что базовыми весами можно управлять отдельно от весов адаптеров, используя реестр моделей только с базовыми весами. Это может быть полезно для доменов SageMaker, которые работают в режиме только VPC без интернет-шлюза, поскольку доступ к базовым весам можно получить без необходимости использования Интернета.
Создать группу пакетов моделей для базовых весов
Создайте группу пакетов модели для весов QLoRA.
В следующем коде показано, как пометить веса QLoRA с типом набора данных/задачи, зарегистрировать точно настроенные дельта-веса в отдельном реестре модели и отдельно отслеживать дельта-веса.
В следующем фрагменте показано представление из реестра моделей, где модели разделены на базовые и точно настроенные веса.
Управление моделями, наборами данных и задачами для гиперперсонализированных программ LLM может быстро стать непосильной задачей. Коллекции реестра моделей SageMaker может помочь вам сгруппировать связанные модели и организовать их в иерархию для улучшения обнаружения моделей. Это упрощает отслеживание взаимосвязей между базовыми весами, весами адаптеров и наборами данных задач точной настройки. Вы также можете создавать сложные отношения и связи между моделями.
Создайте новую коллекцию и добавьте в нее веса базовой модели.
Свяжите все ваши точно настроенные дельта-веса адаптера LoRA с этой коллекцией по задачам и/или наборам данных.
В результате будет создана иерархия коллекций, связанная по типу модели/задачи и набору данных, используемому для точной настройки базовой модели.
Такой способ разделения базовой и переходной моделей имеет некоторые недостатки. Одним из недостатков является сложность развертывания модели. Поскольку существует два отдельных артефакта модели, вам потребуются дополнительные действия для переупаковки модели вместо ее развертывания непосредственно из реестра моделей. В следующем примере кода сначала загрузите и перепакуйте последнюю версию базовой модели.
Затем загрузите и упакуйте новейшие точно настроенные грузики адаптера LoRA.
Поскольку для размещения модели вы будете использовать сервис DJL с глубокой скоростью, ваш каталог вывода должен выглядеть следующим образом.
Наконец, упакуйте пользовательский код вывода, базовую модель и адаптер LoRA в один файл .tar.gz для развертывания.
Убирать
Очистите свои ресурсы, следуя инструкциям в разделе очистки записной книжки. Ссылаться на Цены на Amazon SageMaker для получения подробной информации о стоимости экземпляров вывода.
Заключение
В этом посте вы ознакомились с лучшими практиками управления точно настроенными моделями LoRA в Amazon SageMaker. Мы рассмотрели два основных метода: объединение базового веса и веса адаптера в одну автономную модель и разделение базового веса и веса адаптера. Оба подхода имеют свои компромиссы, но разделение весов помогает оптимизировать хранилище и использовать расширенные методы управления моделями, такие как коллекции реестров моделей SageMaker. Это позволяет строить иерархии и связи между моделями для улучшения организации и доступности. Мы рекомендуем вам попробовать пример кода на Репозиторий GitHub поэкспериментировать с этими методами самостоятельно. Поскольку генеративный искусственный интеллект быстро развивается, следование передовым практикам управления моделями поможет вам отслеживать эксперименты, находить модель, подходящую для вашей задачи, и эффективно управлять специализированными LLM в больших масштабах.
Рекомендации
Об авторах
Джеймс Ву является старшим специалистом по архитектуре решений AI/ML в AWS. помогая клиентам разрабатывать и создавать решения AI/ML. Работа Джеймса охватывает широкий спектр вариантов использования машинного обучения, в первую очередь интересуясь компьютерным зрением, глубоким обучением и масштабированием машинного обучения на предприятии. До прихода в AWS Джеймс более 10 лет был архитектором, разработчиком и руководителем технологий, в том числе 6 лет в области проектирования и 4 года в сфере маркетинга и рекламы.
Пранав Мурти является специалистом по архитектуре решений AI/ML в AWS. Он помогает клиентам создавать, обучать, развертывать и переносить рабочие нагрузки машинного обучения (ML) в SageMaker. Ранее он работал в полупроводниковой промышленности, разрабатывая большие модели компьютерного зрения (CV) и обработки естественного языка (NLP) для улучшения полупроводниковых процессов. В свободное время любит играть в шахматы и путешествовать.
Меджит Гунгор является специалистом по архитектуре решений AI/ML в AWS, помогая клиентам проектировать и создавать решения AI/ML в масштабе. Он охватывает широкий спектр вариантов использования ИИ/МО для клиентов в сфере телекоммуникаций и в настоящее время занимается генеративным ИИ, LLM, а также обучением и оптимизацией логических выводов. Его часто можно встретить в походах по дикой местности или за игрой в настольные игры с друзьями в свободное время.
Шелби Айгенброде является главным архитектором решений, специализирующимся на искусственном интеллекте и машинном обучении, в Amazon Web Services (AWS). Она занимается технологиями уже 24 года, работая в различных отраслях, технологиях и на разных должностях. В настоящее время она сосредоточена на объединении своего опыта DevOps и ML в области MLOps, чтобы помочь клиентам предоставлять и управлять рабочими нагрузками ML в масштабе. Имея более 35 патентов, выданных в различных областях технологий, она стремится к непрерывным инновациям и использованию данных для достижения результатов в бизнесе. Шелби — соавтор и преподаватель специализации «Практическая наука о данных» на Coursera. Она также является содиректором организации Women In Big Data (WiBD) в Денвере. В свободное время она любит проводить время со своей семьей, друзьями и гиперактивными собаками.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/model-management-for-lora-fine-tuned-models-using-llama2-and-amazon-sagemaker/
- :имеет
- :является
- :нет
- :куда
- $UP
- 10
- 100
- 11
- 12
- 13
- 15%
- 16
- 20
- 2023
- 23
- 24
- 25
- 28
- 31
- 35%
- 7
- 8
- 95%
- a
- способность
- О нас
- Принять
- приемлемый
- доступ
- Доступ
- через
- адаптация
- адаптируются
- Добавить
- добавить
- дополнительный
- Дополнительно
- адрес
- принять
- продвинутый
- плюс
- Преимущества
- Реклама
- После
- ДОГОВОР
- AI
- ИИ правильно
- AI / ML
- Все
- позволять
- позволяет
- уже
- причислены
- Amazon
- Создатель мудреца Амазонки
- Студия Amazon SageMaker
- Amazon Simple Storage Service (S3)
- Amazon Web Services
- Веб-службы Amazon (AWS)
- суммы
- an
- анализировать
- и
- Другой
- любой
- API
- Приложения
- подхода
- подходы
- утвержденный
- примерно
- МЫ
- области
- AS
- Юрист
- At
- автоматически
- автоматизация
- доступен
- AWS
- назад
- фон
- барьеры
- Использование темпера с изогнутым основанием
- BE
- , так как:
- становиться
- становится
- было
- поведение
- Преимущества
- ЛУЧШЕЕ
- лучшие практики
- между
- большой
- Big Data
- миллиард
- миллиарды
- Заблокировать
- доска
- Настольные игры
- изоферменты печени
- Границы
- строить
- бизнес
- но
- by
- обратные вызовы
- под названием
- CAN
- возможности
- захватить
- тщательный
- случаев
- случаев
- вызов
- проблемы
- Глава
- Графики
- шахматы
- класс
- Очистить
- код
- Codebase
- лыжных шлемов
- Коллекции
- объединять
- сочетании
- комбинаты
- комбинируя
- Компании
- сравнить
- сравнение
- конкурентоспособный
- комплекс
- сложность
- компонент
- компоненты
- вычисление
- вычислительный
- компьютер
- Компьютерное зрение
- Условия
- принимая во внимание
- содержание
- контентного создание
- беспрестанно
- (CIJ)
- Основные
- Цена
- может
- покрытый
- Обложки
- Создайте
- создали
- создание
- креативность
- В настоящее время
- изготовленный на заказ
- клиент
- служба поддержки
- Клиенты
- настройка
- настроить
- передовой
- данным
- наука о данных
- Наборы данных
- глубоко
- глубокое обучение
- более глубокий
- По умолчанию
- из
- доставить
- Delta
- демонстрировать
- Денвер
- развертывание
- развернуть
- развертывание
- развертывание
- Проект
- подробнее
- Застройщик
- развивающийся
- Развитие
- различный
- трудный
- непосредственно
- Дисплей
- распространять
- распределительный
- погружение
- домен
- доменов
- скачать
- недостатки
- управлять
- в течение
- каждый
- легче
- легко
- Edge
- эффективный
- эффективно
- еще
- появление
- позволяет
- поощрять
- впритык
- Конечная точка
- Проект и
- Предприятие
- организация
- Окружающая среда
- эпоха
- Эпоха
- и т.д
- оценивать
- оценка
- пример
- Примеры
- исключительно
- выполнение
- существующий
- дорогим
- опыт
- эксперимент
- Эксперименты
- опыта
- экспоненциально
- Face
- Ошибка
- семья
- быстрее
- Особенность
- Особенности
- Файл
- Файлы
- Найдите
- конец
- Во-первых,
- фиксированной
- Трансформируемость
- фокусируется
- фокусировка
- после
- Что касается
- найденный
- Год основания
- Бесплатно
- друзья
- от
- полный
- функция
- далее
- будущее
- Gain
- получила
- Игры
- шлюз
- порождающий
- генеративный
- Генеративный ИИ
- Go
- будет
- хорошо
- GPU / ГРАФИЧЕСКИЙ ПРОЦЕССОР
- предоставленный
- график
- Графики
- группы
- Группы
- рука
- обрабатывать
- Есть
- имеющий
- he
- помощь
- помощь
- помогает
- ее
- иерархия
- очень
- его
- кашель
- горячие
- Как
- How To
- Однако
- HTML
- HTTPS
- ОбниматьЛицо
- иллюстрирует
- изображение
- осуществлять
- реализация
- Импортировать
- важную
- важно
- импорт
- улучшать
- in
- включены
- включает в себя
- В том числе
- Увеличение
- Увеличивает
- повышение
- независимые
- самостоятельно
- промышленности
- промышленность
- неэффективность
- надувает
- информация
- Инновации
- вход
- пример
- вместо
- инструкции
- интегрировать
- интегрированный
- интерес
- Интернет
- в
- Представляет
- IT
- ЕГО
- Джеймс
- Java
- работа
- Джобс
- присоединение
- JPG
- Сохранить
- хранение
- Основные
- удар
- знания
- язык
- большой
- крупнейших
- последний
- лидер
- Лиды
- изучение
- Lets
- уровень
- Библиотека
- Лицензия
- лежит
- такое как
- нравится
- LINK
- связанный
- Включенный в список
- LLM
- загрузка
- погрузка
- локальным
- расположение
- журнал
- каротаж
- логика
- посмотреть
- выглядит как
- искать
- от
- машина
- обучение с помощью машины
- Главная
- ДЕЛАЕТ
- Создание
- управлять
- управляемого
- управление
- управления
- многих
- Маркетинг
- Маркетинг и реклама
- массивный
- Май..
- Память
- идти
- объединение
- Метаданные
- метод
- методы
- Метрика
- мигрировать
- ML
- млн операций в секунду
- режим
- модель
- Модели
- Модули
- БОЛЕЕ
- с разными
- имя
- натуральный
- Обработка естественного языка
- необходимо
- Необходимость
- нуждающихся
- потребности
- Новые
- НЛП
- ноутбук
- сейчас
- номер
- of
- от
- Предложения
- .
- on
- консолидировать
- ONE
- только
- оперативный
- Операционный отдел
- оптимизация
- Оптимизировать
- оптимизированный
- оптимизирующий
- or
- организация
- организации
- оригинал
- Другое
- наши
- Результаты
- выходной
- за
- Преодолеть
- подавляющий
- собственный
- пакет
- параметр
- параметры
- часть
- страсть
- Патенты
- путь
- процент
- производительность
- Разрешения
- штук
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- игры
- плюс
- политика
- Популярное
- популярность
- часть
- возможное
- После
- мощностью
- мощный
- практическое
- практиками
- предпосылки
- разрабатывает
- консервирование
- предотвращать
- предварительно
- первичный
- Основной
- Предварительный
- процесс
- Процессы
- обработка
- Прогресс
- должным образом
- свойства
- приводит
- Push
- Питон
- pytorch
- вопрос
- быстро
- ассортимент
- быстро
- реального времени
- причина
- причины
- недавно
- уменьшить
- Цена снижена
- снижает
- снижение
- относиться
- отражающий
- зарегистрироваться
- зарегистрированный
- реестра
- Связанный
- Отношения
- соответствующие
- замечательный
- Reporting
- хранилище
- требовать
- обязательный
- Требования
- Полезные ресурсы
- ОТДЫХ
- результат
- снова использовать
- правую
- Роли
- роли
- Run
- Бег
- работает
- время выполнения
- sagemaker
- Сохранить
- сохраняются
- экономия
- экономия
- Шкала
- масштабирование
- Наука
- Ученые
- SDK
- Поиск
- Во-вторых
- Раздел
- разделах
- поиск
- полупроводник
- старший
- отдельный
- отделяющий
- обслуживание
- Услуги
- выступающей
- несколько
- Поделиться
- разделение
- она
- должен
- показанный
- Шоу
- аналогичный
- просто
- с
- одинарной
- Размер
- медленной
- небольшой
- меньше
- отрывок
- Решение
- Решения
- некоторые
- Источник
- Space
- напряженность
- специалист
- специализированный
- конкретный
- конкретно
- тратить
- раскол
- заинтересованных сторон
- Начало
- Область
- современное состояние
- Статус:
- Шаг
- Шаги
- По-прежнему
- диск
- магазин
- хранить
- студия
- такие
- поддержка
- TAG
- с
- Сложность задачи
- задачи
- техника
- снижения вреда
- технологии
- Технологии
- телекоммуникация
- terms
- проверенный
- текст
- который
- Ассоциация
- их
- Их
- тогда
- Там.
- Эти
- они
- этой
- Через
- время
- в
- вместе
- инструментом
- факел
- трек
- традиционный
- Train
- Обучение
- перевод
- трансформатор
- трансформеры
- Путешествие
- правда
- стараться
- мелодия
- настроены
- настройка
- два
- напишите
- Типы
- под
- понимание
- Обновление ПО
- обновление
- загружено
- URL
- использование
- прецедент
- используемый
- Информация о пользователе
- пользователей
- через
- Проверка
- ценный
- ценностное
- разнообразие
- различный
- Огромная
- версия
- версии
- очень
- с помощью
- Вид
- видение
- визуальный
- от
- ходил
- хотеть
- законопроект
- Путь..
- способы
- we
- Web
- веб-сервисы
- когда
- , которые
- в то время как
- зачем
- широкий
- Широкий диапазон
- будете
- в
- без
- Женщина
- Работа
- работавший
- Рабочие процессы
- работает
- лет
- Ты
- ВАШЕ
- себя
- зефирнет