Сегодня мы рады объявить о поддержке Code Editor, новой опции интегрированной среды разработки (IDE) в Студия Amazon SageMaker. Редактор кода основан на Код-OSS, Visual Studio Code с открытым исходным кодом и обеспечивает доступ к знакомой среде и инструментам популярной IDE, которую знают и любят разработчики машинного обучения (ML), полностью интегрированной с более широким набором функций SageMaker Studio. Редактор кода позволяет вам выбирать из тысяч расширений, совместимых с VS Code, доступных в Галерея расширений Open-VSX для дальнейшего улучшения опыта разработки ваших команд. Вы также можете максимизировать производительность своей команды, используя бесшовную интеграцию с сервисами AWS через Набор инструментов AWS для кода Visual Studio, включая помощника по программированию на базе искусственного интеллекта AWS — Amazon CodeWhisperer.
Как и во всех приложениях IDE в SageMaker Studio, разработчики и инженеры машинного обучения могут выбирать базовые вычисления по требованию и заменять их в соответствии со своими потребностями без потери данных. Кроме того, ваши команды могут управлять контролем версий своей кодовой базы и сотрудничать между командами благодаря встроенной интеграции GitHub и сократить время написания кода, используя самые популярные платформы машинного обучения прямо из коробки с предварительно настроенными Распространение Amazon SageMaker изображение контейнера.
Начало работы с редактором кода в Amazon SageMaker Studio
Ваш ИТ-администратор может настроить новый домен SageMaker Studio или перенести существующий на новую версию SageMaker Studio, включающую редактор кода. Видеть Подключение к домену Amazon SageMaker с помощью быстрой настройки Больше подробностей. Затем вы можете запустить редактор кода простым щелчком мыши в среде Amazon SageMaker Studio.
- После настройки домена запустите новый интерфейс SageMaker Studio с консоли или по заранее подписанному URL-адресу, предоставленному вашим администратором. Вы можете найти IDE-редактор кода как в разделе «Приложения» на левой боковой панели, так и в разделе «Обзор», как показано на следующем снимке экрана:
- На странице сведений о редакторе кода выберите Создать пространство редактора кода. Затем введите имя своего пространства и выберите Создать пространство:
- На странице сведений о пространстве редактора кода выберите базовую конфигурацию, включая:
- Базовый тип инстанса Amazon Elastic Compute Cloud (Amazon EC2).
- Размер тома Amazon Elastic Block Storage (Amazon EBS) (он может варьироваться от 5 ГБ до 16 ТБ).
- Используемый образ контейнера (при запуске у вас будет образ дистрибутива SageMaker как для ЦП, так и для графического процессора).
- Сценарий конфигурации жизненного цикла, который нужно запустить, если вы хотите настроить свою среду при создании приложения.
- Общая эластичная файловая система Amazon (Amazon EFS) для монтирования в вашем пространстве редактора кода (это должно быть настроено вашим администратором при подготовке вашего домена).
- После предоставления сведений о конфигурации пространства выберите Запустить пространство для обеспечения ваших космических ресурсов.
Если вы выбрали быстрый запуск экземпляр с дистрибутивом SageMaker по умолчанию в виде изображения, место в вашем редакторе кода станет доступно менее чем через минуту. Если вы добавили в пространство конфигурации жизненного цикла, установка зависимостей из этого сценария может занять дополнительное время.
После того как ваши ресурсы будут выделены, на странице сведений о пространстве отобразится Открытый редактор кода .
- Выберите Открыть редактор кода для запуска IDE.
Редактор кода IDE откроется в новой вкладке браузера.
Возможности редактора кода
Редактор кода включает в себя уникальный набор функций, позволяющих повысить продуктивность вашей команды ML:
- Полностью управляемая инфраструктура – IDE редактора кода работает в полностью управляемой инфраструктуре. Amazon SageMaker обеспечивает актуальность инстансов с помощью последних исправлений и обновлений безопасности.
- Набирайте ресурсы вверх и вниз – С помощью редактора кода вы можете легко изменить базовые ресурсы (например, тип экземпляра, размер тома EBS), на которых работает редактор кода. Это полезно для разработчиков, которые хотят запускать рабочие нагрузки с меняющимися потребностями в вычислительных ресурсах, памяти и хранилище.
- SageMaker предоставил изображения – Редактор кода предварительно настроен с помощью Распространение SageMaker в качестве изображения по умолчанию. Этот образ контейнера содержит все самые популярные платформы машинного обучения, поддерживаемые SageMaker, а также SDK для SageMaker Python, бото3и другие установленные библиотеки AWS и обработки данных. Это значительно сокращает время, затрачиваемое на настройку среды, и снижает сложность управления зависимостями пакетов в проекте машинного обучения.
- Интеграция Amazon CodeWhisperer – Редактор кода также обладает возможностями генеративного искусственного интеллекта на базе Amazon Code Whisperer. Эта встроенная интеграция позволяет повысить производительность за счет генерации предложений по коду в среде IDE.
- Интеграция с другими сервисами AWS – Вы получаете встроенную интеграцию с Простой сервис хранения Amazon (S3) ковши, Реестр Amazon Elastic Container (ECR) репозитории, Амазон РедШифт, Amazon CloudWatchи многое другое через Набор инструментов AWS для VS Code что упрощает разработку в облаке.
Детали архитектуры
Запуская редактор кода в SageMaker Studio, вы создаете новое приложение, которое запускается как контейнер в экземпляре EC2 того типа, который вы выбрали при настройке пространства редактора кода. SageMaker Studio обеспечивает предоставление базовых ресурсов для вас в учетной записи, управляемой службой. На следующей схеме изображена упрощенная версия архитектуры приложения Code Editor IDE:
Для данного профиля пользователя вы можете запустить несколько пространств редактора кода с различными типами экземпляров ML (включая экземпляры ускоренных вычислений). Каждое пространство определяет размер подключенного тома EBS, тип экземпляра и тип приложения, запускаемого в пространстве (например, редактор кода). Когда пользователи запускают пространство, предоставляется базовый экземпляр EC2 и редактор кода SageMaker Studio. приложение создается экземпляр на основе выбранного образа контейнера. Том EBS сохраняется во время циклов запуска/остановки среды IDE. приложение. Если пользователи останавливают приложение «Редактор кода» (например, чтобы сэкономить на вычислительных затратах), вычислительные ресурсы останавливаются, но том EBS сохраняется и повторно подключается к экземпляру при перезапуске.
Все приложения редактора кода работают изолированно; Если вам необходимо совместно использовать данные между приложениями, вы можете подключить общий диск Amazon Elastic File System (EFS).
Чтобы ваша IDE редактора кода могла использовать предустановленный Расширение AWS Toolkit для VS Code и использовать интегрированные сервисы AWS, такие как Amazon CodeWhisperer, или источники данных, такие как Amazon S3 и Amazon Redshift, вы должны убедиться, что:
- Роль исполнителя вашего профиля пользователя SageMaker Studio имеет соответствующие разрешения на использование сервисов, с которыми вы хотите работать.
- У вас есть способ связаться с этими службами, если у вас есть домен SageMaker Studio в режиме только VPC. Дополнительные сведения о требованиях к использованию сервисов AWS в домене Studio в режиме только VPC см. Подключите блокноты SageMaker Studio в VPC к внешним ресурсам.
Обзор решения
В следующих разделах мы расскажем, как разработать пример проекта машинного обучения с помощью редактора кода в Amazon SageMaker Studio. Мы развернем модель большого языка (LLM) Mistral-7B в конечной точке Amazon SageMaker в режиме реального времени, используя встроенный контейнер от HuggingFace. В этом примере редактор кода может использоваться командой инженеров машинного обучения, которой необходимы расширенные функции IDE для отладки кода и развертывания конечной точки. Вы можете найти пример кода в этой Репозиторий GitHub. Мы покажем, как структурировать код для упрощения совместной работы между членами команды, как использовать AWS Toolkit for VS Code и Amazon Code Whisperer для ускорения разработки, а также как развернуть модель Mistral-7B на конечной точке SageMaker. Давайте рассмотрим некоторые распространенные задачи разработчиков в IDE.
Взаимодействие с сервисами AWS непосредственно из вашей IDE.
В комплект поставки редактора кода входит Набор инструментов AWS для кода Visual Studio чтобы предоставить вам возможность интеграции с другими сервисами AWS во время вашего проекта. На основании разрешения AWS Identity and Access Management (IAM) вашего профиля пользователя SageMaker Studio вы можете взаимодействовать с данными в корзинах Amazon S3, находить образы контейнеров в Amazon ECR, визуализировать журналы Amazon CloudWatch для вашей конечной точки SageMaker и пользоваться другими функциями. для запуска сквозного проекта машинного обучения из вашей IDE.
Структурируйте свой репозиторий кода для упрощения совместной работы.
Вы можете структурировать свой репозиторий проектов, чтобы максимизировать производительность вашей команды. Например, вы можете настроить один репозиторий, стремясь обеспечить баланс между общими Соглашения проекта Python и потребности вашей команды в сотрудничестве.
Ваш репозиторий кода может содержать .vscode
папка со всеми необходимыми файлами для стандартизации зависимостей, расширений и конфигураций для разных членов команды. Для справки обратитесь к следующей анимации.
Вы можете поделиться зависимостями между членами команды через requirements.txt
файл. Вы также можете указать config.yaml
файл, чтобы поделиться примитивами запуска для вашей конечной точки SageMaker. Ваш сеанс редактора кода будет использовать те же зависимости и конфигурацию, что и члены вашей команды, и позволит вам быстро разрабатывать и отлаживать код вывода и конечную точку.
Разрабатывайте и отлаживайте свой код в IDE.
В следующем примере мы покажем, как вы можете разрабатывать и отлаживать свои inference.py
скрипт, который будет использоваться в вашей конечной точке SageMaker:
Создавайте код и тестовые примеры с помощью Amazon CodeWhisperer
В рамках набора инструментов AWS в редакторе кода Amazon Code Whisperer позволяет вам создавать быстрее и безопаснее с помощью помощника по программированию на базе искусственного интеллекта. Он может предоставлять вам предложения по коду в режиме реального времени, оптимизирован для использования с сервисами AWS и оснащен встроенной функцией сканирования безопасности. В нашем примере мы используем Amazon CodeWhisperer для генерации всей строки и полного функционального кода для развертывания и тестирования вашей конечной точки SageMaker.
Развертывание вашего LLM в конечной точке SageMaker
Вы можете развернуть свою модель на конечной точке SageMaker из своей IDE и отслеживать ее состояние непосредственно из SageMaker Studio.
Когда вы масштабируете свой проект ML до готового к эксплуатации приложения, редактор кода и набор инструментов AWS позволят вам управлять и отслеживать ресурсы вашего приложения LLM во время его создания, развертывания и запуска.
Заключение
Редактор кода доступен во всех регионах AWS, где доступен Amazon SageMaker Studio (кроме GovCloud), и вы платите только за базовые вычислительные ресурсы и ресурсы хранения в SageMaker или других сервисах AWS в зависимости от вашего использования.
Чтобы начать работу с редактором кода в Amazon SageMaker Studio, вы можете использовать Уровень бесплатного пользования AWS, а также 250 часов экземпляра ml.t3.medium в Amazon SageMaker Studio в месяц в течение первых 2 месяцев. Для получения более подробной информации см. Цены на Amazon SageMaker.
Об авторах
Эрик Пенья является старшим техническим менеджером по продуктам в группе платформ искусственного интеллекта AWS, работает над интерактивным машинным обучением Amazon SageMaker. В настоящее время он занимается интеграцией IDE в SageMaker Studio. Он получил степень магистра делового администрирования в Массачусетском технологическом институте Слоана и помимо работы любит играть в баскетбол и футбол.
Викеш Пандей является специалистом по машинному обучению и архитектором решений в AWS, помогая клиентам из финансовой отрасли проектировать и создавать решения на основе генеративного искусственного интеллекта и машинного обучения. Вне работы Викеш любит пробовать разные кухни и заниматься спортом на открытом воздухе.
Бруно Пистоне — специалист по архитектуре решений AI/ML в AWS, базирующийся в Милане. Он работает с крупными клиентами, помогая им глубоко понять их технические потребности и разрабатывать решения в области искусственного интеллекта и машинного обучения, которые максимально эффективно используют облако AWS и стек машинного обучения Amazon. Его опыт включает комплексное машинное обучение, индустриализацию машинного обучения и генеративный искусственный интеллект. Ему нравится проводить время со своими друзьями и исследовать новые места, а также путешествовать по новым направлениям.
Джузеппе Анджело Порчелли является главным специалистом по машинному обучению, архитектором решений для Amazon Web Services. Имея несколько лет разработки программного обеспечения и опыт работы с машинным обучением, он работает с клиентами любого размера, чтобы понять их бизнес и технические потребности и разработать решения для искусственного интеллекта и машинного обучения, которые наилучшим образом используют облако AWS и стек машинного обучения Amazon. Он работал над проектами в различных областях, включая MLOps, компьютерное зрение и NLP, с использованием широкого набора сервисов AWS. В свободное время Джузеппе любит играть в футбол.
Софиан Хамити является специалистом по архитектуре решений AI / ML в AWS. Он помогает клиентам из разных отраслей ускорить переход на ИИ / МО, помогая им создавать и вводить в действие комплексные решения машинного обучения.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/new-code-editor-based-on-code-oss-vs-code-open-source-now-available-in-amazon-sagemaker-studio/
- :имеет
- :является
- :куда
- $UP
- 10
- 100
- 11
- 12
- 13
- 15%
- 150
- 250
- 7
- a
- ускорять
- ускоренный
- доступ
- Учетная запись
- через
- добавленный
- дополнительный
- Дополнительно
- продвинутый
- плюс
- AI
- Поддержка
- AI / ML
- Стремясь
- Все
- позволять
- позволяет
- вдоль
- причислены
- Amazon
- Amazon Code Whisperer
- Amazon EC2
- Эластичная файловая система Amazon (EFS)
- Амазонское машинное обучение
- Амазонка Redshift
- Создатель мудреца Амазонки
- Студия Amazon SageMaker
- Amazon Web Services
- an
- и
- анимация
- анонсировать
- любой
- приложение
- Применение
- Приложения
- соответствующий
- архитектура
- МЫ
- искусственный
- искусственный интеллект
- AS
- At
- прикреплять
- доступен
- AWS
- Управление идентификацией и доступом AWS (IAM)
- фон
- Баланс
- основанный
- Баскетбол
- BE
- полезный
- ЛУЧШЕЕ
- между
- Заблокировать
- повышение
- изоферменты печени
- Коробка
- широкий
- шире
- браузер
- строить
- встроенный
- бизнес
- но
- кнопка
- by
- CAN
- возможности
- заботится
- случаев
- случаев
- изменение
- изменения
- Выберите
- выбранный
- нажмите на
- облако
- код
- Codebase
- Кодирование
- сотрудничать
- сотрудничество
- выходит
- Общий
- общаться
- спутник
- совместим
- сложность
- Вычисление
- компьютер
- Компьютерное зрение
- вычисление
- Конфигурация
- настроить
- настройка
- Консоли
- содержать
- Container
- контроль
- Расходы
- Создающий
- создание
- В настоящее время
- Клиенты
- настроить
- циклы
- данным
- наука о данных
- Время
- уменьшается
- По умолчанию
- Определяет
- Степень
- Спрос
- Зависимости
- развертывание
- Проект
- направления
- подробнее
- развивать
- Застройщик
- застройщиков
- Развитие
- различный
- непосредственно
- распределение
- домен
- доменов
- вниз
- управлять
- в течение
- e
- каждый
- легко
- редактор
- легкий
- позволяет
- конец
- впритык
- Конечная точка
- Проект и
- Инженеры
- повышать
- Enter
- Окружающая среда
- пример
- Кроме
- возбужденный
- выполнение
- существующий
- опыт
- опыта
- Исследование
- расширение
- расширения
- и, что лучший способ
- знакомый
- быстрее
- Особенность
- Особенности
- Файл
- Файлы
- финансовый
- финансовые отрасли
- Найдите
- Во-первых,
- фокусируется
- после
- футбол
- Что касается
- каркасы
- Бесплатно
- друзья
- от
- полный
- полностью
- функция
- далее
- порождать
- порождающий
- генеративный
- Генеративный ИИ
- получить
- GIF
- GitHub
- данный
- GPU / ГРАФИЧЕСКИЙ ПРОЦЕССОР
- Ручки
- Есть
- he
- помощь
- помогает
- его
- имеет
- ЧАСЫ
- Как
- How To
- HTML
- HTTPS
- Личность
- if
- изображение
- изображений
- in
- включают
- включает в себя
- В том числе
- Увеличение
- промышленности
- Инфраструктура
- устанавливать
- установлен
- пример
- интегрированный
- интеграции.
- интеграций
- Интеллекта
- взаимодействовать
- интерактивный
- в
- с участием
- изолированный
- IT
- ЕГО
- путешествие
- JPG
- хранение
- Знать
- язык
- большой
- последний
- запуск
- запуск
- изучение
- Меньше
- библиотеки
- Жизненный цикл
- линия
- LLM
- потери
- любят
- машина
- обучение с помощью машины
- сделать
- управлять
- управляемого
- управление
- менеджер
- управления
- Максимизировать
- средний
- Участники
- Память
- может быть
- мигрировать
- MILAN
- минут
- MIT
- ML
- млн операций в секунду
- режим
- модель
- монитор
- Месяц
- месяцев
- БОЛЕЕ
- самых
- Самые популярные
- ГОРУ
- с разными
- имя
- родной
- необходимо
- Необходимость
- потребности
- Новые
- НЛП
- сейчас
- of
- on
- ONE
- только
- открытый
- с открытым исходным кодом
- оптимизированный
- Опция
- or
- заказ
- Другое
- наши
- внешний
- внешнюю
- обзор
- пакет
- страница
- панель
- часть
- Патчи
- ОПЛАТИТЬ
- для
- разрешение
- Разрешения
- Мест
- Платформы
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- игры
- Популярное
- Питание
- Основной
- Продукт
- Менеджер по продукции
- производительность
- Профиль
- Проект
- проектов
- обеспечивать
- при условии
- приводит
- обеспечение
- обеспечение
- Питон
- САЙТ
- быстро
- ассортимент
- реального времени
- уменьшить
- снижает
- относиться
- ссылка
- районы
- хранилище
- Требования
- Полезные ресурсы
- правую
- Роли
- Run
- Бег
- работает
- sagemaker
- то же
- Сохранить
- Шкала
- сканирование
- Наука
- скрипт
- бесшовные
- легко
- Раздел
- разделах
- безопасно
- безопасность
- посмотреть
- выберите
- выбранный
- старший
- обслуживание
- Услуги
- Сессия
- набор
- установка
- установка
- несколько
- Поделиться
- общие
- показывать
- показанный
- существенно
- просто
- упрощенный
- упрощает
- одинарной
- Размер
- Слоан
- Software
- разработка программного обеспечения
- Решения
- некоторые
- Источник
- Источники
- Space
- пространства
- специалист
- конкретный
- скорость
- тратить
- Расходы
- Спорт
- стек
- стандартизации
- и политические лидеры
- Статус:
- Stop
- остановившийся
- диск
- удар
- Структура
- студия
- такие
- поддержка
- Поддержанный
- Убедитесь
- обмен
- система
- взять
- принимает
- задачи
- команда
- Члены команды
- команды
- Технический
- тестXNUMX
- чем
- который
- Ассоциация
- их
- Их
- тогда
- этой
- те
- тысячи
- Через
- время
- в
- Инструментарий
- инструменты
- пытается
- напишите
- Типы
- лежащий в основе
- понимать
- созданного
- обновления
- URL
- Применение
- использование
- используемый
- Информация о пользователе
- пользователей
- через
- разнообразие
- версия
- с помощью
- видение
- визуальный
- визуализации
- объем
- vs
- против кода
- от
- хотеть
- Путь..
- we
- Web
- веб-сервисы
- ЧТО Ж
- когда
- который
- КТО
- все
- будете
- в
- без
- Работа
- работавший
- работает
- работает
- лет
- Ты
- ВАШЕ
- зефирнет