Основанный в 2021 году, Холст Amazon SageMaker — это визуальный сервис «укажи и щелкни», предназначенный для создания и развертывания моделей машинного обучения (ML) без необходимости написания кода. Готовые к использованию базовые модели (FM), доступные в SageMaker Canvas, позволяют клиентам использовать генеративный искусственный интеллект для таких задач, как создание и обобщение контента.
Мы рады объявить о последних обновлениях Amazon SageMaker Canvas, которые привносят в платформу новые потрясающие возможности генеративного искусственного интеллекта. Благодаря поддержке моделей Meta Llama 2 и Mistral.AI, а также запуску потоковой передачи ответов, SageMaker Canvas продолжает расширять возможности всех, кто хочет начать работу с генеративным ИИ, не написав ни единой строки кода. В этом посте мы обсудим эти обновления и их преимущества.
Представляем модели Meta Llama 2 и Mistral
Llama 2 — это передовая базовая модель от Meta, которая обеспечивает улучшенную масштабируемость и универсальность для широкого спектра задач генеративного ИИ. Пользователи сообщают, что Llama 2 способна вести содержательные и связные разговоры, генерировать новый контент и извлекать ответы из существующих заметок. Llama 2 — одна из самых современных моделей больших языков (LLM), доступных сегодня сообществу открытого исходного кода для создания собственных приложений на базе искусственного интеллекта.
Mistral.AI, ведущий французский стартап в области искусственного интеллекта, разработал Mistral 7B, мощную языковую модель с 7.3 миллиардами параметров. Модели Mistral были очень хорошо приняты сообществом разработчиков программного обеспечения с открытым исходным кодом благодаря использованию группового запроса (GQA) для более быстрого вывода, что делает его высокоэффективным и сравнимым по производительности с моделями с вдвое или втрое большим количеством параметров.
Сегодня мы рады сообщить, что SageMaker Canvas теперь поддерживает три варианта модели Llama 2 и два варианта Mistral 7B:
Чтобы протестировать эти модели, перейдите на холст SageMaker. Готовые модели страницу, затем выберите Генерировать, извлекать и обобщать контент. Здесь вы найдете чат SageMaker Canvas GenAI. Здесь вы можете использовать любую модель из Amazon Bedrock или SageMaker JumpStart, выбрав ее в раскрывающемся меню модели.
В нашем случае мы выбираем одну из моделей Llama 2. Теперь вы можете предоставить свой вклад или запрос. Когда вы отправляете входные данные, SageMaker Canvas пересылает их в модель.
Выбор того, какая из моделей, доступных в SageMaker Canvas, лучше всего подходит для вашего случая использования, требует принятия во внимание информации о самих моделях: модель Llama-2-70B-chat является более крупной моделью (70 миллиардов параметров по сравнению с 13 миллиардами с Llama-2-13B-chat), что означает, что его производительность, как правило, выше, чем у меньшего, за счет немного более высокой задержки и повышенной стоимости токена. Мистраль-7Б имеет характеристики, сравнимые с Llama-2-7B или Llama-2-13B, однако он размещен на Amazon SageMaker. Это означает, что модель ценообразования изменилась: от модели ценообразования в долларах за токен к модели в долларах в час. Это может быть более экономически эффективным при значительном количестве запросов в час и стабильном масштабном использовании. Все приведенные выше модели могут хорошо работать в различных случаях использования, поэтому мы предлагаем оценить, какая модель лучше всего решает вашу проблему, принимая во внимание компромисс между производительностью, пропускной способностью и затратами.
Если вы ищете простой способ сравнить поведение моделей, SageMaker Canvas изначально предоставляет эту возможность в форме сравнения моделей. Вы можете выбрать до трех разных моделей и отправить один и тот же запрос всем им одновременно. Затем SageMaker Canvas получит ответы от каждой модели и отобразит их в параллельном пользовательском интерфейсе чата. Для этого выберите Сравнить и выберите другие модели для сравнения, как показано ниже:
Представляем потоковую передачу ответов: взаимодействие в реальном времени и повышение производительности
Одним из ключевых достижений в этом выпуске является появление потоковых ответов. Потоковая передача ответов обеспечивает более широкие возможности для пользователя и лучше отражает опыт общения в чате. Благодаря потоковой передаче ответов пользователи могут получать мгновенную обратную связь и легко интегрироваться в свои приложения чат-ботов. Это обеспечивает более интерактивный и отзывчивый опыт, повышая общую производительность и удовлетворенность пользователей чат-бота. Возможность получать немедленные ответы в форме чата создает более естественный поток разговора и улучшает взаимодействие с пользователем.
Благодаря этой функции вы теперь можете взаимодействовать со своими моделями ИИ в режиме реального времени, получая мгновенные ответы и обеспечивая плавную интеграцию в различные приложения и рабочие процессы. Все модели, к которым можно выполнить запрос в SageMaker Canvas (из Amazon Bedrock и SageMaker JumpStart), могут передавать ответы пользователю в потоковом режиме.
Начните прямо сейчас!
Независимо от того, создаете ли вы чат-бота, систему рекомендаций или виртуального помощника, модели Llama 2 и Mistral в сочетании с потоковой передачей ответов повышают производительность и интерактивность ваших проектов.
Чтобы использовать новейшие функции SageMaker Canvas, обязательно удалите и заново создайте приложение. Для этого выйдите из приложения, выбрав Выйти, затем снова откройте SageMaker Canvas. Вам стоит увидеть новые модели и насладиться последними новинками. Выход из приложения SageMaker Canvas высвободит все ресурсы, используемые экземпляром рабочей области, что позволит избежать дополнительных непредвиденных затрат.
Заключение
Чтобы начать работу с новыми потоковыми ответами для моделей Llama 2 и Mistral в SageMaker Canvas, посетите Консоль SageMaker и изучите интуитивно понятный интерфейс. Чтобы узнать больше о том, как SageMaker Canvas и генеративный искусственный интеллект могут помочь вам в достижении ваших бизнес-целей, см. Предоставьте своим бизнес-пользователям возможность извлекать ценную информацию из документов компании с помощью Amazon SageMaker Canvas и Generative AI. и Преодоление типичных проблем контакт-центров с помощью генеративного искусственного интеллекта и Amazon SageMaker Canvas.
Если вы хотите узнать больше о функциях SageMaker Canvas и подробно изучить другие варианты использования машинного обучения, ознакомьтесь с другими публикациями, доступными в разделе Категория холста SageMaker в блоге AWS ML. Нам не терпится увидеть удивительные приложения искусственного интеллекта, которые вы создадите с помощью этих новых возможностей!
Об авторах
Давиде Галлителли — старший специалист по архитектуре решений для искусственного интеллекта и машинного обучения. Он живет в Брюсселе и тесно сотрудничает с клиентами по всему миру, которые хотят внедрить технологии машинного обучения с низким кодом и без кода, а также генеративный искусственный интеллект. Он был разработчиком с самого раннего возраста и начал программировать в возрасте 7 лет. Он начал изучать AI/ML в университете и с тех пор влюбился в это.
Дэн Синнрайх — старший менеджер по продуктам в AWS, помогающий демократизировать машинное обучение с низким кодом и без него. До работы в AWS Дэн создавал и коммерциализировал корпоративные SaaS-платформы и модели временных рядов, используемые институциональными инвесторами для управления рисками и построения оптимальных портфелей. В свободное от работы время он играет в хоккей, занимается подводным плаванием и читает научную фантастику.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/announcing-support-for-llama-2-models-and-streaming-responses-in-amazon-sagemaker-canvas/
- :имеет
- :является
- :куда
- $UP
- 100
- 13
- 2021
- 7
- 70
- a
- способность
- О нас
- выше
- Учетная запись
- Достигать
- дополнительный
- принять
- достижения
- снова
- против
- возраст
- AI
- AI модели
- Поддержка
- AI / ML
- Все
- позволяет
- удивительный
- Amazon
- Создатель мудреца Амазонки
- Холст Amazon SageMaker
- Amazon Web Services
- среди
- количество
- an
- и
- анонсировать
- объявляющий
- ответы
- любой
- приложение
- Применение
- Приложения
- МЫ
- около
- AS
- помощник
- At
- внимание
- доступен
- избегающий
- AWS
- основанный
- BE
- было
- ниже
- Преимущества
- ЛУЧШЕЕ
- Лучшая
- больший
- миллиард
- Блог
- приносить
- Брюссель
- строить
- Строительство
- построенный
- бизнес
- by
- CAN
- холст
- возможности
- возможности
- способный
- случаев
- случаев
- Центр
- проблемы
- расходы
- чат
- Chatbot
- проверка
- Выберите
- Выбирая
- тесно
- код
- ПОСЛЕДОВАТЕЛЬНЫЙ
- сочетании
- Общий
- сообщество
- Компания
- сравнимый
- сравнить
- сравненный
- сравнения
- принимая во внимание
- последовательный
- строить
- обращайтесь
- контакт-центр
- содержание
- Генерация контента
- продолжается
- Разговор
- Беседы
- Цена
- Создайте
- создает
- Клиенты
- передовой
- глубоко
- глубокое погружение
- демократизировать
- развертывание
- развитый
- Застройщик
- различный
- обсуждать
- погружение
- дайвинг
- do
- Документация
- каждый
- Эффективный
- эффективный
- расширение прав и возможностей
- включить
- позволяет
- привлечение
- расширение
- повышение
- пользоваться
- Предприятие
- оценивать
- все члены
- возбужденный
- захватывающий
- существующий
- опыт
- Больше
- извлечение
- Fallen
- быстрее
- Особенность
- Особенности
- Обратная связь
- Рассказы
- Найдите
- припадки
- поток
- Что касается
- форма
- найденный
- Год основания
- Французский
- от
- Genai
- в общем
- порождающий
- поколение
- генеративный
- Генеративный ИИ
- получить
- земной шар
- Цели
- Есть
- he
- помощь
- помощь
- здесь
- высший
- очень
- состоялся
- час
- Как
- Однако
- HTTPS
- немедленная
- улучшенный
- улучшается
- in
- расширились
- информация
- вход
- размышления
- пример
- мгновение
- Институциональная
- Инвесторы института
- интеграции.
- взаимодействовать
- взаимодействие
- интерактивный
- интерактивность
- Интерфейс
- в
- Введение
- интуитивный
- Инвесторы
- IT
- ЕГО
- JPG
- Основные
- язык
- большой
- Задержка
- последний
- Последние обновления
- запуск
- ведущий
- УЧИТЬСЯ
- изучение
- линия
- Лама
- журнал
- каротаж
- искать
- любят
- машина
- обучение с помощью машины
- сделать
- Создание
- управлять
- менеджер
- способ
- значимым
- означает
- Меню
- Мета
- ML
- модель
- Модели
- БОЛЕЕ
- перемещение
- изначально
- натуральный
- Откройте
- Необходимость
- Новые
- Заметки
- сейчас
- номер
- of
- Предложения
- on
- консолидировать
- ONE
- открытый
- с открытым исходным кодом
- оптимальный
- or
- Другое
- наши
- внешний
- выходной
- внешнюю
- общий
- собственный
- страница
- параметры
- для
- Выполнять
- производительность
- выступления
- выполнения
- картина
- Платформа
- Платформы
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- игры
- портфели
- После
- Блог
- мощный
- предыдущий
- цены
- модель ценообразования
- Проблема
- Продукт
- Менеджер по продукции
- проектов
- обеспечивать
- приводит
- запрос
- ассортимент
- Reading
- реальные
- реального времени
- Получать
- получила
- получение
- Рекомендация
- относиться
- отражает
- освободить
- публикации
- Сообщается
- Запросы
- требуется
- Полезные ресурсы
- ответ
- ответы
- отзывчивый
- богаче
- Снижение
- SaaS
- sagemaker
- то же
- удовлетворение
- Масштабируемость
- Шкала
- Наука
- Научная фантастика
- бесшовные
- посмотреть
- выберите
- выбор
- Отправить
- старший
- обслуживание
- Услуги
- должен
- показывать
- показанный
- значительный
- с
- одинарной
- меньше
- So
- Решения
- Решает
- Источник
- специалист
- Start-up
- и политические лидеры
- Начало
- современное состояние
- простой
- поток
- потоковый
- потоковый
- такие
- суммировать
- поддержка
- Поддержка
- Убедитесь
- система
- взять
- задачи
- технологии
- тестXNUMX
- Спасибо
- который
- Ассоциация
- их
- Их
- сами
- тогда
- следовательно
- Эти
- этой
- три
- взволнованный
- пропускная способность
- время
- раз
- в
- сегодня
- знак
- Дважды
- два
- ui
- Университет
- Updates
- Применение
- использование
- прецедент
- используемый
- Информация о пользователе
- Пользовательский опыт
- пользователей
- через
- разнообразие
- многосторонность
- очень
- Виртуальный
- виртуальный помощник
- Войти
- визуальный
- ждать
- хотеть
- хочет
- законопроект
- Путь..
- we
- Web
- веб-сервисы
- ЧТО Ж
- который
- широкий
- Широкий диапазон
- будете
- без
- Работа
- Рабочие процессы
- работает
- записывать
- письмо
- Ты
- молодой
- ВАШЕ
- зефирнет