Cohere добавляет языковой ИИ в Amazon SageMaker

Это гостевой пост Судипа Роя, менеджера технического персонала Cohere.

Это волнующий день для сообщества разработчиков. Современный язык искусственного интеллекта Cohere теперь доступен через Создатель мудреца Амазонки. Это облегчает разработчикам развертывание предварительно обученного кода Cohere. языковая модель генерации в Создатель мудреца Амазонки, служба сквозного машинного обучения (ML). Разработчики, специалисты по данным и бизнес-аналитики используют Amazon SageMaker для быстрого и простого создания, обучения и развертывания моделей машинного обучения, используя его полностью управляемую инфраструктуру, инструменты и рабочие процессы.

В Cohere основное внимание уделяется языку. Миссия компании состоит в том, чтобы позволить разработчикам и предприятиям добавлять языковой ИИ в свой технологический стек и создавать с его помощью приложения, меняющие правила игры. Cohere помогает разработчикам и предприятиям автоматизировать широкий спектр задач, таких как копирайтинг, распознавание именованных объектов, перефразирование, суммирование текста и классификация. Компания создает и постоянно совершенствует свои модели больших языков общего назначения (LLM), делая их доступными через простую в использовании платформу. Компании могут использовать готовые модели или адаптировать их к своим конкретным потребностям, используя собственные пользовательские данные.

Разработчики, использующие SageMaker, получат доступ к языковой модели среднего поколения Cohere. Модель среднего поколения отлично подходит для задач, требующих быстрых ответов, таких как ответы на вопросы, копирайтинг или перефразирование. Модель Medium развернута в контейнерах, которые позволяют делать логические выводы с малой задержкой на разнообразном наборе аппаратных ускорителей, доступных на AWS, предоставляя клиентам SageMaker различные преимущества в плане затрат и производительности.

«Amazon SageMaker предоставляет широчайший и наиболее полный набор услуг, которые избавляют от тяжелой работы на каждом этапе процесса машинного обучения. Мы рады предложить модель Cohere для больших языков общего назначения с Amazon SageMaker. Наши общие клиенты теперь могут использовать широкий спектр сервисов Amazon SageMaker и интегрировать модель Cohere со своими приложениями для ускорения окупаемости и ускорения инноваций».

— Раджниш Сингх, генеральный менеджер AI/ML в Amazon Web Services.

«Поскольку Cohere продолжает расширять границы языкового ИИ, мы рады объединить усилия с Amazon SageMaker. Это партнерство позволит нам представить наши передовые технологии и инновационный подход еще более широкой аудитории, дав возможность разработчикам и организациям по всему миру использовать возможности языкового ИИ и оставаться на шаг впереди на все более конкурентном рынке».

- Саураб Баджи, старший вице-президент по проектированию в Cohere.

Модель языка поколения Cohere Medium, доступная через SageMaker, предоставляет разработчикам три основных преимущества:

• Создавайте, итерируйте и развертывайте быстро — Cohere позволяет любому разработчику (не требуется опыта NLP, ML или AI) быстро получить доступ к предварительно обученной современной модели генерации, которая понимает контекст и семантику на беспрецедентных уровнях. Эта высококачественная языковая модель сокращает время окупаемости для клиентов, предоставляя готовое решение для широкого круга задач понимания языка.
• Частный и безопасный – С помощью SageMaker клиенты могут разворачивать контейнеры, обслуживающие модели Cohere, не беспокоясь о том, что их данные покинут эти самоуправляемые контейнеры.
• Скорость и точность – Модель Cohere Medium предлагает клиентам хороший баланс между качеством, стоимостью и задержкой. Разработчики могут легко интегрировать конечную точку Cohere Generate в приложения с помощью простого API и SDK.

Начните работу с Cohere в SageMaker

Разработчики могут использовать визуальный интерфейс базовых моделей SageMaker JumpStart для тестирования моделей Cohere без написания единой строки кода. Вы можете оценить модель в своей конкретной задаче понимания языка и изучить основы использования генеративных языковых моделей. См. документации и Блог для различных учебных пособий и советов и рекомендаций, связанных с языковым моделированием.

Разверните конечную точку SageMaker с помощью записной книжки

Cohere упаковала модели Medium вместе с оптимизированной инфраструктурой логического вывода с малой задержкой в ​​контейнеры, которые можно развернуть в качестве конечных точек логического вывода SageMaker. Контейнеры Cohere можно развертывать в различных инстансах (включая ml.p3.2xlarge, ml.g5.xlarge и ml.g5.2xlarge), которые предлагают различные компромиссы между стоимостью и производительностью. Эти контейнеры в настоящее время доступны в двух регионах: us-east-1 и eu-west-1. Cohere намеревается расширить свое предложение в ближайшем будущем, в том числе добавить количество и размер доступных моделей, набор поддерживаемых задач (например, конечные точки, построенные поверх этих моделей), поддерживаемые экземпляры и доступные регионы.

Чтобы помочь разработчикам быстро приступить к работе, Cohere предоставил Ноутбуки Jupyter которые упрощают развертывание этих контейнеров и выполнение логических выводов на развернутых конечных точках. С предварительно настроенным набором констант в записной книжке развертывание конечной точки можно легко выполнить, написав всего пару строк кода, как показано в следующем примере:

После развертывания конечной точки пользователи могут использовать SDK Cohere для выполнения логических выводов. SDK можно легко установить из PyPI следующим образом:

Его также можно установить из исходного кода в Cohere's. общедоступный репозиторий SDK на GitHub.

После развертывания конечной точки пользователи могут использовать конечную точку Cohere Generate для выполнения нескольких генерирующих задач, таких как суммирование текста, создание длинного контента, извлечение сущностей или копирайтинг. Блокнот Jupyter и репозиторий GitHub содержат примеры, демонстрирующие некоторые из этих вариантов использования.

Заключение

Доступность Cohere в SageMaker через AWS Marketplace представляет собой важную веху в области НЛП. Способность модели Cohere генерировать высококачественный связный текст делает ее ценным инструментом для всех, кто работает с текстовыми данными.

Если вы заинтересованы в использовании Cohere для своих собственных проектов SageMaker, теперь вы можете получить к нему доступ на SageMaker JumpStart. Кроме того, вы можете сослаться на Cohere's Блокнот GitHub инструкции по развертыванию модели и доступу к ней из Cohere Создать конечную точку.

---

Об авторах

Судип Рой является менеджером технического персонала в Cohere, поставщике передовых технологий обработки естественного языка (NLP). Судип — опытный исследователь, который публиковался и работал в программных комитетах ведущих конференций, таких как NeurIPS, MLSys, OOPSLA, SIGMOD, VLDB и SIGKDD, а его работа получила награды за выдающиеся работы от SIGMOD и MLSys.

Картик Бхарати является руководителем продукта в команде Amazon SageMaker с более чем десятилетним опытом управления продуктами, разработки стратегии, реализации и запуска продуктов.

Карл Альбертсен руководит продуктом, разработкой и наукой для Amazon SageMaker Algorithms и JumpStart, центра машинного обучения SageMaker. Он увлечен применением машинного обучения для раскрытия ценности бизнеса.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
• Источник: https://aws.amazon.com/blogs/machine-learning/cohere-brings-language-ai-to-amazon-sagemaker/