Cohere bringt Sprach-KI in Amazon SageMaker

Dies ist ein Gastbeitrag von Sudip Roy, Manager of Technical Staff bei Cohere.

Es ist ein aufregender Tag für die Entwickler-Community. Die hochmoderne Sprach-KI von Cohere ist jetzt über verfügbar Amazon Sage Maker. Dies erleichtert Entwicklern die Bereitstellung von vortrainierten Cohere Generation Sprachmodell zu Amazon Sage Maker, ein End-to-End-Dienst für maschinelles Lernen (ML). Entwickler, Data Scientists und Business-Analysten verwenden Amazon SageMaker, um ML-Modelle schnell und einfach mithilfe der vollständig verwalteten Infrastruktur, Tools und Workflows zu erstellen, zu trainieren und bereitzustellen.

Bei Cohere liegt der Fokus auf der Sprache. Die Mission des Unternehmens ist es, Entwicklern und Unternehmen zu ermöglichen, Sprach-KI zu ihrem Technologie-Stack hinzuzufügen und damit bahnbrechende Anwendungen zu entwickeln. Cohere hilft Entwicklern und Unternehmen bei der Automatisierung einer Vielzahl von Aufgaben, wie z. B. Texterstellung, Erkennung benannter Entitäten, Paraphrasierung, Textzusammenfassung und Klassifizierung. Das Unternehmen entwickelt und verbessert seine universellen Large Language Models (LLMs) kontinuierlich und macht sie über eine einfach zu bedienende Plattform zugänglich. Unternehmen können die Modelle sofort verwenden oder sie mit ihren eigenen benutzerdefinierten Daten an ihre speziellen Bedürfnisse anpassen.

Entwickler, die SageMaker verwenden, haben Zugriff auf das Sprachmodell der mittleren Generation von Cohere. Das Modell der mittleren Generation eignet sich hervorragend für Aufgaben, die schnelle Antworten erfordern, wie z. B. das Beantworten von Fragen, das Verfassen von Texten oder das Paraphrasieren. Das Medium-Modell wird in Containern bereitgestellt, die Inferenzen mit geringer Latenz auf einer Vielzahl von Hardwarebeschleunigern ermöglichen, die auf AWS verfügbar sind, und SageMaker-Kunden unterschiedliche Kosten- und Leistungsvorteile bieten.

„Amazon SageMaker bietet die breiteste und umfassendste Reihe von Diensten, die schweres Heben aus jedem Schritt des maschinellen Lernprozesses eliminieren. Wir freuen uns, das universelle große Sprachmodell von Cohere mit Amazon SageMaker anbieten zu können. Unsere gemeinsamen Kunden können jetzt die breite Palette der Amazon SageMaker-Dienste nutzen und das Modell von Cohere in ihre Anwendungen integrieren, um die Time-to-Value und schnellere Innovationen zu beschleunigen.“

-Rajneesh Singh, General Manager AI/ML bei Amazon Web Services.

„Da Cohere weiterhin die Grenzen der Sprach-KI erweitert, freuen wir uns über die Zusammenarbeit mit Amazon SageMaker. Diese Partnerschaft wird es uns ermöglichen, unsere fortschrittliche Technologie und unseren innovativen Ansatz einem noch breiteren Publikum zugänglich zu machen und Entwickler und Organisationen auf der ganzen Welt in die Lage zu versetzen, die Leistungsfähigkeit der Sprach-KI zu nutzen und in einem zunehmend wettbewerbsintensiven Markt der Kurve voraus zu bleiben.“

-Saurabh Baji, Senior Vice President of Engineering bei Cohere.

Das über SageMaker verfügbare Sprachmodell der Cohere Medium-Generation bietet Entwicklern drei wesentliche Vorteile:

• Schnelles Erstellen, Iterieren und Bereitstellen – Cohere ermöglicht jedem Entwickler (keine NLP-, ML- oder KI-Expertise erforderlich) den schnellen Zugriff auf ein vortrainiertes, hochmodernes Generierungsmodell, das Kontext und Semantik auf beispiellosem Niveau versteht. Dieses hochwertige, große Sprachmodell reduziert die Time-to-Value für Kunden, indem es eine sofort einsatzbereite Lösung für eine Vielzahl von Sprachverständnisaufgaben bietet.
• Privat und sicher – Mit SageMaker können Kunden Container einrichten, die die Modelle von Cohere bedienen, ohne sich Gedanken darüber machen zu müssen, ob ihre Daten diese selbstverwalteten Container verlassen.
• Geschwindigkeit und Genauigkeit - Das Medium-Modell von Cohere bietet Kunden ein ausgewogenes Verhältnis zwischen Qualität, Kosten und Latenz. Entwickler können den Cohere Generate-Endpunkt mithilfe einer einfachen API und eines SDK problemlos in Apps integrieren.

Beginnen Sie mit Cohere in SageMaker

Entwickler können die visuelle Benutzeroberfläche der SageMaker JumpStart-Grundlagenmodelle verwenden, um die Modelle von Cohere zu testen, ohne eine einzige Codezeile schreiben zu müssen. Sie können das Modell anhand Ihrer spezifischen Sprachverständnisaufgabe evaluieren und die Grundlagen der Verwendung generativer Sprachmodelle erlernen. Siehe Coheres Dokumentation und Blog für verschiedene Tutorials und Tipps und Tricks zur Sprachmodellierung.

Stellen Sie den SageMaker-Endpunkt mit einem Notebook bereit

Cohere hat Medium-Modelle zusammen mit einem optimierten Inferenz-Framework mit geringer Latenz in Containern verpackt, die als SageMaker-Inferenz-Endpunkte bereitgestellt werden können. Die Container von Cohere können auf einer Reihe verschiedener Instanzen (einschließlich ml.p3.2xlarge, ml.g5.xlarge und ml.g5.2xlarge) bereitgestellt werden, die unterschiedliche Kosten-Leistungs-Kompromisse bieten. Diese Container sind derzeit in zwei Regionen verfügbar: us-east-1 und eu-west-1. Cohere beabsichtigt, sein Angebot in naher Zukunft zu erweitern, einschließlich der Erweiterung der Anzahl und Größe der verfügbaren Modelle, des Satzes unterstützter Aufgaben (z. B. der auf diesen Modellen aufbauenden Endpunkte), der unterstützten Instanzen und der verfügbaren Regionen.

Um Entwicklern den schnellen Einstieg zu erleichtern, hat Cohere bereitgestellt Jupyter-Notizbücher die es einfach machen, diese Container bereitzustellen und Rückschlüsse auf den bereitgestellten Endpunkten auszuführen. Mit dem vorkonfigurierten Satz von Konstanten im Notebook kann die Bereitstellung des Endpunkts problemlos mit nur wenigen Codezeilen erfolgen, wie im folgenden Beispiel gezeigt:

Nachdem der Endpunkt bereitgestellt wurde, können Benutzer das SDK von Cohere verwenden, um Inferenzen auszuführen. Das SDK kann einfach von PyPI wie folgt installiert werden:

Es kann auch aus dem Quellcode in Cohere's installiert werden Öffentliches SDK-GitHub-Repository.

Nachdem der Endpunkt bereitgestellt wurde, können Benutzer den Cohere Generate-Endpunkt verwenden, um mehrere generative Aufgaben auszuführen, wie z. Das Jupyter-Notebook und das GitHub-Repository enthalten Beispiele, die einige dieser Anwendungsfälle demonstrieren.

Zusammenfassung

Die Verfügbarkeit von Cohere nativ auf SageMaker über den AWS Marketplace ist ein wichtiger Meilenstein im Bereich NLP. Die Fähigkeit des Cohere-Modells, qualitativ hochwertigen, kohärenten Text zu generieren, macht es zu einem wertvollen Werkzeug für jeden, der mit Textdaten arbeitet.

Wenn Sie daran interessiert sind, Cohere für Ihre eigenen SageMaker-Projekte zu verwenden, können Sie jetzt darauf zugreifen SageMaker-JumpStart. Darüber hinaus können Sie auf Cohere's verweisen GitHub-Notizbuch für Anweisungen zum Bereitstellen des Modells und zum Zugriff darauf über die Cohere Generate-Endpunkt.

---

Über die Autoren

Sudip Roy ist Manager of Technical Staff bei Cohere, einem Anbieter modernster Technologie zur Verarbeitung natürlicher Sprache (NLP). Sudip ist ein versierter Forscher, der für Top-Konferenzen wie NeurIPS, MLSys, OOPSLA, SIGMOD, VLDB und SIGKDD veröffentlicht und in Programmkomitees mitgewirkt hat, und seine Arbeit wurde von SIGMOD und MLSys mit Outstanding Paper Awards ausgezeichnet.

Karthik Bharathy ist der Produktleiter für das Amazon SageMaker-Team mit über einem Jahrzehnt Erfahrung in den Bereichen Produktmanagement, Produktstrategie, Ausführung und Markteinführung.

Karl Albersen leitet Produkt, Technik und Wissenschaft für Amazon SageMaker Algorithms und JumpStart, den Hub für maschinelles Lernen von SageMaker. Er setzt sich leidenschaftlich für die Anwendung von maschinellem Lernen ein, um geschäftlichen Nutzen zu erzielen.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. Hier zugreifen.
• Quelle: https://aws.amazon.com/blogs/machine-learning/cohere-brings-language-ai-to-amazon-sagemaker/