Cohere brengt taal-AI naar Amazon SageMaker

Dit is een gastpost van Sudip Roy, Manager Technische Staf bij Cohere.

Het is een spannende dag voor de ontwikkelingsgemeenschap. Cohere's state-of-the-art taal-AI is nu beschikbaar via Amazon Sage Maker. Dit maakt het voor ontwikkelaars gemakkelijker om de voorgetrainde Cohere in te zetten generatie taalmodel naar Amazon Sage Maker, een end-to-end machine learning (ML)-service. Ontwikkelaars, datawetenschappers en bedrijfsanalisten gebruiken Amazon SageMaker om snel en eenvoudig ML-modellen te bouwen, trainen en implementeren met behulp van de volledig beheerde infrastructuur, tools en workflows.

Bij Cohere ligt de focus op taal. De missie van het bedrijf is om ontwikkelaars en bedrijven in staat te stellen taal-AI toe te voegen aan hun technologiestapel en daarmee baanbrekende applicaties te bouwen. Cohere helpt ontwikkelaars en bedrijven bij het automatiseren van een breed scala aan taken, zoals copywriting, herkenning van benoemde entiteiten, parafrasering, tekstsamenvatting en classificatie. Het bedrijf bouwt en verbetert voortdurend zijn General Purpose Large Language Models (LLM's), waardoor ze toegankelijk worden via een eenvoudig te gebruiken platform. Bedrijven kunnen de modellen kant-en-klaar gebruiken of ze aanpassen aan hun specifieke behoeften met behulp van hun eigen aangepaste gegevens.

Ontwikkelaars die SageMaker gebruiken, hebben toegang tot Cohere's Medium Generation-taalmodel. Het Medium Generation-model blinkt uit in taken die snelle reacties vereisen, zoals het beantwoorden van vragen, copywriting of parafraseren. Het Medium-model wordt ingezet in containers die inferentie met lage latentie mogelijk maken op een diverse set hardwareversnellers die beschikbaar zijn op AWS, wat verschillende kosten- en prestatievoordelen biedt voor SageMaker-klanten.

“Amazon SageMaker biedt de breedste en meest uitgebreide reeks services die het zware werk uit elke stap van het machine learning-proces elimineren. We zijn verheugd om het grote taalmodel van Cohere voor algemene doeleinden aan te bieden met Amazon SageMaker. Onze gezamenlijke klanten kunnen nu gebruikmaken van het brede scala aan Amazon SageMaker-services en het model van Cohere integreren met hun applicaties voor een versnelde time-to-value en snellere innovatie.”

-Rajneesh Singh, General Manager AI/ML bij Amazon Web Services.

“Terwijl Cohere de grenzen van taal-AI blijft verleggen, zijn we verheugd om onze krachten te bundelen met Amazon SageMaker. Deze samenwerking stelt ons in staat om onze geavanceerde technologie en innovatieve aanpak naar een nog breder publiek te brengen, waardoor ontwikkelaars en organisaties over de hele wereld in staat worden gesteld om de kracht van taal-AI te benutten en voorop te blijven lopen in een steeds competitievere markt.”

-Saurabh Baji, Senior Vice President Engineering bij Cohere.

Het Cohere Medium-generatietaalmodel dat beschikbaar is via SageMaker, biedt ontwikkelaars drie belangrijke voordelen:

• Bouw, itereer en implementeer snel - Cohere stelt elke ontwikkelaar in staat (geen NLP-, ML- of AI-expertise vereist) om snel toegang te krijgen tot een vooraf getraind, geavanceerd generatiemodel dat context en semantiek op ongekende niveaus begrijpt. Dit hoogwaardige, grote taalmodel verkort de time-to-value voor klanten door een out-of-the-box oplossing te bieden voor een breed scala aan taalbegripstaken.
• Privé en veilig – Met SageMaker kunnen klanten containers draaien die de modellen van Cohere bedienen zonder dat ze zich zorgen hoeven te maken dat hun gegevens deze zelfbeheerde containers verlaten.
• Snelheid en nauwkeurigheid - Het Medium-model van Cohere biedt klanten een goede balans tussen kwaliteit, kosten en latentie. Ontwikkelaars kunnen het Cohere Generate-eindpunt eenvoudig integreren in apps met behulp van een eenvoudige API en SDK.

Ga aan de slag met Cohere in SageMaker

Ontwikkelaars kunnen de visuele interface van de SageMaker JumpStart-basismodellen gebruiken om de modellen van Cohere te testen zonder een enkele regel code te schrijven. U kunt het model evalueren op basis van uw specifieke taalbegripstaak en de basis leren van het gebruik van generatieve taalmodellen. Zie die van Cohere documentatie en blog voor verschillende tutorials en tips-and-tricks met betrekking tot taalmodellering.

Implementeer het SageMaker-eindpunt met behulp van een notebook

Cohere heeft Medium-modellen verpakt, samen met een geoptimaliseerd inferentieframework met lage latentie, in containers die kunnen worden ingezet als SageMaker-inferentie-eindpunten. De containers van Cohere kunnen worden ingezet op verschillende instanties (waaronder ml.p3.2xlarge, ml.g5.xlarge en ml.g5.2xlarge) die verschillende afwegingen tussen kosten en prestaties bieden. Deze containers zijn momenteel beschikbaar in twee regio's: us-east-1 en eu-west-1. Cohere is van plan zijn aanbod in de nabije toekomst uit te breiden, inclusief het toevoegen van het aantal en de grootte van de beschikbare modellen, de reeks ondersteunde taken (zoals de eindpunten die bovenop deze modellen zijn gebouwd), de ondersteunde instanties en de beschikbare regio's.

Om ontwikkelaars snel aan de slag te helpen, heeft Cohere gezorgd Jupyter notitieboekjes die het gemakkelijk maken om deze containers te implementeren en deductie uit te voeren op de geïmplementeerde eindpunten. Met de vooraf geconfigureerde set constanten in de notebook kan het implementeren van het eindpunt eenvoudig worden gedaan met slechts een paar regels code, zoals wordt weergegeven in het volgende voorbeeld:

Nadat het eindpunt is geïmplementeerd, kunnen gebruikers de SDK van Cohere gebruiken om gevolgtrekkingen uit te voeren. De SDK kan als volgt eenvoudig vanuit PyPI worden geïnstalleerd:

Het kan ook vanuit de broncode in Cohere's worden geïnstalleerd openbare SDK GitHub-repository.

Nadat het eindpunt is geïmplementeerd, kunnen gebruikers het Cohere Generate-eindpunt gebruiken om meerdere generatieve taken uit te voeren, zoals het samenvatten van tekst, het genereren van lange inhoud, het extraheren van entiteiten of het schrijven van teksten. De Jupyter-notebook en de GitHub-repository bevatten voorbeelden die enkele van deze use-cases demonstreren.

Conclusie

De beschikbaarheid van Cohere native op SageMaker via de AWS Marketplace is een belangrijke mijlpaal op het gebied van NLP. Het vermogen van het Cohere-model om coherente tekst van hoge kwaliteit te genereren, maakt het een waardevol hulpmiddel voor iedereen die met tekstgegevens werkt.

Als u geïnteresseerd bent in het gebruik van Cohere voor uw eigen SageMaker-projecten, kunt u er nu toegang toe krijgen SageMaker JumpStart. Bovendien kunt u verwijzen naar Cohere's GitHub-notitieblok voor instructies over het implementeren van het model en het openen ervan vanuit het Samenhangen Eindpunt genereren.

---

Over de auteurs

Sudip Roy is manager technische staf bij Cohere, een leverancier van geavanceerde natuurlijke taalverwerkingstechnologie (NLP). Sudip is een ervaren onderzoeker die heeft gepubliceerd en zitting heeft gehad in programmacommissies voor topconferenties zoals NeurIPS, MLSys, OOPSLA, SIGMOD, VLDB en SIGKDD, en zijn werk heeft Outstanding Paper-prijzen verdiend van SIGMOD en MLSys.

Karthik Bharathy is de productleider voor het Amazon SageMaker-team met meer dan tien jaar ervaring in productbeheer, productstrategie, uitvoering en lancering.

Karel Albertsen leidt product, engineering en wetenschap voor Amazon SageMaker Algorithms en JumpStart, SageMaker's machine learning-hub. Hij is gepassioneerd door het toepassen van machine learning om bedrijfswaarde te ontsluiten.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
• Bron: https://aws.amazon.com/blogs/machine-learning/cohere-brings-language-ai-to-amazon-sagemaker/