Slack leverer innebygd og sikker generativ AI drevet av Amazon SageMaker JumpStart | Amazon Web Services

Dette innlegget er medforfatter av Jackie Rocca, VP of Product, AI hos Slack

Slakk er der arbeidet skjer. Det er den AI-drevne plattformen for arbeid som kobler mennesker, samtaler, apper og systemer sammen på ett sted. Med den nylig lanserte Slakk AI— en pålitelig, innfødt, generativ kunstig intelligens (AI)-opplevelse tilgjengelig direkte i Slack — brukere kan vise frem og prioritere informasjon slik at de kan finne fokus og gjøre sitt mest produktive arbeid.

Vi er glade for å kunngjøre at Slack, et Salesforce-selskap, har samarbeidet med Amazon SageMaker JumpStart for å drive Slack AIs innledende søke- og oppsummeringsfunksjoner og sørge for at Slack kan bruke store språkmodeller (LLM) sikrere. Slack jobbet med SageMaker JumpStart for å være vertskap for bransjeledende tredjeparts LLM-er slik at data ikke deles med infrastrukturen som eies av tredjeparts modellleverandører.

Dette holder kundedata i Slack til enhver tid og opprettholder samme sikkerhetspraksis og samsvarsstandarder som kundene forventer av Slack selv. Slack bruker også Amazon SageMaker slutningsmuligheter for avanserte rutingstrategier for å skalere løsningen til kunder med optimal ytelse, latens og gjennomstrømning.

"Med Amazon SageMaker JumpStart kan Slack få tilgang til toppmoderne fundamentmodeller for å drive Slack AI, samtidig som sikkerhet og personvern prioriteres. Slack-kunder kan nå søke smartere, oppsummere samtaler umiddelbart og være på sitt mest produktive.»

– Jackie Rocca, VP Product, AI hos Slack

Foundation-modeller i SageMaker JumpStart

SageMaker JumpStart er et maskinlæringssenter (ML) som kan bidra til å akselerere ML-reisen din. Med SageMaker JumpStart kan du raskt evaluere, sammenligne og velge grunnmodeller (FM) basert på forhåndsdefinerte kvalitets- og ansvarsmålinger for å utføre oppgaver som artikkeloppsummering og bildegenerering. Forhåndsutdannede modeller er fullt tilpassbare for ditt bruksområde med dataene dine, og du kan enkelt distribuere dem i produksjon med brukergrensesnittet eller SDK. I tillegg kan du få tilgang til forhåndsbygde løsninger for å løse vanlige brukstilfeller og dele ML-artefakter, inkludert ML-modeller og bærbare datamaskiner, i organisasjonen for å akselerere bygging og distribusjon av ML-modeller. Ingen av dataene dine brukes til å trene de underliggende modellene. Alle dataene er kryptert og deles aldri med tredjepartsleverandører, slik at du kan stole på at dataene dine forblir private og konfidensielle.

Sjekk ut SageMaker JumpStart modellside for tilgjengelige modeller.

Slakk AI

Slack lanserte Slack AI for å gi native generative AI-funksjoner slik at kunder enkelt kan finne og konsumere store mengder informasjon raskt, slik at de kan få enda mer verdi ut av sin delte kunnskap i Slack. For eksempel kan brukere stille et spørsmål i klart språk og umiddelbart få klare og konsise svar med forbedret søk. De kan følge med på kanaler og tråder med ett klikk med samtalesammendrag. Og de kan få tilgang til personlige, daglige sammendrag av hva som skjer i utvalgte kanaler med de nylig lanserte oppsummeringene.

Fordi tillit er Slacks viktigste verdi, kjører Slack AI på en bedriftskvalitetsinfrastruktur de bygget på AWS, og opprettholder det samme sikkerhetspraksis og samsvarsstandarder som kundene forventer. Slack AI er bygget for sikkerhetsbevisste kunder og er designet for å være sikret – kundedata forblir internt, data brukes ikke til LLM-opplæringsformål, og data forblir silo.

Løsningsoversikt

SageMaker JumpStart gir tilgang til mange LLM-er, og Slack velger de riktige FM-ene som passer deres brukstilfeller. Fordi disse modellene er vert på Slacks eide AWS-infrastruktur, forlater ikke data sendt til modellene under påkalling Slacks AWS-infrastruktur. I tillegg, for å gi en sikker løsning, blir data sendt for å påkalle SageMaker-modeller kryptert under overføring. Dataene som sendes til SageMaker JumpStart-endepunkter for å påkalle modeller, brukes ikke til å trene opp basismodeller. SageMaker JumpStart lar Slack støtte høye standarder for sikkerhet og datavern, samtidig som de bruker toppmoderne modeller som hjelper Slack AI med å yte optimalt for Slack-kunder.

SageMaker JumpStart-endepunkter som betjener Slack-forretningsapplikasjoner er drevet av AWS-instanser. SageMaker støtter en bredt spekter av instanstyper for modelldistribusjon, som lar Slack velge den forekomsten som er best egnet til å støtte latens- og skalerbarhetskrav til Slack AI-brukstilfeller. Slack AI har tilgang til multi-GPU-baserte forekomster for å være vert for deres SageMaker JumpStart-modeller. Flere GPU-forekomster lar hver forekomst støtte Slack AIs endepunkt for å være vert for flere kopier av en modell. Dette bidrar til å forbedre ressursutnyttelsen og redusere kostnadene for modellimplementering. For mer informasjon, se Amazon SageMaker legger til nye inferensfunksjoner for å redusere kostnadene og ventetiden for grunnmodelldistribusjon.

Følgende diagram illustrerer løsningsarkitekturen.

For å bruke forekomstene mest effektivt og støtte samtidighets- og latenskravene, brukte Slack SageMaker-tilbudte rutingstrategier med deres SageMaker-endepunkter. Som standard distribuerer et SageMaker-endepunkt jevnt innkommende forespørsler til ML-forekomster ved å bruke en round-robin-algoritme-rutingsstrategi kalt RANDOM. Med generative AI-arbeidsbelastninger kan imidlertid forespørsler og svar være ekstremt varierende, og det er ønskelig å lastebalanse ved å vurdere kapasiteten og utnyttelsen av forekomsten i stedet for tilfeldig lastbalansering. For å effektivt distribuere forespørsler på tvers av instanser som støtter endepunktene, bruker Slack LEAST_OUTSTANDING_REQUESTS (LAR) rutestrategi. Denne strategien ruter forespørsler til de spesifikke forekomstene som har større kapasitet til å behandle forespørsler i stedet for å velge en tilgjengelig forekomst tilfeldig. LAR-strategien gir mer enhetlig lastbalansering og ressursutnyttelse. Som et resultat la Slack AI merke til over en 39% latensreduksjon i deres p95-latenstid når de aktivert LEAST_OUTSTANDING_REQUESTS sammenlignet med TILFELDIG.

For mer informasjon om SageMaker rutingstrategier, se Minimer sanntids slutningsforsinkelse ved å bruke Amazon SageMaker-rutingsstrategier.

konklusjonen

Slack leverer native generative AI-funksjoner som vil hjelpe kundene deres til å bli mer produktive og enkelt utnytte den kollektive kunnskapen som er innebygd i Slack-samtalene deres. Med rask tilgang til et stort utvalg av FM-er og avanserte lastbalanseringsfunksjoner som er vert i dedikerte tilfeller gjennom SageMaker JumpStart, er Slack AI i stand til å gi rike generative AI-funksjoner på en mer robust og raskere måte, samtidig som Slacks tillits- og sikkerhetsstandarder opprettholdes.

Lær mer om SageMaker JumpStart, Slakk AI og hvordan Slack-teamet bygde Slack AI for å være sikkert og privat. Legg igjen dine tanker og spørsmål i kommentarfeltet.

---

Om forfatterne

Jackie Rocca er VP of Product hos Slack, hvor hun fører tilsyn med visjonen og utførelsen av Slack AI, som bringer generativ AI naturlig og sikkert inn i Slacks brukeropplevelse. Nå er hun på et oppdrag for å hjelpe kunder med å akselerere produktiviteten og få enda mer verdi ut av samtalene, dataene og den kollektive kunnskapen med generativ AI. Før tiden hennes i Slack var Jackie produktsjef hos Google i mer enn seks år, hvor hun hjalp til med å lansere og utvide Youtube TV. Jackie er basert i San Francisco Bay Area.

Rachna Chadha er en Principal Solutions Architect AI/ML i Strategic Accounts hos AWS. Rachna er en optimist som tror at etisk og ansvarlig bruk av AI kan forbedre samfunnet i fremtiden og bringe økonomisk og sosial velstand. På fritiden liker Rachna å tilbringe tid med familien, gå på tur og høre på musikk.

Marc Karp er en ML-arkitekt med Amazon SageMaker Service-teamet. Han fokuserer på å hjelpe kunder med å designe, distribuere og administrere ML-arbeidsmengder i stor skala. På fritiden liker han å reise og utforske nye steder.

Maninder (Mani) Kaur er AI/ML-spesialistleder for strategiske ISV-er hos AWS. Med sin kunde-første-tilnærming hjelper Mani strategiske kunder med å forme deres AI/ML-strategi, gi drivkraft til innovasjon og akselerere deres AI/ML-reise. Mani er en fast tro på etisk og ansvarlig AI, og streber etter å sikre at kundenes AI-løsninger er i tråd med disse prinsippene.

Gene Ting er en hovedløsningsarkitekt ved AWS. Han er fokusert på å hjelpe bedriftskunder med å bygge og drive arbeidsbelastninger sikkert på AWS. På fritiden liker Gene å lære barn teknologi og sport, i tillegg til å følge det siste innen nettsikkerhet.

Alan Tan er en senior produktsjef hos SageMaker, og leder innsatsen for store modellslutninger. Han brenner for å bruke maskinlæring på analyseområdet. Utenom jobben liker han å være ute.

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
• kilde: https://aws.amazon.com/blogs/machine-learning/slack-delivers-native-and-secure-generative-ai-powered-by-amazon-sagemaker-jumpstart/