Slack zagotavlja izvorno in varno generativno umetno inteligenco, ki jo poganja Amazon SageMaker JumpStart | Spletne storitve Amazon

Soavtorica te objave je Jackie Rocca, podpredsednica produkta, AI pri Slacku

Slack je kraj, kjer se delo dogaja. To je platforma za delo, ki temelji na umetni inteligenci in povezuje ljudi, pogovore, aplikacije in sisteme na enem mestu. Z novo lansiranim Slack AI— zaupanja vredna, izvorna izkušnja generativne umetne inteligence (AI), ki je na voljo neposredno v Slacku — uporabniki lahko prikažejo in razvrstijo informacije po prioritetah, da se lahko osredotočijo in opravljajo svoje najbolj produktivno delo.

Z veseljem sporočamo, da je Slack, podjetje Salesforce, sodelovalo z Amazon SageMaker JumpStart za napajanje začetnih funkcij iskanja in povzemanja Slack AI in zagotavljanje zaščitnih ukrepov za Slack, da varneje uporablja velike jezikovne modele (LLM). Slack je sodeloval s SageMaker JumpStart pri gostovanju vodilnih LLM tretjih oseb v industriji, tako da se podatki ne delijo z infrastrukturo, ki je v lasti ponudnikov modelov tretjih oseb.

To ohranja podatke o strankah v Slacku ves čas in podpira iste varnostne prakse in standarde skladnosti, ki jih stranke pričakujejo od samega Slacka. Uporablja tudi Slack Amazon SageMaker zmožnosti sklepanja za napredne strategije usmerjanja za prilagajanje rešitve strankam z optimalno zmogljivostjo, zakasnitvijo in prepustnostjo.

»Z Amazon SageMaker JumpStart lahko Slack dostopa do najsodobnejših temeljnih modelov za napajanje Slack AI, pri čemer daje prednost varnosti in zasebnosti. Stranke Slack lahko zdaj iščejo pametneje, takoj povzemajo pogovore in so najbolj produktivne.«

– Jackie Rocca, podpredsednica izdelkov, AI pri Slack

Modeli temeljev v SageMaker JumpStart

SageMaker JumpStart je središče strojnega učenja (ML), ki lahko pomaga pospešiti vaše potovanje v ML. S SageMaker JumpStart lahko hitro ocenite, primerjate in izberete temeljne modele (FM) na podlagi vnaprej določenih meritev kakovosti in odgovornosti za izvajanje nalog, kot sta povzemanje člankov in ustvarjanje slik. Vnaprej usposobljeni modeli so v celoti prilagodljivi za vaš primer uporabe z vašimi podatki in jih lahko brez truda uvedete v produkcijo z uporabniškim vmesnikom ali SDK. Poleg tega lahko dostopate do vnaprej izdelanih rešitev za reševanje običajnih primerov uporabe in delite artefakte ML, vključno z modeli in prenosniki ML, znotraj vaše organizacije, da pospešite izdelavo in uvajanje modela ML. Nobeden od vaših podatkov se ne uporablja za usposabljanje osnovnih modelov. Vsi podatki so šifrirani in se nikoli ne delijo s ponudniki tretjih oseb, tako da lahko zaupate, da bodo vaši podatki ostali zasebni in zaupni.

Odjaviti Stran modela SageMaker JumpStart za razpoložljive modele.

Slack AI

Slack je lansiral Slack AI, da bi zagotovil izvorne generativne zmogljivosti AI, tako da lahko stranke enostavno najdejo in hitro porabijo velike količine informacij, kar jim omogoča, da iz skupnega znanja v Slacku pridobijo še večjo vrednost. Uporabniki lahko na primer postavijo vprašanje v preprostem jeziku in takoj dobijo jasne in jedrnate odgovore z izboljšanim iskanjem. S povzetki pogovorov lahko nadoknadijo zamujeno o kanalih in nitih z enim klikom. Poleg tega lahko dostopajo do prilagojenih dnevnih izvlečkov dogajanja na izbranih kanalih z novo predstavljenimi povzetki.

Ker je zaupanje Slack-ova najpomembnejša vrednota, Slack AI deluje na infrastrukturi poslovnega razreda, ki so jo zgradili na AWS, in podpira isto varnostne prakse in standarde skladnosti ki jih stranke pričakujejo. Slack AI je zgrajen za stranke, ki se zavedajo varnosti, in je zasnovan tako, da je varen že po zasnovi – podatki o strankah ostanejo interni, podatki se ne uporabljajo za namene usposabljanja LLM in podatki ostanejo shranjeni.

Pregled rešitev

SageMaker JumpStart omogoča dostop do številnih LLM-jev, Slack pa izbere prave FM-je, ki ustrezajo njihovim primerom uporabe. Ker ti modeli gostujejo v Slackovi infrastrukturi AWS, podatki, poslani modelom med priklicem, ne zapustijo Slackove infrastrukture AWS. Poleg tega so zaradi zagotavljanja varne rešitve podatki, poslani za priklic modelov SageMaker, med prenosom šifrirani. Podatki, poslani končnim točkam SageMaker JumpStart za priklic modelov, se ne uporabljajo za usposabljanje osnovnih modelov. SageMaker JumpStart omogoča Slacku, da podpira visoke standarde za varnost in zasebnost podatkov, hkrati pa uporablja najsodobnejše modele, ki pomagajo Slack AI delovati optimalno za stranke Slack.

Končne točke SageMaker JumpStart, ki služijo poslovnim aplikacijam Slack, poganjajo instance AWS. SageMaker podpira a širok nabor vrst primerkov za uvajanje modela, ki Slacku omogoča, da izbere instanco, ki je najbolj primerna za podporo zahtevam glede zakasnitve in razširljivosti v primerih uporabe Slack AI. Slack AI ima dostop do primerkov, ki temeljijo na več grafičnih procesorjih, za gostovanje njihovih modelov SageMaker JumpStart. Več primerkov GPE omogoča, da vsak primerek, ki podpira končno točko Slack AI, gosti več kopij modela. To pomaga izboljšati uporabo virov in zmanjšati stroške uvajanja modela. Za več informacij glejte Amazon SageMaker dodaja nove zmožnosti sklepanja, ki pomagajo zmanjšati stroške uvajanja temeljnega modela in zakasnitev.

Naslednji diagram prikazuje arhitekturo rešitev.

Za najučinkovitejšo uporabo primerkov in podporo zahtevam glede sočasnosti in zakasnitve je Slack uporabil strategije usmerjanja, ki jih ponuja SageMaker, s svojimi končnimi točkami SageMaker. Privzeto končna točka SageMaker enakomerno porazdeli dohodne zahteve primerkom ML z uporabo strategije usmerjanja algoritma krožnega dela, imenovane RANDOM. Vendar pa so pri generativnih delovnih obremenitvah umetne inteligence lahko zahteve in odgovori izjemno spremenljivi, zato je zaželeno, da se uravnoteži obremenitev z upoštevanjem zmogljivosti in izkoriščenosti primerka namesto naključnega uravnoteženja obremenitve. Za učinkovito porazdelitev zahtev po instancah, ki podpirajo končne točke, Slack uporablja LEAST_OUTSTANDING_REQUESTS (LAR) strategija usmerjanja. Ta strategija usmerja zahteve k določenim primerkom, ki imajo več zmogljivosti za obdelavo zahtev, namesto da naključno izbira kateri koli razpoložljivi primerek. Strategija LAR zagotavlja bolj enotno uravnoteženje obremenitve in uporabo virov. Posledično je Slack AI opazil več kot 39-odstotno zmanjšanje zakasnitve v svojih številkah zakasnitve p95, ko je omogočil LEAST_OUTSTANDING_REQUESTS v primerjavi z RANDOM.

Za več podrobnosti o strategijah usmerjanja SageMaker glejte Zmanjšajte zakasnitev sklepanja v realnem času z uporabo strategij usmerjanja Amazon SageMaker.

zaključek

Slack zagotavlja izvorne generativne zmogljivosti umetne inteligence, ki bodo njihovim strankam pomagale, da bodo bolj produktivne in zlahka izkoristijo kolektivno znanje, ki je vgrajeno v njihove pogovore Slack. S hitrim dostopom do velikega izbora FM-jev in naprednimi zmožnostmi za uravnoteženje obremenitve, ki gostujejo v namenskih instancah prek SageMaker JumpStart, lahko Slack AI zagotovi bogate generativne funkcije AI na robustnejši in hitrejši način, hkrati pa podpira Slackove standarde zaupanja in varnosti.

Več o tem SageMaker JumpStart, Slack AI in kako je ekipa Slack zgradila Slack AI, da je varen in zaseben. Pustite svoje misli in vprašanja v razdelku za komentarje.

---

O avtorjih

Jackie Rocca je podpredsednica produkta pri Slacku, kjer nadzoruje vizijo in izvedbo umetne inteligence Slack, ki izvorno in varno prinaša generativno umetno inteligenco v uporabniško izkušnjo Slacka. Zdaj je na misiji pomagati strankam, da pospešijo svojo produktivnost in pridobijo še večjo vrednost iz svojih pogovorov, podatkov in skupnega znanja z generativno umetno inteligenco. Preden se je zaposlila pri Slacku, je bila Jackie več kot šest let produktna vodja pri Googlu, kjer je pomagala pri zagonu in rasti Youtube TV. Jackie živi na območju zaliva San Francisco.

Rachna Chadha je glavni arhitekt rešitev AI/ML v Strategic Accounts pri AWS. Rachna je optimist, ki verjame, da lahko etična in odgovorna uporaba umetne inteligence izboljša družbo v prihodnosti ter prinese gospodarsko in družbeno blaginjo. V prostem času Rachna rada preživlja čas z družino, hodi na pohode in posluša glasbo.

Marc Karp je arhitekt ML pri ekipi Amazon SageMaker Service. Osredotoča se na pomoč strankam pri načrtovanju, uvajanju in upravljanju delovnih obremenitev ML v velikem obsegu. V prostem času rad potuje in raziskuje nove kraje.

Maninder (Mani) Kaur je vodja strokovnjaka za AI/ML za strateške ISV-je pri AWS. Mani s svojim pristopom, ki je na prvem mestu stranka, pomaga strateškim strankam oblikovati njihovo strategijo AI/ML, spodbuditi inovacije in pospešiti njihovo pot AI/ML. Mani trdno verjame v etično in odgovorno umetno inteligenco in si prizadeva zagotoviti, da so rešitve umetne inteligence njenih strank v skladu s temi načeli.

Gene Ting je glavni arhitekt rešitev pri AWS. Osredotočen je na pomoč podjetniškim strankam pri varni gradnji in upravljanju delovnih obremenitev na AWS. V prostem času Gene rad poučuje otroke o tehnologiji in športu ter spremlja najnovejše novice o kibernetski varnosti.

Alan Tan je višji produktni vodja pri podjetju SageMaker, ki vodi prizadevanja za sklepanje velikih modelov. Navdušen je nad uporabo strojnega učenja na področju analitike. Izven dela uživa na prostem.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://aws.amazon.com/blogs/machine-learning/slack-delivers-native-and-secure-generative-ai-powered-by-amazon-sagemaker-jumpstart/