Slack pakub natiivset ja turvalist generatiivset AI-d, mida toetab Amazon SageMaker JumpStart | Amazoni veebiteenused

Selle postituse kaasautor on Jackie Rocca, Slacki tehisintellekti osakonna asepresident

Slack on koht, kus töö toimub. See on AI-toega tööplatvorm, mis ühendab inimesed, vestlused, rakendused ja süsteemid ühes kohas. Koos äsja käivitatud Slack AI– usaldusväärne, natiivne, generatiivse tehisintellekti (AI) kogemus, mis on saadaval otse Slackis – kasutajad saavad teavet esile tõsta ja tähtsuse järjekorda seada, et leida oma fookus ja teha oma kõige produktiivsemat tööd.

Meil on hea meel teatada, et Salesforce'i ettevõte Slack on teinud koostööd Amazon SageMaker JumpStart et toita Slacki AI esialgseid otsingu- ja kokkuvõtefunktsioone ning pakkuda Slackile kaitsemeetmeid suurte keelemudelite (LLM) turvalisemaks kasutamiseks. Slack töötas koos SageMaker JumpStartiga, et majutada tööstusharu juhtivaid kolmanda osapoole LLM-e, nii et andmeid ei jagataks kolmandate osapoolte mudelipakkujatele kuuluva infrastruktuuriga.

See hoiab kliendiandmeid kogu aeg Slackis ning järgib samu turvatavasid ja vastavusstandardeid, mida kliendid Slackilt endalt ootavad. Slack kasutab ka Amazon SageMaker Järeldusvõimalused täiustatud marsruutimisstrateegiate jaoks, et skaleerida lahendus optimaalse jõudluse, latentsuse ja läbilaskevõimega klientideni.

„Amazon SageMaker JumpStarti abil pääseb Slack juurde tipptasemel alusmudelitele, et toita Slacki AI-d, seades samal ajal esikohale turvalisuse ja privaatsuse. Vaiksed kliendid saavad nüüd nutikamalt otsida, vestlustest kohe kokku võtta ja olla kõige produktiivsemad.

– Jackie Rocca, toote asepresident, Slacki tehisintellekt

Vundamendi mudelid SageMaker JumpStartis

SageMaker JumpStart on masinõppe (ML) keskus, mis võib aidata teie ML-teekonda kiirendada. SageMaker JumpStarti abil saate kiiresti hinnata, võrrelda ja valida alusmudeleid (FM-e) eelnevalt määratletud kvaliteedi- ja vastutusmõõdikute põhjal, et täita selliseid ülesandeid nagu artiklite kokkuvõte ja piltide loomine. Eelkoolitatud mudelid on teie andmetega teie kasutusjuhtumi jaoks täielikult kohandatavad ja saate need kasutajaliidese või SDK abil hõlpsasti tootmisse juurutada. Lisaks pääsete juurde eelehitatud lahendustele, et lahendada levinud kasutusjuhtumeid ja jagada oma organisatsioonis ML-i artefakte, sealhulgas ML-mudeleid ja märkmikke, et kiirendada ML-mudelite loomist ja juurutamist. Teie andmeid ei kasutata aluseks olevate mudelite koolitamiseks. Kõik andmed on krüptitud ja neid ei jagata kunagi kolmandate osapoolte tarnijatega, nii et võite usaldada, et teie andmed jäävad privaatseks ja konfidentsiaalseks.

Tutvu SageMaker JumpStart mudeli leht saadaolevate mudelite jaoks.

Slack AI

Slack käivitas Slacki AI, et pakkuda natiivseid generatiivseid AI-võimalusi, et kliendid saaksid hõlpsalt leida ja kiiresti suurel hulgal teavet tarbida, võimaldades neil Slackis jagatud teadmistest veelgi rohkem kasu saada. Näiteks saavad kasutajad esitada küsimuse lihtsas keeles ning täiustatud otsingu abil saada koheselt selged ja kokkuvõtlikud vastused. Nad saavad vestluste kokkuvõtete abil ühe klõpsuga kanalitele ja lõimedele järele jõuda. Ja neil on äsja käivitatud kokkuvõtete abil juurdepääs isikupärastatud igapäevastele kokkuvõtetele valitud kanalites toimuvast.

Kuna usaldus on Slacki kõige olulisem väärtus, töötab Slacki AI ettevõttetasemel infrastruktuuril, mille nad ehitasid AWS-ile, säilitades sama turvatavad ja vastavusstandardid mida kliendid ootavad. Slack AI on loodud turvateadlikele klientidele ja on loodud turvaliseks – kliendiandmed jäävad ettevõttesiseseks, andmeid ei kasutata LLM-i koolituse eesmärgil ja andmed jäävad silodesse.

Lahenduse ülevaade

SageMaker JumpStart pakub juurdepääsu paljudele LLM-idele ja Slack valib õiged FM-id, mis sobivad nende kasutusjuhtudega. Kuna neid mudeleid majutatakse Slackile kuuluvas AWS-i infrastruktuuris, ei lahku kutsumise ajal mudelitele saadetud andmed Slacki AWS-i infrastruktuurist. Lisaks sellele krüpteeritakse turvalise lahenduse pakkumiseks SageMakeri mudelite käivitamiseks saadetud andmed edastamisel. Mudelite kutsumiseks SageMaker JumpStart lõpp-punktidesse saadetud andmeid ei kasutata baasmudelite koolitamiseks. SageMaker JumpStart võimaldab Slackil toetada kõrgeid turva- ja andmeprivaatsusstandardeid, kasutades samal ajal ka tipptasemel mudeleid, mis aitavad Slacki AI-l Slacki klientide jaoks optimaalselt toimida.

Slacki ärirakendusi teenindavaid SageMaker JumpStart lõpp-punkte toidavad AWS-i eksemplarid. SageMaker toetab a lai valik eksemplaritüüpe mudeli juurutamiseks, mis võimaldab Slackil valida eksemplari, mis sobib kõige paremini Slacki AI kasutusjuhtude latentsus- ja mastaapsuse nõuete toetamiseks. Slack AI-l on juurdepääs mitme GPU-põhistele eksemplaridele, et majutada oma SageMaker JumpStart mudeleid. Mitu GPU eksemplari võimaldavad igal Slacki AI lõpp-punkti toetaval eksemplaril majutada mudeli mitut koopiat. See aitab parandada ressursside kasutamist ja vähendada mudeli juurutamise kulusid. Lisateabe saamiseks vaadake Amazon SageMaker lisab uusi järeldusvõimalusi, mis aitavad vähendada vundamendimudeli juurutamiskulusid ja latentsust.

Järgnev diagramm illustreerib lahenduse arhitektuuri.

Eksemplaride kõige tõhusamaks kasutamiseks ning samaaegsus- ja latentsusnõuete toetamiseks kasutas Slack oma SageMakeri lõpp-punktidega SageMakeri pakutavaid marsruutimisstrateegiaid. Vaikimisi jaotab SageMakeri lõpp-punkt sissetulevad päringud ühtlaselt ML-eksemplaridele, kasutades ümmarguse algoritmi marsruutimisstrateegiat, mida nimetatakse RANDOM. Generatiivse tehisintellekti töökoormuse korral võivad päringud ja vastused olla aga äärmiselt erinevad ning koormuse tasakaalustamisel on soovitatav arvestada eksemplari võimsust ja kasutust, mitte juhuslikku koormuse tasakaalustamist. Päringute tõhusaks jaotamiseks lõpp-punkte toetavate eksemplaride vahel kasutab Slack LEAST_OUTSTANDING_REQUESTS (LAR) marsruutimise strateegia. See strateegia suunab päringud konkreetsetele eksemplaridele, millel on rohkem võimsust taotluste töötlemiseks, selle asemel et juhuslikult valida mis tahes saadaolevat eksemplari. LAR-strateegia tagab ühtlasema koormuse tasakaalustamise ja ressursside kasutamise. Selle tulemusel märkas Slack AI lubamisel oma p39 latentsusnumbrite latentsusaega enam kui 95%. LEAST_OUTSTANDING_REQUESTS võrreldes RANDOM-iga.

Lisateavet SageMakeri marsruutimisstrateegiate kohta leiate artiklist Minimeerige reaalajas järelduste latentsus, kasutades Amazon SageMakeri marsruutimisstrateegiaid.

Järeldus

Slack pakub natiivseid generatiivseid AI-võimalusi, mis aitavad nende klientidel olla produktiivsemad ja hõlpsasti kasutada kollektiivseid teadmisi, mis on nende Slacki vestlustesse põimitud. Tänu kiirele juurdepääsule suurele valikule FM-idele ja täiustatud koormuse tasakaalustamise võimalustele, mida majutatakse SageMaker JumpStarti kaudu spetsiaalsetes eksemplarides, suudab Slack AI pakkuda rikkalikke generatiivseid AI funktsioone jõulisemal ja kiiremal viisil, järgides samal ajal Slacki usaldus- ja turvastandardeid.

Lisateave SageMaker KiirStart, Slack AI ja kuidas Slacki meeskond ehitas Slacki AI turvaliseks ja privaatseks. Jätke oma mõtted ja küsimused kommentaaride sektsiooni.

---

Autoritest

Jackie Rocca on Slacki tooteosakonna asepresident, kus ta jälgib Slacki AI visiooni ja teostust, mis toob generatiivse AI natiivselt ja turvaliselt Slacki kasutajakogemusse. Nüüd on ta missioonil aidata klientidel tõsta oma tootlikkust ning saada generatiivse tehisintellektiga oma vestlustest, andmetest ja kollektiivsetest teadmistest veelgi rohkem väärtust. Enne Slacki tööle asumist oli Jackie üle kuue aasta Google'i tootejuht, kus ta aitas käivitada ja arendada Youtube TV-d. Jackie asub San Francisco lahe piirkonnas.

Rachna Chadha on AWS-i peamiste lahenduste arhitekti AI/ML strateegiliste kontode alal. Rachna on optimist, kes usub, et tehisintellekti eetiline ja vastutustundlik kasutamine võib tulevikus ühiskonda parandada ning tuua majanduslikku ja sotsiaalset õitsengut. Vabal ajal meeldib Rachnale perega aega veeta, matkata ja muusikat kuulata.

Marc Karp on ML arhitekt koos Amazon SageMaker Service meeskonnaga. Ta keskendub sellele, et aidata klientidel kavandada, juurutada ja hallata ML töökoormust ulatuslikult. Vabal ajal meeldib talle reisida ja avastada uusi kohti.

Maninder (Mani) Kaur on AWS-i AI/ML-spetsialist, kes tegeleb strateegiliste ISV-dega. Oma kliendikeskse lähenemisviisiga aitab Mani strateegilistel klientidel kujundada oma AI/ML strateegiat, toidab uuendusi ja kiirendab nende tehisintellekti/ML-i teekonda. Mani usub kindlalt eetilisesse ja vastutustundlikku AI-sse ning püüab tagada, et tema klientide tehisintellekti lahendused oleksid nende põhimõtetega kooskõlas.

Gene Ting on AWS-i peamine lahenduste arhitekt. Ta on keskendunud ettevõtete klientide abistamisele AWS-is töökoormust turvaliselt üles ehitada ja kasutada. Vabal ajal meeldib Genele õpetada lastele tehnoloogiat ja sporti ning jälgida küberjulgeolekuga seotud uusimaid uudiseid.

Alan Tan on SageMakeri vanem tootejuht, kes juhib jõupingutusi suurte mudelite järelduste tegemisel. Ta on kirglik masinõppe rakendamisest analüütika valdkonnas. Väljaspool tööd naudib ta õues olemist.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/slack-delivers-native-and-secure-generative-ai-powered-by-amazon-sagemaker-jumpstart/