Slack oferă IA generativă nativă și sigură, alimentată de Amazon SageMaker JumpStart | Amazon Web Services

Acest post este co-autor de Jackie Rocca, VP Product, AI la Slack

Slack este locul unde se lucrează. Este platforma de lucru bazată pe inteligență artificială care conectează oamenii, conversațiile, aplicațiile și sistemele într-un singur loc. Cu noul lansat Slack AI— o experiență de încredere, nativă, generativă de inteligență artificială (AI) disponibilă direct în Slack — utilizatorii pot evidenția și prioritiza informațiile, astfel încât să își poată concentra atenția și să-și facă cea mai productivă muncă.

Suntem încântați să anunțăm că Slack, o companie Salesforce, a colaborat Amazon SageMaker JumpStart pentru a alimenta funcțiile inițiale de căutare și rezumare ale Slack AI și pentru a oferi garanții pentru ca Slack să utilizeze mai sigur modelele de limbaj mari (LLM). Slack a colaborat cu SageMaker JumpStart pentru a găzdui LLM-uri terțe, lideri în industrie, astfel încât datele să nu fie partajate cu infrastructura deținută de furnizori de modele terți.

Acest lucru păstrează datele clienților în Slack în orice moment și susține aceleași practici de securitate și standarde de conformitate pe care clienții le așteaptă de la Slack însuși. Slack folosește și el Amazon SageMaker capabilități de inferență pentru strategii avansate de rutare pentru a scala soluția la clienți cu performanță, latență și debit optime.

„Cu Amazon SageMaker JumpStart, Slack poate accesa modele de bază de ultimă generație pentru a alimenta Slack AI, acordând în același timp prioritate securității și confidențialității. Clienții Slack pot căuta acum mai inteligent, pot rezuma conversațiile instantaneu și pot fi cei mai productivi.”

– Jackie Rocca, VP Product, AI la Slack

Modele de fundație în SageMaker JumpStart

SageMaker JumpStart este un hub de învățare automată (ML) care vă poate ajuta să vă accelerați călătoria ML. Cu SageMaker JumpStart, puteți evalua, compara și selecta rapid modele de bază (FM) pe baza valorilor predefinite de calitate și responsabilitate pentru a efectua sarcini precum rezumarea articolelor și generarea de imagini. Modelele preantrenate sunt complet personalizabile pentru cazul dvs. de utilizare cu datele dvs. și le puteți implementa fără efort în producție cu interfața de utilizator sau SDK. În plus, puteți accesa soluții preconstruite pentru a rezolva cazuri de utilizare obișnuite și pentru a partaja artefacte ML, inclusiv modele ML și notebook-uri, în cadrul organizației dvs. pentru a accelera construirea și implementarea modelelor ML. Niciuna dintre datele dvs. nu este folosită pentru a antrena modelele de bază. Toate datele sunt criptate și nu sunt niciodată partajate cu furnizori terți, astfel încât să aveți încredere că datele dvs. rămân private și confidențiale.

Check out Pagina modelului SageMaker JumpStart pentru modelele disponibile.

Slack AI

Slack a lansat Slack AI pentru a oferi capabilități native AI generative, astfel încât clienții să poată găsi și consuma cu ușurință volume mari de informații rapid, permițându-le să obțină și mai multă valoare din cunoștințele lor partajate în Slack. De exemplu, utilizatorii pot pune o întrebare într-un limbaj simplu și pot obține instantaneu răspunsuri clare și concise cu ajutorul căutării îmbunătățite. Ei pot prinde din urmă canalele și firele cu un singur clic cu rezumatele conversațiilor. Și pot accesa rezumate zilnice personalizate ale a ceea ce se întâmplă pe anumite canale cu recapitulările recent lansate.

Deoarece încrederea este cea mai importantă valoare a Slack, Slack AI rulează pe o infrastructură de nivel enterprise pe care au construit-o pe AWS, susținând aceeași practicile de securitate și standardele de conformitate la care se așteaptă clienții. Slack AI este creat pentru clienții conștienți de securitate și este conceput pentru a fi securizat prin proiectare — datele clienților rămân interne, datele nu sunt utilizate în scopuri de instruire LLM și datele rămân izolate.

Prezentare generală a soluțiilor

SageMaker JumpStart oferă acces la multe LLM-uri, iar Slack selectează FM-urile potrivite pentru cazurile lor de utilizare. Deoarece aceste modele sunt găzduite pe infrastructura AWS deținută de Slack, datele trimise modelelor în timpul invocării nu părăsesc infrastructura AWS a Slack. În plus, pentru a oferi o soluție sigură, datele trimise pentru invocarea modelelor SageMaker sunt criptate în tranzit. Datele trimise către punctele finale SageMaker JumpStart pentru invocarea modelelor nu sunt utilizate pentru antrenarea modelelor de bază. SageMaker JumpStart îi permite lui Slack să accepte standarde înalte de securitate și confidențialitate a datelor, folosind în același timp modele de ultimă generație care ajută Slack AI să funcționeze optim pentru clienții Slack.

Punctele finale SageMaker JumpStart care deservesc aplicațiile de afaceri Slack sunt alimentate de instanțe AWS. SageMaker acceptă a gamă largă de tipuri de instanțe pentru implementarea modelului, care îi permite lui Slack să aleagă instanța care este cel mai potrivită pentru a suporta cerințele de latență și scalabilitate ale cazurilor de utilizare Slack AI. Slack AI are acces la instanțe bazate pe mai multe GPU pentru a-și găzdui modelele SageMaker JumpStart. Mai multe instanțe GPU permit fiecărei instanțe care sprijină punctul final al Slack AI să găzduiască mai multe copii ale unui model. Acest lucru ajută la îmbunătățirea utilizării resurselor și la reducerea costurilor de implementare a modelului. Pentru mai multe informații, consultați Amazon SageMaker adaugă noi capabilități de inferență pentru a ajuta la reducerea costurilor de implementare a modelului de bază și a latenței.

Următoarea diagramă ilustrează arhitectura soluției.

Pentru a utiliza instanțele cel mai eficient și pentru a sprijini cerințele de concurență și latență, Slack a folosit strategiile de rutare oferite de SageMaker cu punctele finale SageMaker. În mod implicit, un punct final SageMaker distribuie uniform cererile primite către instanțe ML utilizând o strategie de rutare a algoritmului round-robin numită RANDOM. Cu toate acestea, cu sarcinile de lucru AI generative, cererile și răspunsurile pot fi extrem de variabile și este de dorit să se echilibreze încărcarea luând în considerare capacitatea și utilizarea instanței, mai degrabă decât echilibrarea aleatorie a sarcinii. Pentru a distribui în mod eficient cererile între instanțele care susțin punctele finale, Slack utilizează LEAST_OUTSTANDING_REQUESTS (LAR) strategie de rutare. Această strategie direcționează cererile către instanțe specifice care au mai multă capacitate de a procesa cereri în loc să aleagă aleatoriu orice instanță disponibilă. Strategia LAR oferă o echilibrare a sarcinii și o utilizare mai uniformă a resurselor. Ca rezultat, Slack AI a observat o scădere a latenței cu peste 39% a numerelor de latență p95 atunci când a activat LEAST_OUTSTANDING_REQUESTS comparativ cu RANDOM.

Pentru mai multe detalii despre strategiile de rutare SageMaker, consultați Minimizați latența de inferență în timp real utilizând strategiile de rutare Amazon SageMaker.

Concluzie

Slack oferă capabilități native AI generative care îi vor ajuta pe clienții să fie mai productivi și să folosească cu ușurință cunoștințele colective care sunt încorporate în conversațiile lor Slack. Cu acces rapid la o selecție largă de FM și capabilități avansate de echilibrare a încărcăturii care sunt găzduite în instanțe dedicate prin SageMaker JumpStart, Slack AI este capabil să ofere funcții AI generative bogate într-un mod mai robust și mai rapid, respectând în același timp standardele de încredere și securitate ale Slack.

Aflați mai multe despre SageMaker JumpStart, Slack AI și cum echipa Slack a creat Slack AI pentru a fi sigur și privat. Lăsați-vă gândurile și întrebările în secțiunea de comentarii.

---

Despre Autori

Jackie Rocca este VP Product la Slack, unde supraveghează viziunea și execuția Slack AI, care aduce AI generativă în mod nativ și în siguranță în experiența utilizatorului Slack. Acum are misiunea de a ajuta clienții să-și accelereze productivitatea și să obțină și mai multă valoare din conversațiile, datele și cunoștințele lor colective cu AI generativă. Înainte de a ajunge la Slack, Jackie a fost manager de produs la Google timp de mai bine de șase ani, unde a ajutat la lansarea și dezvoltarea YouTube TV. Jackie are sediul în San Francisco Bay Area.

Rachna Chadha este arhitect principal de soluții AI/ML în conturi strategice la AWS. Rachna este o optimistă care crede că utilizarea etică și responsabilă a inteligenței artificiale poate îmbunătăți societatea în viitor și poate aduce prosperitate economică și socială. În timpul liber, Rachnei îi place să petreacă timpul cu familia ei, să facă drumeții și să asculte muzică.

Marc Karp este arhitect ML cu echipa Amazon SageMaker Service. El se concentrează pe a ajuta clienții să proiecteze, să implementeze și să gestioneze sarcinile de lucru ML la scară. În timpul liber, îi place să călătorească și să exploreze locuri noi.

Maninder (Mani) Kaur este liderul specialistului AI/ML pentru ISV-uri strategice la AWS. Prin abordarea ei centrată pe client, Mani îi ajută pe clienții strategici să își modeleze strategia AI/ML, să alimenteze inovația și să-și accelereze călătoria AI/ML. Mani crede ferm în IA etică și responsabilă și se străduiește să se asigure că soluțiile AI ale clienților săi se aliniază cu aceste principii.

Gene Ting este arhitect principal de soluții la AWS. El se concentrează pe a ajuta clienții întreprinderilor să creeze și să opereze sarcini de lucru în siguranță pe AWS. În timpul său liber, lui Gene îi place să predea copiilor tehnologie și sport, precum și să urmărească cele mai noi știri în domeniul securității cibernetice.

Alan Tan este Senior Product Manager la SageMaker, conducând eforturile pentru inferența modelelor mari. Este pasionat de aplicarea învățării automate în domeniul analizei. În afara serviciului, se bucură de aer liber.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://aws.amazon.com/blogs/machine-learning/slack-delivers-native-and-secure-generative-ai-powered-by-amazon-sagemaker-jumpstart/