Slack levererar inbyggd och säker generativ AI som drivs av Amazon SageMaker JumpStart | Amazon webbtjänster

Det här inlägget är medförfattare av Jackie Rocca, VP of Product, AI på Slack

Slack är där arbetet sker. Det är den AI-drivna plattformen för arbete som kopplar samman människor, konversationer, appar och system på ett ställe. Med den nylanserade Slack AI—en pålitlig, infödd, generativ artificiell intelligens (AI)-upplevelse tillgänglig direkt i Slack—användare kan dyka upp och prioritera information så att de kan hitta sitt fokus och göra sitt mest produktiva arbete.

Vi är glada över att kunna meddela att Slack, ett Salesforce-företag, har samarbetat med Amazon SageMaker JumpStart för att driva Slack AI:s initiala sök- och sammanfattningsfunktioner och tillhandahålla skydd för Slack att använda stora språkmodeller (LLM) säkrare. Slack arbetade med SageMaker JumpStart för att vara värd för branschledande tredjeparts LLM så att data inte delas med infrastrukturen som ägs av tredjepartsmodellleverantörer.

Detta håller kunddata i Slack hela tiden och upprätthåller samma säkerhetspraxis och efterlevnadsstandarder som kunderna förväntar sig av Slack själv. Slack använder också Amazon SageMaker slutledningsförmåga för avancerade routingstrategier för att skala lösningen till kunder med optimal prestanda, latens och genomströmning.

"Med Amazon SageMaker JumpStart kan Slack få tillgång till toppmoderna grundmodeller för att driva Slack AI, samtidigt som säkerhet och integritet prioriteras. Slack-kunder kan nu söka smartare, sammanfatta konversationer direkt och vara som mest produktiva.”

– Jackie Rocca, VP Product, AI på Slack

Grundmodeller i SageMaker JumpStart

SageMaker JumpStart är ett nav för maskininlärning (ML) som kan hjälpa dig att påskynda din ML-resa. Med SageMaker JumpStart kan du snabbt utvärdera, jämföra och välja grundmodeller (FM) baserat på fördefinierade kvalitets- och ansvarsmått för att utföra uppgifter som artikelsammanfattning och bildgenerering. Förutbildade modeller är helt anpassningsbara för ditt användningsfall med dina data, och du kan enkelt distribuera dem i produktion med användargränssnittet eller SDK. Dessutom kan du få tillgång till förbyggda lösningar för att lösa vanliga användningsfall och dela ML-artefakter, inklusive ML-modeller och bärbara datorer, inom din organisation för att påskynda ML-modellbygget och -distributionen. Ingen av dina data används för att träna de underliggande modellerna. All data är krypterad och delas aldrig med tredjepartsleverantörer så du kan lita på att din data förblir privat och konfidentiell.

Kolla in SageMaker JumpStart modellsida för tillgängliga modeller.

Slack AI

Slack lanserade Slack AI för att tillhandahålla inbyggda generativa AI-funktioner så att kunderna enkelt kan hitta och konsumera stora mängder information snabbt, vilket gör det möjligt för dem att få ännu mer värde av sin delade kunskap i Slack. Användare kan till exempel ställa en fråga i klartext och omedelbart få tydliga och koncisa svar med utökad sökning. De kan komma ikapp kanaler och trådar med ett klick med konversationssammanfattningar. Och de kan få tillgång till personliga, dagliga sammanfattningar av vad som händer i utvalda kanaler med de nyligen lanserade sammanfattningarna.

Eftersom förtroende är Slacks viktigaste värde, kör Slack AI på en infrastruktur av företagskvalitet som de byggde på AWS, och upprätthåller samma säkerhetspraxis och efterlevnadsstandarder som kunderna förväntar sig. Slack AI är byggd för säkerhetsmedvetna kunder och är designad för att vara säker genom design – kunddata förblir intern, data används inte för LLM-utbildningsändamål och data förblir silo.

Lösningsöversikt

SageMaker JumpStart ger tillgång till många LLM:er, och Slack väljer rätt FM:er som passar deras användningsfall. Eftersom dessa modeller finns på Slacks ägda AWS-infrastruktur, lämnar inte data som skickas till modeller under anropet Slacks AWS-infrastruktur. Dessutom, för att tillhandahålla en säker lösning, krypteras data som skickas för att anropa SageMaker-modeller under överföring. Data som skickas till SageMaker JumpStart-slutpunkter för att anropa modeller används inte för att träna basmodeller. SageMaker JumpStart låter Slack stödja höga standarder för säkerhet och datasekretess, samtidigt som de använder toppmoderna modeller som hjälper Slack AI att prestera optimalt för Slack-kunder.

SageMaker JumpStart-slutpunkter som betjänar Slack affärsapplikationer drivs av AWS-instanser. SageMaker stöder en brett utbud av instanstyper för modelldistribution, vilket gör att Slack kan välja den instans som är bäst lämpad för att stödja latens- och skalbarhetskrav för Slack AI-användningsfall. Slack AI har tillgång till multi-GPU-baserade instanser för att vara värd för deras SageMaker JumpStart-modeller. Flera GPU-instanser tillåter att varje instans stödjer Slack AI:s slutpunkt för att vara värd för flera kopior av en modell. Detta hjälper till att förbättra resursutnyttjandet och minska kostnaderna för modelldistribution. För mer information, se Amazon SageMaker lägger till nya slutledningsfunktioner för att hjälpa till att minska implementeringskostnader och latens för grundmodeller.

Följande diagram illustrerar lösningsarkitekturen.

För att använda instanserna mest effektivt och stödja kraven på samtidighet och latens, använde Slack SageMaker-erbjudna routingstrategier med sina SageMaker-slutpunkter. Som standard distribuerar en SageMaker-slutpunkt enhetligt inkommande förfrågningar till ML-instanser med hjälp av en round-robin-algoritm routingstrategi som kallas RANDOM. Men med generativa AI-arbetsbelastningar kan förfrågningar och svar vara extremt varierande, och det är önskvärt att lastbalansera genom att överväga kapaciteten och utnyttjandet av instansen snarare än slumpmässig lastbalansering. För att effektivt distribuera förfrågningar över instanser som backar upp slutpunkterna använder Slack LEAST_OUTSTANDING_REQUESTS (LAR) routingstrategi. Denna strategi dirigerar förfrågningar till de specifika instanserna som har mer kapacitet att behandla förfrågningar istället för att slumpmässigt välja någon tillgänglig instans. LAR-strategin ger en mer enhetlig lastbalansering och resursutnyttjande. Som ett resultat märkte Slack AI över en 39 % fördröjningsminskning i deras p95 latensnummer när de aktiverade LEAST_OUTSTANDING_REQUESTS jämfört med RANDOM.

För mer information om SageMakers routingstrategier, se Minimera inferensfördröjning i realtid genom att använda Amazon SageMakers routingstrategier.

Slutsats

Slack levererar inbyggda generativa AI-funktioner som hjälper deras kunder att bli mer produktiva och enkelt utnyttja den samlade kunskap som är inbäddad i deras Slack-konversationer. Med snabb tillgång till ett stort urval av FM:er och avancerade lastbalanseringsfunktioner som är värd i dedikerade instanser genom SageMaker JumpStart, kan Slack AI tillhandahålla rika generativa AI-funktioner på ett mer robust och snabbare sätt, samtidigt som Slacks förtroende och säkerhetsstandarder upprätthålls.

Läs mer om SageMaker JumpStart, Slack AI och hur Slack-teamet byggde Slack AI för att vara säkert och privat. Lämna dina tankar och frågor i kommentarsfältet.

---

Om författarna

Jackie Rocca är VP of Product på Slack, där hon övervakar visionen och utförandet av Slack AI, som för generativ AI inbyggt och säkert in i Slacks användarupplevelse. Nu har hon ett uppdrag att hjälpa kunder att accelerera sin produktivitet och få ut ännu mer värde av sina samtal, data och samlade kunskaper med generativ AI. Innan hon började på Slack var Jackie produktchef på Google i mer än sex år, där hon hjälpte till att lansera och växa Youtube TV. Jackie är baserad i San Francisco Bay Area.

Rachna Chadha är en Principal Solutions Architect AI/ML i Strategic Accounts på AWS. Rachna är en optimist som tror att den etiska och ansvarsfulla användningen av AI kan förbättra samhället i framtiden och ge ekonomiskt och socialt välstånd. På fritiden gillar Rachna att umgås med sin familj, vandra och lyssna på musik.

Marc Karp är en ML-arkitekt med Amazon SageMaker Service-teamet. Han fokuserar på att hjälpa kunder att designa, distribuera och hantera ML-arbetsbelastningar i stor skala. På fritiden tycker han om att resa och utforska nya platser.

Maninder (Mani) Kaur är AI/ML-specialistledare för strategiska ISV:er på AWS. Med sin kund-först-strategi hjälper Mani strategiska kunder att forma sin AI/ML-strategi, driva på innovation och påskynda sin AI/ML-resa. Mani är en övertygad om etisk och ansvarsfull AI och strävar efter att se till att hennes kunders AI-lösningar överensstämmer med dessa principer.

Gene Ting är en Principal Solutions Architect på AWS. Han är fokuserad på att hjälpa företagskunder att bygga och driva arbetsbelastningar säkert på AWS. På sin fritid tycker Gene om att lära barn teknik och sport, samt att följa det senaste om cybersäkerhet.

Alan Tan är en Senior Product Manager hos SageMaker, som leder arbetet med att slutföra stora modeller. Han brinner för att tillämpa maskininlärning på analysområdet. Utanför jobbet tycker han om att vara utomhus.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://aws.amazon.com/blogs/machine-learning/slack-delivers-native-and-secure-generative-ai-powered-by-amazon-sagemaker-jumpstart/