Slack zapewnia natywną i bezpieczną generatywną sztuczną inteligencję obsługiwaną przez Amazon SageMaker JumpStart | Usługi internetowe Amazona

Współautorem tego posta jest Jackie Rocca, wiceprezes ds. produktu, AI w Slack

Slack to miejsce, w którym toczy się praca. To platforma do pracy oparta na sztucznej inteligencji, która łączy ludzi, rozmowy, aplikacje i systemy w jednym miejscu. Z nowo wprowadzonym Słaba sztuczna inteligencja— zaufane, natywne rozwiązanie oparte na sztucznej inteligencji (AI), dostępne bezpośrednio w aplikacji Slack — użytkownicy mogą wyświetlać informacje i ustalać ich priorytety, dzięki czemu mogą się skupić i wykonywać najbardziej produktywną pracę.

Z radością ogłaszamy, że Slack, firma należąca do Salesforce, nawiązała współpracę Amazon SageMaker JumpStart aby wzmocnić funkcje wstępnego wyszukiwania i podsumowania Slack AI oraz zapewnić Slackowi zabezpieczenia umożliwiające bezpieczniejsze korzystanie z dużych modeli językowych (LLM). Slack współpracował z SageMaker JumpStart w celu hostowania wiodących w branży zewnętrznych rozwiązań LLM, aby dane nie były udostępniane infrastrukturze należącej do zewnętrznych dostawców modeli.

Dzięki temu dane klientów są zawsze przechowywane w Slacku i przestrzegane są te same praktyki bezpieczeństwa i standardy zgodności, których klienci oczekują od samego Slacka. Slack też korzysta Amazon Sage Maker możliwości wnioskowania dla zaawansowanych strategii routingu w celu skalowania rozwiązania do klientów przy optymalnej wydajności, opóźnieniu i przepustowości.

„Dzięki Amazon SageMaker JumpStart Slack może uzyskać dostęp do najnowocześniejszych modeli podstawowych obsługujących Slack AI, traktując jednocześnie bezpieczeństwo i prywatność. Klienci Slack mogą teraz inteligentniej wyszukiwać, błyskawicznie podsumowywać rozmowy i osiągać maksymalną produktywność.

– Jackie Rocca, wiceprezes ds. produktu, AI w Slack

Modele podstawowe w SageMaker JumpStart

SageMaker JumpStart to centrum uczenia maszynowego (ML), które może przyspieszyć Twoją podróż do ML. Dzięki SageMaker JumpStart możesz szybko oceniać, porównywać i wybierać modele podstawowe (FM) w oparciu o predefiniowane wskaźniki jakości i odpowiedzialności w celu wykonywania zadań takich jak podsumowywanie artykułów i generowanie obrazów. Wstępnie wyszkolone modele można w pełni dostosować do konkretnego przypadku użycia danych i można je bez wysiłku wdrożyć w środowisku produkcyjnym za pomocą interfejsu użytkownika lub zestawu SDK. Ponadto możesz uzyskać dostęp do gotowych rozwiązań w celu rozwiązywania typowych przypadków użycia i udostępniania artefaktów ML, w tym modeli ML i notatników, w swojej organizacji, aby przyspieszyć tworzenie i wdrażanie modeli ML. Żadne dane nie są używane do uczenia podstawowych modeli. Wszystkie dane są szyfrowane i nigdy nie są udostępniane zewnętrznym dostawcom, więc możesz mieć pewność, że Twoje dane pozostaną prywatne i poufne.

Zapoznaj się z Strona modelu SageMaker JumpStart dla dostępnych modeli.

Słaba sztuczna inteligencja

Slack uruchomił Slack AI, aby zapewnić natywne możliwości generatywnej sztucznej inteligencji, dzięki czemu klienci mogą łatwo znajdować i szybko wykorzystywać duże ilości informacji, co pozwala im uzyskać jeszcze większą wartość ze wspólnej wiedzy w Slack. Na przykład użytkownicy mogą zadać pytanie prostym językiem i natychmiast uzyskać jasne i zwięzłe odpowiedzi dzięki ulepszonemu wyszukiwaniu. Dzięki podsumowaniom rozmów mogą jednym kliknięciem nadrobić zaległości w kanałach i wątkach. Dzięki nowo wprowadzonym podsumowaniom mają także dostęp do spersonalizowanych, codziennych podsumowań tego, co dzieje się na wybranych kanałach.

Ponieważ zaufanie jest najważniejszą wartością Slacka, Slack AI działa w infrastrukturze klasy korporacyjnej, którą zbudowali na platformie AWS, zachowując te same zasady praktyki bezpieczeństwa i standardy zgodności czego oczekują klienci. Slack AI został stworzony dla klientów dbających o bezpieczeństwo i został zaprojektowany tak, aby był bezpieczny już od samego początku — dane klientów pozostają w firmie, dane nie są wykorzystywane do celów szkoleniowych LLM, a dane pozostają silosowane.

Omówienie rozwiązania

SageMaker JumpStart zapewnia dostęp do wielu LLM, a Slack wybiera odpowiednie FM, które pasują do ich przypadków użycia. Ponieważ modele te są hostowane w infrastrukturze AWS firmy Slack, dane wysyłane do modeli podczas wywoływania nie opuszczają infrastruktury AWS firmy Slack. Dodatkowo, aby zapewnić bezpieczeństwo rozwiązania, dane wysyłane w celu wywołania modeli SageMaker są podczas przesyłania szyfrowane. Dane wysyłane do punktów końcowych SageMaker JumpStart w celu wywoływania modeli nie są wykorzystywane do uczenia modeli podstawowych. SageMaker JumpStart umożliwia Slackowi obsługę wysokich standardów bezpieczeństwa i prywatności danych, korzystając jednocześnie z najnowocześniejszych modeli, które pomagają Slack AI optymalnie działać dla klientów Slack.

Punkty końcowe SageMaker JumpStart obsługujące aplikacje biznesowe Slack są obsługiwane przez instancje AWS. SageMaker obsługuje m.in szeroka gama typów instancji do wdrażania modelu, co pozwala Slackowi wybrać instancję, która najlepiej spełnia wymagania dotyczące opóźnień i skalowalności w przypadkach użycia Slack AI. Slack AI ma dostęp do instancji opartych na wielu procesorach graficznych, w których można hostować modele SageMaker JumpStart. Wiele instancji GPU umożliwia każdej instancji obsługującej punkt końcowy Slack AI hostowanie wielu kopii modelu. Pomaga to poprawić wykorzystanie zasobów i zmniejszyć koszty wdrożenia modelu. Aby uzyskać więcej informacji, zobacz Amazon SageMaker dodaje nowe możliwości wnioskowania, aby pomóc zmniejszyć koszty wdrożenia modelu podstawowego i opóźnienia.

Poniższy schemat ilustruje architekturę rozwiązania.

Aby najskuteczniej wykorzystać instancje i spełnić wymagania dotyczące współbieżności i opóźnień, Slack zastosował strategie routingu oferowane przez SageMaker z punktami końcowymi SageMaker. Domyślnie punkt końcowy SageMaker równomiernie dystrybuuje przychodzące żądania do instancji ML przy użyciu strategii routingu algorytmu okrężnego zwanej RANDOM. Jednak w przypadku generatywnych obciążeń AI żądania i odpowiedzi mogą być bardzo zmienne, dlatego pożądane jest równoważenie obciążenia, biorąc pod uwagę pojemność i wykorzystanie instancji, a nie losowe równoważenie obciążenia. Aby skutecznie dystrybuować żądania pomiędzy instancjami obsługującymi punkty końcowe, Slack używa metody LEAST_OUTSTANDING_REQUESTS (LAR) strategia routingu. Ta strategia kieruje żądania do konkretnych instancji, które mają większą zdolność do przetwarzania żądań, zamiast losowo wybierać dowolne dostępne instancje. Strategia LAR zapewnia bardziej jednolite równoważenie obciążenia i wykorzystanie zasobów. W rezultacie Slack AI zauważyło ponad 39% zmniejszenie opóźnień w wartościach opóźnień p95 po włączeniu LEAST_OUTSTANDING_REQUESTS w porównaniu do RANDOM.

Aby uzyskać więcej informacji na temat strategii routingu SageMaker, zobacz Zminimalizuj opóźnienia wnioskowania w czasie rzeczywistym, korzystając ze strategii routingu Amazon SageMaker.

Wnioski

Slack zapewnia natywne możliwości generatywnej sztucznej inteligencji, które pomogą ich klientom zwiększyć produktywność i łatwo wykorzystać zbiorową wiedzę osadzoną w ich rozmowach na Slacku. Dzięki szybkiemu dostępowi do szerokiego wyboru FM i zaawansowanym możliwościom równoważenia obciążenia, które są hostowane w dedykowanych instancjach za pośrednictwem SageMaker JumpStart, Slack AI jest w stanie zapewnić bogate funkcje generatywnej sztucznej inteligencji w bardziej niezawodny i szybszy sposób, zachowując jednocześnie standardy zaufania i bezpieczeństwa Slack.

Dowiedz się więcej o: SageMaker Szybki start, Słaba sztuczna inteligencja i jak zespół Slack zbudował Slack AI tak, aby był bezpieczny i prywatny. Zostaw swoje przemyślenia i pytania w sekcji komentarzy.

---

O autorach

Jackie Rocca jest wiceprezesem ds. produktu w Slack, gdzie nadzoruje wizję i realizację Slack AI, która w sposób natywny i bezpieczny wprowadza generatywną sztuczną inteligencję do doświadczenia użytkownika Slack. Teraz jej misją jest pomaganie klientom w zwiększaniu ich produktywności i uzyskiwaniu jeszcze większej wartości z rozmów, danych i zbiorowej wiedzy dzięki generatywnej sztucznej inteligencji. Przed pracą w Slack Jackie przez ponad sześć lat była menedżerem produktu w Google, gdzie pomagała uruchamiać i rozwijać YouTube TV. Jackie mieszka w rejonie Zatoki San Francisco.

Rachna Czadha jest głównym architektem rozwiązań AI/ML w dziale Strategic Accounts w AWS. Rachna jest optymistą, który wierzy, że etyczne i odpowiedzialne korzystanie z AI może w przyszłości poprawić społeczeństwo i przynieść dobrobyt gospodarczy i społeczny. W wolnym czasie Rachna lubi spędzać czas z rodziną, spacerować i słuchać muzyki.

Marek Karp jest architektem ML w zespole Amazon SageMaker Service. Koncentruje się na pomaganiu klientom w projektowaniu, wdrażaniu i zarządzaniu obciążeniami ML na dużą skalę. W wolnym czasie lubi podróżować i odkrywać nowe miejsca.

Maninder (Mani) Kaur jest głównym specjalistą AI/ML dla strategicznych niezależnych dostawców oprogramowania w AWS. Dzięki podejściu skupiającemu się na kliencie Mani pomaga klientom strategicznym kształtować ich strategię AI/ML, napędzać innowacje i przyspieszać ich podróż w zakresie AI/ML. Mani mocno wierzy w etyczną i odpowiedzialną sztuczną inteligencję i stara się zapewnić, że rozwiązania AI jej klientów są zgodne z tymi zasadami.

Gene Ting jest głównym architektem rozwiązań w AWS. Koncentruje się na pomaganiu klientom korporacyjnym w bezpiecznym budowaniu i obsłudze obciążeń w AWS. W wolnym czasie Gene lubi uczyć dzieci technologii i sportu, a także śledzić najnowsze informacje na temat cyberbezpieczeństwa.

Alana Tana jest starszym menedżerem produktu w firmie SageMaker, kierując pracami nad wnioskowaniem na dużych modelach. Pasjonuje go zastosowanie uczenia maszynowego w obszarze analityki. Poza pracą lubi przebywać na świeżym powietrzu.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://aws.amazon.com/blogs/machine-learning/slack-delivers-native-and-secure-generative-ai-powered-by-amazon-sagemaker-jumpstart/