Slack liefert native und sichere generative KI, unterstützt von Amazon SageMaker JumpStart | Amazon Web Services

Dieser Beitrag wurde von Jackie Rocca, VP of Product, AI bei Slack, mitverfasst

In Slack wird gearbeitet. Es handelt sich um die KI-gestützte Plattform für die Arbeit, die Menschen, Gespräche, Apps und Systeme an einem Ort miteinander verbindet. Mit dem neu eingeführten Slack-KI– eine vertrauenswürdige, native, generative künstliche Intelligenz (KI)-Erfahrung, die direkt in Slack verfügbar ist – Benutzer können Informationen anzeigen und priorisieren, damit sie ihren Fokus finden und ihre produktivste Arbeit erledigen können.

Wir freuen uns, die Zusammenarbeit mit Slack, einem Salesforce-Unternehmen, bekannt geben zu können Amazon SageMaker-JumpStart um die anfänglichen Such- und Zusammenfassungsfunktionen von Slack AI zu unterstützen und Schutzmaßnahmen für Slack bereitzustellen, um große Sprachmodelle (LLMs) sicherer zu verwenden. Slack arbeitete mit SageMaker JumpStart zusammen, um branchenführende LLMs von Drittanbietern zu hosten, sodass Daten nicht mit der Infrastruktur von Drittanbietern von Modellen geteilt werden.

Dadurch bleiben Kundendaten jederzeit in Slack gespeichert und es werden dieselben Sicherheitspraktiken und Compliance-Standards eingehalten, die Kunden von Slack selbst erwarten. Slack nutzt auch Amazon Sage Maker Inferenzfunktionen für erweiterte Routing-Strategien, um die Lösung für Kunden mit optimaler Leistung, Latenz und Durchsatz zu skalieren.

„Mit Amazon SageMaker JumpStart kann Slack auf hochmoderne Basismodelle zugreifen, um die Slack-KI zu unterstützen und dabei Sicherheit und Datenschutz in den Vordergrund zu stellen. Slack-Kunden können jetzt intelligenter suchen, Gespräche sofort zusammenfassen und so produktiver sein.“

– Jackie Rocca, VP Product, AI bei Slack

Foundation-Modelle in SageMaker JumpStart

SageMaker JumpStart ist ein Hub für maschinelles Lernen (ML), der Ihnen helfen kann, Ihre ML-Reise zu beschleunigen. Mit SageMaker JumpStart können Sie Basismodelle (FMs) schnell auf der Grundlage vordefinierter Qualitäts- und Verantwortungsmetriken bewerten, vergleichen und auswählen, um Aufgaben wie Artikelzusammenfassung und Bildgenerierung durchzuführen. Vorab trainierte Modelle sind mit Ihren Daten vollständig an Ihren Anwendungsfall anpassbar und Sie können sie mit der Benutzeroberfläche oder dem SDK mühelos in der Produktion bereitstellen. Darüber hinaus können Sie auf vorgefertigte Lösungen zugreifen, um gängige Anwendungsfälle zu lösen und ML-Artefakte, einschließlich ML-Modelle und Notebooks, innerhalb Ihrer Organisation zu teilen, um die Erstellung und Bereitstellung von ML-Modellen zu beschleunigen. Keine Ihrer Daten wird zum Trainieren der zugrunde liegenden Modelle verwendet. Alle Daten werden verschlüsselt und niemals an Drittanbieter weitergegeben, sodass Sie darauf vertrauen können, dass Ihre Daten privat und vertraulich bleiben.

Probieren Sie auch die SageMaker JumpStart-Modellseite für verfügbare Modelle.

Slack-KI

Slack hat Slack AI eingeführt, um native generative KI-Funktionen bereitzustellen, damit Kunden große Informationsmengen schnell finden und nutzen können, sodass sie noch mehr Nutzen aus ihrem geteilten Wissen in Slack ziehen können. Benutzer können beispielsweise eine Frage in einfacher Sprache stellen und erhalten mit der erweiterten Suche sofort klare und prägnante Antworten. Mit Konversationszusammenfassungen können sie sich mit einem Klick über Kanäle und Threads informieren. Und mit den neu eingeführten Zusammenfassungen können sie auf personalisierte, tägliche Zusammenfassungen der Ereignisse in ausgewählten Kanälen zugreifen.

Da Vertrauen der wichtigste Wert von Slack ist, läuft Slack AI auf einer unternehmenstauglichen Infrastruktur, die sie auf AWS aufgebaut haben, und hält diesen Wert aufrecht Sicherheitspraktiken und Compliance-Standards die Kunden erwarten. Slack AI wurde für sicherheitsbewusste Kunden entwickelt und ist von Natur aus sicher – Kundendaten bleiben intern, Daten werden nicht für LLM-Schulungszwecke verwendet und Daten bleiben isoliert.

Lösungsüberblick

SageMaker JumpStart bietet Zugriff auf viele LLMs und Slack wählt die richtigen FMs aus, die zu ihren Anwendungsfällen passen. Da diese Modelle auf der Slack-eigenen AWS-Infrastruktur gehostet werden, verlassen die beim Aufruf an Modelle gesendeten Daten nicht die AWS-Infrastruktur von Slack. Um eine sichere Lösung bereitzustellen, werden außerdem die zum Aufrufen von SageMaker-Modellen gesendeten Daten während der Übertragung verschlüsselt. Die zum Aufrufen von Modellen an SageMaker JumpStart-Endpunkte gesendeten Daten werden nicht zum Trainieren von Basismodellen verwendet. SageMaker JumpStart ermöglicht es Slack, hohe Standards für Sicherheit und Datenschutz zu unterstützen und gleichzeitig modernste Modelle zu verwenden, die Slack AI dabei helfen, für Slack-Kunden eine optimale Leistung zu erbringen.

SageMaker JumpStart-Endpunkte, die Slack-Geschäftsanwendungen bedienen, werden von AWS-Instanzen betrieben. SageMaker unterstützt a große Auswahl an Instanztypen für die Modellbereitstellung, wodurch Slack die Instanz auswählen kann, die am besten zur Unterstützung der Latenz- und Skalierbarkeitsanforderungen von Slack-KI-Anwendungsfällen geeignet ist. Slack AI hat Zugriff auf Multi-GPU-basierte Instanzen, um seine SageMaker JumpStart-Modelle zu hosten. Mehrere GPU-Instanzen ermöglichen es jeder Instanz, die den Endpunkt von Slack AI unterstützt, mehrere Kopien eines Modells zu hosten. Dies trägt dazu bei, die Ressourcennutzung zu verbessern und die Kosten für die Modellbereitstellung zu senken. Weitere Informationen finden Sie unter Amazon SageMaker fügt neue Inferenzfunktionen hinzu, um die Kosten und Latenz für die Bereitstellung des Basismodells zu reduzieren.

Das folgende Diagramm zeigt die Lösungsarchitektur.

Um die Instanzen möglichst effektiv zu nutzen und die Parallelitäts- und Latenzanforderungen zu unterstützen, nutzte Slack die von SageMaker angebotenen Routing-Strategien mit seinen SageMaker-Endpunkten. Standardmäßig verteilt ein SageMaker-Endpunkt eingehende Anforderungen mithilfe einer Round-Robin-Algorithmus-Routing-Strategie namens „Round-Robin-Algorithmus“ gleichmäßig an ML-Instanzen RANDOM. Bei generativen KI-Arbeitslasten können Anforderungen und Antworten jedoch äußerst unterschiedlich sein, und es ist wünschenswert, den Lastausgleich unter Berücksichtigung der Kapazität und Auslastung der Instanz statt eines zufälligen Lastausgleichs vorzunehmen. Um Anfragen effektiv auf die Instanzen zu verteilen, die die Endpunkte unterstützen, verwendet Slack die LEAST_OUTSTANDING_REQUESTS (LAR) Routing-Strategie. Diese Strategie leitet Anfragen an die spezifischen Instanzen weiter, die über mehr Kapazität zur Verarbeitung von Anfragen verfügen, anstatt zufällig eine verfügbare Instanz auszuwählen. Die LAR-Strategie sorgt für eine gleichmäßigere Lastverteilung und Ressourcennutzung. Infolgedessen stellte Slack AI bei der Aktivierung eine Latenzverringerung der p39-Latenzwerte um über 95 % fest LEAST_OUTSTANDING_REQUESTS im Vergleich zu RANDOM.

Weitere Einzelheiten zu SageMaker-Routing-Strategien finden Sie unter Minimieren Sie die Echtzeit-Inferenzlatenz durch den Einsatz von Amazon SageMaker-Routing-Strategien.

Zusammenfassung

Slack stellt native generative KI-Funktionen bereit, die seinen Kunden dabei helfen, produktiver zu sein und einfacher auf das kollektive Wissen zuzugreifen, das in ihren Slack-Konversationen eingebettet ist. Mit schnellem Zugriff auf eine große Auswahl an FMs und erweiterten Lastausgleichsfunktionen, die über SageMaker JumpStart in dedizierten Instanzen gehostet werden, ist Slack AI in der Lage, umfassende generative KI-Funktionen robuster und schneller bereitzustellen und gleichzeitig die Vertrauens- und Sicherheitsstandards von Slack aufrechtzuerhalten.

Erfahren Sie mehr darüber SageMaker-JumpStart, Slack-KI machen wie das Slack-Team Slack AI so aufgebaut hat, dass es sicher und privat ist. Hinterlassen Sie Ihre Gedanken und Fragen im Kommentarbereich.

---

Über die Autoren

Jackie Rocca ist VP of Product bei Slack, wo sie die Vision und Umsetzung von Slack AI überwacht, das generative KI nativ und sicher in die Benutzererfahrung von Slack einbringt. Jetzt hat sie es sich zur Aufgabe gemacht, Kunden dabei zu helfen, ihre Produktivität zu steigern und mit generativer KI noch mehr Wert aus ihren Gesprächen, Daten und ihrem kollektiven Wissen zu ziehen. Vor ihrer Zeit bei Slack war Jackie mehr als sechs Jahre lang Produktmanagerin bei Google und half dort bei der Einführung und dem Ausbau von YouTube TV. Jackie lebt in der San Francisco Bay Area.

Rachna Chadha ist Principal Solutions Architect AI/ML in Strategic Accounts bei AWS. Rachna ist eine Optimistin, die glaubt, dass der ethische und verantwortungsvolle Einsatz von KI die Gesellschaft in Zukunft verbessern und wirtschaftlichen und sozialen Wohlstand bringen kann. In ihrer Freizeit verbringt Rachna gerne Zeit mit ihrer Familie, wandert und hört Musik.

Markus Karp ist ein ML-Architekt im Amazon SageMaker Service-Team. Er konzentriert sich darauf, Kunden dabei zu helfen, ML-Workloads in großem Umfang zu entwerfen, bereitzustellen und zu verwalten. In seiner Freizeit reist er gerne und entdeckt neue Orte.

Maninder (Mani) Kaur ist der AI/ML-Spezialist für strategische ISVs bei AWS. Mit ihrem kundenorientierten Ansatz hilft Mani strategischen Kunden dabei, ihre KI/ML-Strategie zu gestalten, Innovationen voranzutreiben und ihre KI/ML-Reise zu beschleunigen. Mani glaubt fest an ethische und verantwortungsvolle KI und ist bestrebt, sicherzustellen, dass die KI-Lösungen ihrer Kunden diesen Grundsätzen entsprechen.

Gene Ting ist Principal Solutions Architect bei AWS. Er konzentriert sich darauf, Unternehmenskunden dabei zu helfen, Workloads sicher auf AWS aufzubauen und zu betreiben. In seiner Freizeit bringt Gene Kindern gerne Technik und Sport bei und verfolgt die neuesten Entwicklungen zum Thema Cybersicherheit.

Alan Tan ist Senior Product Manager bei SageMaker und leitet die Bemühungen zur Inferenz großer Modelle. Er setzt sich leidenschaftlich für die Anwendung von maschinellem Lernen im Bereich Analytics ein. Außerhalb der Arbeit genießt er die Natur.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://aws.amazon.com/blogs/machine-learning/slack-delivers-native-and-secure-generative-ai-powered-by-amazon-sagemaker-jumpstart/