Slack offre une IA générative native et sécurisée optimisée par Amazon SageMaker JumpStart | Services Web Amazon

Cet article est co-écrit par Jackie Rocca, vice-présidente des produits, IA chez Slack

Slack est l'endroit où se déroule le travail. Il s'agit d'une plate-forme de travail basée sur l'IA qui connecte les personnes, les conversations, les applications et les systèmes en un seul endroit. Avec le nouveau lancement IA Slack— une expérience d'intelligence artificielle (IA) générative, native et fiable, disponible directement dans Slack — les utilisateurs peuvent faire apparaître et hiérarchiser les informations afin de pouvoir se concentrer et effectuer leur travail le plus productif.

Nous sommes ravis d'annoncer que Slack, une société Salesforce, a collaboré avec Amazon SageMaker JumpStart pour alimenter les fonctionnalités de recherche et de synthèse initiales de Slack AI et fournir des garanties permettant à Slack d'utiliser les grands modèles linguistiques (LLM) de manière plus sécurisée. Slack a travaillé avec SageMaker JumpStart pour héberger des LLM tiers de pointe afin que les données ne soient pas partagées avec l'infrastructure appartenant à des fournisseurs de modèles tiers.

Cela conserve les données des clients dans Slack à tout moment et respecte les mêmes pratiques de sécurité et normes de conformité que celles que les clients attendent de Slack lui-même. Slack utilise également Amazon Sage Maker des capacités d'inférence pour des stratégies de routage avancées afin de faire évoluer la solution vers les clients avec des performances, une latence et un débit optimaux.

« Avec Amazon SageMaker JumpStart, Slack peut accéder à des modèles de base de pointe pour alimenter Slack AI, tout en donnant la priorité à la sécurité et à la confidentialité. Les clients Slack peuvent désormais effectuer des recherches plus intelligentes, résumer les conversations instantanément et être plus productifs.

– Jackie Rocca, vice-président produit, IA chez Slack

Modèles de fondation dans SageMaker JumpStart

SageMaker JumpStart est un hub d'apprentissage automatique (ML) qui peut vous aider à accélérer votre parcours ML. Avec SageMaker JumpStart, vous pouvez évaluer, comparer et sélectionner rapidement des modèles de base (FM) en fonction de mesures de qualité et de responsabilité prédéfinies pour effectuer des tâches telles que la synthèse d'articles et la génération d'images. Les modèles pré-entraînés sont entièrement personnalisables pour votre cas d'utilisation avec vos données, et vous pouvez les déployer sans effort en production avec l'interface utilisateur ou le SDK. De plus, vous pouvez accéder à des solutions prédéfinies pour résoudre des cas d'utilisation courants et partager des artefacts ML, notamment des modèles et des notebooks ML, au sein de votre organisation afin d'accélérer la création et le déploiement de modèles ML. Aucune de vos données n'est utilisée pour entraîner les modèles sous-jacents. Toutes les données sont cryptées et ne sont jamais partagées avec des fournisseurs tiers afin que vous puissiez être sûr que vos données restent privées et confidentielles.

Jetez un coup d'œil au Page du modèle SageMaker JumpStart pour les modèles disponibles.

IA Slack

Slack a lancé Slack AI pour fournir des capacités natives d'IA générative afin que les clients puissent facilement trouver et consommer rapidement de gros volumes d'informations, leur permettant ainsi de tirer encore plus de valeur de leurs connaissances partagées dans Slack. Par exemple, les utilisateurs peuvent poser une question dans un langage simple et obtenir instantanément des réponses claires et concises grâce à une recherche améliorée. Ils peuvent suivre les chaînes et les fils de discussion en un clic grâce aux résumés des conversations. Et ils peuvent accéder à des résumés quotidiens personnalisés de ce qui se passe sur certaines chaînes grâce aux récapitulatifs récemment lancés.

Parce que la confiance est la valeur la plus importante de Slack, Slack AI fonctionne sur une infrastructure de niveau entreprise construite sur AWS, respectant les mêmes principes. pratiques de sécurité et normes de conformité que les clients attendent. Slack AI est conçu pour les clients soucieux de leur sécurité et est conçu pour être sécurisé dès leur conception : les données des clients restent en interne, les données ne sont pas utilisées à des fins de formation LLM et les données restent cloisonnées.

Vue d'ensemble de la solution

SageMaker JumpStart donne accès à de nombreux LLM et Slack sélectionne les bons FM adaptés à leurs cas d'utilisation. Étant donné que ces modèles sont hébergés sur l'infrastructure AWS appartenant à Slack, les données envoyées aux modèles lors de l'appel ne quittent pas l'infrastructure AWS de Slack. De plus, pour fournir une solution sécurisée, les données envoyées pour appeler les modèles SageMaker sont cryptées en transit. Les données envoyées aux points de terminaison SageMaker JumpStart pour appeler des modèles ne sont pas utilisées pour entraîner les modèles de base. SageMaker JumpStart permet à Slack de prendre en charge des normes élevées en matière de sécurité et de confidentialité des données, tout en utilisant des modèles de pointe qui aident Slack AI à fonctionner de manière optimale pour les clients Slack.

Les points de terminaison SageMaker JumpStart desservant les applications métier Slack sont alimentés par des instances AWS. SageMaker prend en charge un large gamme de types d'instances pour le déploiement de modèles, ce qui permet à Slack de choisir l'instance la mieux adaptée pour prendre en charge les exigences de latence et d'évolutivité des cas d'utilisation de Slack AI. Slack AI a accès à des instances basées sur plusieurs GPU pour héberger ses modèles SageMaker JumpStart. Plusieurs instances GPU permettent à chaque instance prenant en charge le point de terminaison de Slack AI d'héberger plusieurs copies d'un modèle. Cela permet d'améliorer l'utilisation des ressources et de réduire les coûts de déploiement du modèle. Pour plus d'informations, reportez-vous à Amazon SageMaker ajoute de nouvelles fonctionnalités d'inférence pour aider à réduire les coûts et la latence de déploiement du modèle de base.

Le diagramme suivant illustre l'architecture de la solution.

Pour utiliser les instances le plus efficacement possible et répondre aux exigences de concurrence et de latence, Slack a utilisé les stratégies de routage proposées par SageMaker avec ses points de terminaison SageMaker. Par défaut, un point de terminaison SageMaker distribue uniformément les requêtes entrantes aux instances ML à l'aide d'une stratégie de routage d'algorithme à tour de rôle appelée RANDOM. Cependant, avec les charges de travail d'IA générative, les demandes et les réponses peuvent être extrêmement variables, et il est souhaitable d'équilibrer la charge en tenant compte de la capacité et de l'utilisation de l'instance plutôt que d'un équilibrage de charge aléatoire. Pour répartir efficacement les requêtes entre les instances soutenant les points de terminaison, Slack utilise le LEAST_OUTSTANDING_REQUESTS (LAR) stratégie de routage. Cette stratégie achemine les requêtes vers les instances spécifiques qui ont plus de capacité à traiter les requêtes au lieu de sélectionner au hasard n'importe quelle instance disponible. La stratégie LAR fournit un équilibrage de charge et une utilisation des ressources plus uniformes. En conséquence, Slack AI a remarqué une diminution de la latence de plus de 39 % de ses chiffres de latence p95 lors de l'activation LEAST_OUTSTANDING_REQUESTS par rapport à ALÉATOIRE.

Pour plus de détails sur les stratégies de routage SageMaker, voir Minimisez la latence d'inférence en temps réel à l'aide des stratégies de routage Amazon SageMaker.

Conclusion

Slack propose des fonctionnalités natives d'IA générative qui aideront leurs clients à être plus productifs et à exploiter facilement les connaissances collectives intégrées dans leurs conversations Slack. Avec un accès rapide à une large sélection de FM et des capacités avancées d'équilibrage de charge hébergées dans des instances dédiées via SageMaker JumpStart, Slack AI est en mesure de fournir de riches fonctionnalités d'IA générative de manière plus robuste et plus rapide, tout en respectant les normes de confiance et de sécurité de Slack.

En savoir plus sur SageMaker JumpStart, IA Slack ainsi que les comment l'équipe Slack a construit Slack AI pour qu'il soit sécurisé et privé. Laissez vos réflexions et questions dans la section commentaires.

---

À propos des auteurs

Jackie Rocca est vice-présidente des produits chez Slack, où elle supervise la vision et l'exécution de Slack AI, qui introduit l'IA générative de manière native et sécurisée dans l'expérience utilisateur de Slack. Elle a désormais pour mission d'aider les clients à accélérer leur productivité et à tirer encore plus de valeur de leurs conversations, données et connaissances collectives grâce à l'IA générative. Avant de rejoindre Slack, Jackie a été chef de produit chez Google pendant plus de six ans, où elle a contribué au lancement et au développement de Youtube TV. Jackie est basée dans la région de la baie de San Francisco.

Rachna Chadha est architecte principal de solutions AI/ML dans les comptes stratégiques chez AWS. Rachna est une optimiste qui croit que l'utilisation éthique et responsable de l'IA peut améliorer la société à l'avenir et apporter la prospérité économique et sociale. Dans ses temps libres, Rachna aime passer du temps avec sa famille, faire de la randonnée et écouter de la musique.

Marc Karpe est un architecte ML au sein de l'équipe Amazon SageMaker Service. Il se concentre sur l'aide aux clients pour la conception, le déploiement et la gestion des charges de travail ML à grande échelle. Dans ses temps libres, il aime voyager et explorer de nouveaux endroits.

Maninder (Mani) Kaur est le spécialiste principal de l'IA/ML pour les ISV stratégiques chez AWS. Avec son approche axée sur le client, Mani aide les clients stratégiques à façonner leur stratégie IA/ML, à alimenter l'innovation et à accélérer leur parcours IA/ML. Mani croit fermement en une IA éthique et responsable, et s'efforce de faire en sorte que les solutions d'IA de ses clients soient conformes à ces principes.

Gène Ting est architecte de solutions principal chez AWS. Il s'efforce d'aider les entreprises clientes à créer et à exploiter des charges de travail en toute sécurité sur AWS. Pendant son temps libre, Gene aime enseigner la technologie et le sport aux enfants, ainsi que suivre les dernières nouveautés en matière de cybersécurité.

Alan Tan est chef de produit senior chez SageMaker, dirigeant les efforts sur l'inférence de grands modèles. Il est passionné par l'application de l'apprentissage automatique au domaine de l'analyse. En dehors du travail, il aime le plein air.

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://aws.amazon.com/blogs/machine-learning/slack-delivers-native-and-secure-generative-ai-powered-by-amazon-sagemaker-jumpstart/