Slack은 Amazon SageMaker JumpStart로 구동되는 기본적이고 안전한 생성 AI를 제공합니다 | 아마존 웹 서비스

이 게시물은 Slack의 AI 제품 담당 부사장인 Jackie Rocca가 공동 작성했습니다.

Slack은 작업이 이루어지는 곳입니다. 사람, 대화, 앱, 시스템을 한 곳에서 연결하는 AI 기반 업무용 플랫폼입니다. 새롭게 출시된 제품으로 슬랙 AI—Slack에서 직접 사용할 수 있는 신뢰할 수 있는 기본 생성 인공 지능(AI) 경험 — 사용자는 정보를 표면화하고 우선 순위를 지정하여 집중할 수 있는 위치를 찾고 가장 생산적인 작업을 수행할 수 있습니다.

Salesforce 회사인 Slack이 Amazon SageMaker 점프스타트 Slack AI의 초기 검색 및 요약 기능을 강화하고 Slack이 LLM(대형 언어 모델)을 보다 안전하게 사용할 수 있도록 보호 장치를 제공합니다. Slack은 SageMaker JumpStart와 협력하여 업계 최고의 타사 LLM을 호스팅하여 데이터가 타사 모델 제공업체가 소유한 인프라와 공유되지 않도록 했습니다.

이는 고객 데이터를 항상 Slack에 보관하고 고객이 Slack 자체에서 기대하는 것과 동일한 보안 관행 및 규정 준수 표준을 유지합니다. Slack도 사용 중입니다. 아마존 세이지 메이커 최적의 성능, 대기 시간 및 처리량을 통해 고객에 맞게 솔루션을 확장하는 고급 라우팅 전략을 위한 추론 기능입니다.

“Amazon SageMaker JumpStart를 통해 Slack은 최첨단 기반 모델에 액세스하여 Slack AI를 강화하는 동시에 보안과 개인 정보 보호를 우선시할 수 있습니다. 이제 Slack 고객은 더욱 스마트하게 검색하고 대화를 즉시 요약하며 생산성을 극대화할 수 있습니다.”

– Jackie Rocca, Slack AI 제품 부사장

SageMaker JumpStart의 기초 모델

SageMaker JumpStart는 ML 여정을 가속화하는 데 도움이 될 수 있는 기계 학습(ML) 허브입니다. SageMaker JumpStart를 사용하면 사전 정의된 품질 및 책임 지표를 기반으로 기초 모델(FM)을 신속하게 평가, 비교 및 ​​선택하여 기사 요약 및 이미지 생성과 같은 작업을 수행할 수 있습니다. 사전 학습된 모델은 데이터 사용 사례에 맞게 완전히 사용자 정의할 수 있으며 사용자 인터페이스 또는 SDK를 사용하여 프로덕션에 쉽게 배포할 수 있습니다. 또한 사전 구축된 솔루션에 액세스하여 일반적인 사용 사례를 해결하고 조직 내에서 ML 모델 및 노트북을 포함한 ML 아티팩트를 공유하여 ML 모델 구축 및 배포를 가속화할 수 있습니다. 기본 모델을 훈련하는 데 데이터가 사용되지 않습니다. 모든 데이터는 암호화되며 제3자 공급업체와 절대 공유되지 않으므로 귀하의 데이터가 비공개 및 기밀로 유지된다는 것을 신뢰할 수 있습니다.

확인 SageMaker JumpStart 모델 페이지 사용 가능한 모델의 경우.

슬랙 AI

Slack은 Slack AI를 출시하여 고객이 대량의 정보를 쉽고 빠르게 찾고 소비할 수 있도록 기본 생성 AI 기능을 제공함으로써 Slack에서 공유된 지식을 통해 더 많은 가치를 얻을 수 있도록 했습니다. 예를 들어, 사용자는 일반 언어로 질문하고 향상된 검색을 통해 즉시 명확하고 간결한 답변을 얻을 수 있습니다. 대화 요약을 통해 한 번의 클릭으로 채널과 스레드를 따라잡을 수 있습니다. 또한 새로 출시된 요약을 통해 일부 채널에서 일어나는 일에 대한 개인화된 일일 요약에 액세스할 수 있습니다.

신뢰는 Slack의 가장 중요한 가치이기 때문에 Slack AI는 AWS를 기반으로 구축한 엔터프라이즈급 인프라에서 실행되며 동일한 가치를 유지합니다. 보안 관행 및 규정 준수 표준 고객이 기대하는 것. Slack AI는 보안에 민감한 고객을 위해 구축되었으며 설계상 보안을 유지하도록 설계되었습니다. 즉, 고객 데이터는 내부에 유지되고 LLM 교육 목적으로 사용되지 않으며 데이터는 사일로 상태로 유지됩니다.

솔루션 개요

SageMaker JumpStart는 많은 LLM에 대한 액세스를 제공하며 Slack은 사용 사례에 적합한 FM을 선택합니다. 이러한 모델은 Slack이 소유한 AWS 인프라에서 호스팅되기 때문에 호출 중에 모델로 전송된 데이터는 Slack의 AWS 인프라를 벗어나지 않습니다. 또한 보안 솔루션을 제공하기 위해 SageMaker 모델을 호출하기 위해 전송된 데이터는 전송 중에 암호화됩니다. 모델 호출을 위해 SageMaker JumpStart 엔드포인트로 전송된 데이터는 기본 모델을 훈련하는 데 사용되지 않습니다. SageMaker JumpStart를 사용하면 Slack이 보안 및 데이터 개인 정보 보호에 대한 높은 표준을 지원하는 동시에 Slack AI가 Slack 고객을 위해 최적으로 작동하도록 돕는 최첨단 모델을 사용할 수도 있습니다.

Slack 비즈니스 애플리케이션을 제공하는 SageMaker JumpStart 엔드포인트는 AWS 인스턴스로 구동됩니다. SageMaker는 다음을 지원합니다. 다양한 인스턴스 유형 모델 배포를 위해 Slack은 Slack AI 사용 사례의 지연 시간 및 확장성 요구 사항을 지원하는 데 가장 적합한 인스턴스를 선택할 수 있습니다. Slack AI는 SageMaker JumpStart 모델을 호스팅하기 위해 다중 GPU 기반 인스턴스에 액세스할 수 있습니다. 여러 GPU 인스턴스를 사용하면 Slack AI의 엔드포인트를 지원하는 각 인스턴스가 모델의 여러 복사본을 호스팅할 수 있습니다. 이는 리소스 활용도를 높이고 모델 배포 비용을 줄이는 데 도움이 됩니다. 자세한 내용은 다음을 참조하세요. Amazon SageMaker는 기초 모델 배포 비용과 지연 시간을 줄이는 데 도움이 되는 새로운 추론 기능을 추가합니다..

다음 다이어그램은 솔루션 아키텍처를 보여줍니다.

인스턴스를 가장 효과적으로 사용하고 동시성 및 지연 시간 요구 사항을 지원하기 위해 Slack은 SageMaker 엔드포인트와 함께 SageMaker에서 제공하는 라우팅 전략을 사용했습니다. 기본적으로 SageMaker 엔드포인트는 라운드 로빈 알고리즘 라우팅 전략을 사용하여 ML 인스턴스에 들어오는 요청을 균일하게 분산합니다. RANDOM. 하지만 제너레이티브 AI 워크로드의 경우 요청과 응답이 매우 가변적일 수 있으므로 무작위 로드 밸런싱보다는 인스턴스의 용량과 활용도를 고려하여 로드 밸런싱을 수행하는 것이 바람직합니다. 엔드포인트를 지원하는 인스턴스 전체에 요청을 효과적으로 배포하기 위해 Slack은 다음을 사용합니다. LEAST_OUTSTANDING_REQUESTS (LAR) 라우팅 전략. 이 전략은 사용 가능한 인스턴스를 무작위로 선택하는 대신 요청을 처리할 수 있는 용량이 더 많은 특정 인스턴스로 요청을 라우팅합니다. LAR 전략은 보다 균일한 로드 밸런싱과 리소스 활용도를 제공합니다. 결과적으로 Slack AI는 활성화 시 p39 대기 시간 수치가 95% 이상 감소한 것을 확인했습니다. LEAST_OUTSTANDING_REQUESTS RANDOM과 비교됩니다.

SageMaker 라우팅 전략에 대한 자세한 내용은 다음을 참조하십시오. Amazon SageMaker 라우팅 전략을 사용하여 실시간 추론 지연 시간을 최소화합니다..

결론

Slack은 고객이 생산성을 높이고 Slack 대화에 포함된 집단 지식을 쉽게 활용하는 데 도움이 되는 기본 생성 AI 기능을 제공하고 있습니다. SageMaker JumpStart를 통해 전용 인스턴스에서 호스팅되는 다양한 FM 및 고급 로드 밸런싱 기능에 빠르게 액세스할 수 있는 Slack AI는 Slack의 신뢰와 보안 표준을 유지하면서 더욱 강력하고 빠른 방식으로 풍부한 생성 AI 기능을 제공할 수 있습니다.

전단지에 포함된 링크에 대해 더 알아보기 세이지메이커 점프스타트, 슬랙 AI 및 Slack 팀이 안전하고 비공개적인 Slack AI를 구축한 방법. 의견 섹션에 생각과 질문을 남겨주세요.

저자에 관하여

재키 로카 Slack의 제품 담당 부사장으로 Slack의 사용자 경험에 기본적으로 안전하게 생성 AI를 제공하는 Slack AI의 비전과 실행을 감독합니다. 이제 그녀는 생성 AI를 통해 고객이 생산성을 가속화하고 대화, 데이터 및 집단 지식에서 더 많은 가치를 얻을 수 있도록 돕는 임무를 수행하고 있습니다. Slack에 합류하기 전에 Jackie는 6년 넘게 Google에서 제품 관리자로 일하며 YouTube TV 출시 및 성장을 도왔습니다. Jackie는 샌프란시스코 베이 지역에 거주하고 있습니다.

라크나 차다 AWS Strategic Accounts의 수석 솔루션 아키텍트 AI/ML입니다. Rachna는 AI의 윤리적이고 책임 있는 사용이 미래의 사회를 개선하고 경제적, 사회적 번영을 가져올 수 있다고 믿는 낙관론자입니다. 여가 시간에 Rachna는 가족과 함께 시간을 보내고, 하이킹을 하고, 음악을 듣는 것을 좋아합니다.

마크 카프 Amazon SageMaker 서비스 팀의 ML 설계자입니다. 그는 고객이 규모에 맞게 ML 워크로드를 설계, 배포 및 관리하도록 돕는 데 중점을 둡니다. 여가 시간에는 여행과 새로운 장소 탐색을 즐깁니다.

마닌더(마니) 카우르 AWS 전략적 ISV의 AI/ML 전문가 리드입니다. 고객 우선 접근 방식을 통해 Mani는 전략적 고객이 AI/ML 전략을 수립하고 혁신을 촉진하며 AI/ML 여정을 가속화하도록 돕습니다. Mani는 윤리적이고 책임 있는 AI를 굳게 믿으며 고객의 AI 솔루션이 이러한 원칙에 부합하도록 노력합니다.

진 팅 AWS의 수석 솔루션 아키텍트입니다. 그는 기업 고객이 AWS에서 워크로드를 안전하게 구축하고 운영하도록 돕는 데 주력하고 있습니다. 여가 시간에는 Gene은 아이들에게 기술과 스포츠를 가르치고 사이버 보안에 관한 최신 소식을 듣는 것을 즐깁니다.

앨런 탄 SageMaker의 수석 제품 관리자로 대규모 모델 추론을 주도하고 있습니다. 그는 분석 영역에 기계 학습을 적용하는 데 열정적입니다. 그는 일 외에는 야외 활동을 즐깁니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/machine-learning/slack-delivers-native-and-secure-generative-ai-powered-by-amazon-sagemaker-jumpstart/