Amazon SageMaker JumpStart를 사용하여 인터넷 연결 없이 VPC 모드에서 생성 AI 기반 모델 사용 | 아마존 웹 서비스

최근의 발전으로 생성 적 AI, 특정 비즈니스 문제를 해결하기 위해 다양한 산업에서 생성 AI를 사용하는 방법에 대해 많은 논의가 진행되고 있습니다. Generative AI는 대화, 스토리, 이미지, 동영상, 음악 등 새로운 콘텐츠와 아이디어를 생성할 수 있는 AI 유형입니다. 그것은 모두 방대한 양의 데이터에 대해 사전 훈련되고 일반적으로 기초 모델(FM). 이러한 FM은 블로그 게시물 작성, 이미지 생성, 수학 문제 풀기, 대화 참여, 문서를 기반으로 한 질문에 답하기 등 여러 도메인에 걸친 광범위한 작업을 수행할 수 있습니다. FM의 크기와 범용성으로 인해 일반적으로 감정에 대한 텍스트 분석, 이미지 분류 및 추세 예측과 같은 특정 작업을 수행하는 기존 ML 모델과 다릅니다.

조직은 이러한 FM의 기능을 사용하는 동시에 FM 기반 솔루션이 자체 보호 환경에서 실행되기를 원합니다. 글로벌 금융 서비스, 의료 및 생명 과학과 같이 엄격하게 규제되는 영역에서 운영되는 조직은 VPC에서 환경을 실행하기 위한 청각 및 규정 준수 요구 사항이 있습니다. 사실 이러한 환경에서는 수신 및 송신 모두에서 의도하지 않은 트래픽에 노출되는 것을 방지하기 위해 직접 인터넷 액세스조차 비활성화되는 경우가 많습니다.

Amazon SageMaker 점프스타트 알고리즘, 모델 및 ML 솔루션을 제공하는 ML 허브입니다. SageMaker JumpStart를 통해 ML 실무자는 최고 성능의 오픈 소스 FM 목록에서 선택할 수 있습니다. 또한 이러한 모델을 자체적으로 배포할 수 있는 기능을 제공합니다. 가상 사설 클라우드 (VPC).

이 게시물에서는 JumpStart를 사용하여 플랜-T5 XXL 인터넷 연결이 없는 VPC의 모델. 다음 주제에 대해 논의합니다.

• 인터넷 액세스가 없는 VPC에서 SageMaker JumpStart를 사용하여 기반 모델을 배포하는 방법
• VPC 모드에서 SageMaker JumpStart 모델을 통해 FM 배포의 이점
• JumpStart를 통해 기본 모델 배포를 사용자 지정하는 대체 방법

FLAN-T5 XXL 외에도 JumpStart는 다양한 작업을 위한 다양한 기반 모델을 제공합니다. 전체 목록을 확인하려면 Amazon SageMaker JumpStart 시작하기.

솔루션 개요

솔루션의 일부로 다음 단계를 다룹니다.

1. 인터넷에 연결되지 않은 VPC를 설정합니다.
2. 설정 아마존 세이지 메이커 스튜디오 우리가 만든 VPC를 사용합니다.
3. 인터넷에 액세스할 수 없는 VPC에서 JumpStart를 사용하여 생성 AI Flan T5-XXL 기반 모델을 배포합니다.

다음은 솔루션의 아키텍처 다이어그램입니다.

이 솔루션을 구현하는 다양한 단계를 살펴보겠습니다.

사전 조건

이 게시물을 따라하려면 다음이 필요합니다.

인터넷에 연결되지 않은 VPC 설정

새 CloudFormation 스택 생성 ~을 사용하여 01_networking.yaml 주형. 이 템플릿은 새 VPC를 생성하고 인터넷 연결 없이 XNUMX개의 가용 영역에 걸쳐 XNUMX개의 프라이빗 서브넷을 추가합니다. 그런 다음 액세스를 위해 게이트웨이 VPC 엔드포인트를 배포합니다. 아마존 단순 스토리지 서비스 (Amazon S3) 및 SageMaker용 인터페이스 VPC 엔드포인트 및 기타 몇 가지 서비스를 통해 VPC의 리소스가 AWS 프라이빗링크.

다음과 같은 스택 이름을 제공하십시오. No-Internet, 스택 생성 프로세스를 완료합니다.

이 솔루션은 이 게시물의 단계를 따를 때 비용을 줄이기 위해 CloudFormation 템플릿이 하나의 서브넷에만 인터페이스 VPC 엔드포인트를 생성하기 때문에 가용성이 높지 않습니다.

VPC를 사용하여 Studio 설정

다음을 사용하여 다른 CloudFormation 스택 생성 02_sagemaker_studio.yaml, Studio 도메인, Studio 사용자 프로필 및 IAM 역할과 같은 지원 리소스를 생성합니다. 스택의 이름을 선택하십시오. 이 게시물에서는 이름을 사용합니다. SageMaker-Studio-VPC-No-Internet. 이전에 생성한 VPC 스택의 이름을 제공합니다(No-Internet)로 CoreNetworkingStackName 매개변수를 사용하고 나머지는 기본값으로 둡니다.

AWS CloudFormation에서 스택 생성이 완료되었다고 보고할 때까지 기다리십시오. SageMaker 콘솔에서 Studio 도메인을 사용할 수 있는지 확인할 수 있습니다.

Studio 도메인 사용자에게 인터넷 액세스 권한이 없는지 확인하려면 SageMaker 콘솔을 사용하여 Studio 시작. 선택 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에, 신제품및 단말기, 그런 다음 인터넷 리소스에 액세스를 시도합니다. 다음 스크린샷과 같이 터미널은 리소스를 계속 기다리다가 결국 시간 초과됩니다.

이것은 Studio가 인터넷에 액세스할 수 없는 VPC에서 작동하고 있음을 증명합니다.

JumpStart를 사용하여 생성적 AI 기반 모델 Flan T5-XXL 배포

Studio 및 API를 통해 이 모델을 배포할 수 있습니다. JumpStart는 Studio 내에서 액세스할 수 있는 SageMaker 노트북을 통해 모델을 배포하기 위한 모든 코드를 제공합니다. 이 게시물에서는 Studio의 이 기능을 소개합니다.

• Studio 시작 페이지에서 다음을 선택합니다. 점프 시작 사전 구축 및 자동화된 솔루션에서.

• 아래에서 Flan-T5 XXL 모델을 선택합니다. 기초 모델.

• 기본적으로 다음을 엽니다. 배포 탭. 확장 배포 구성 변경하는 부분 hosting instance 및 endpoint name, 또는 추가 태그를 추가합니다. 를 변경하는 옵션도 있습니다. S3 bucket location 끝점을 만들기 위해 모델 아티팩트가 저장되는 위치입니다. 이 게시물에서는 모든 것을 기본값으로 둡니다. 예측을 위해 엔드포인트를 호출하는 동안 사용할 엔드포인트 이름을 기록해 둡니다.

• 확장 보안 설정 섹션에서 다음을 지정할 수 있습니다. IAM role 끝점을 만들기 위해. 다음을 지정할 수도 있습니다. VPC configurations 제공함으로써 subnets 및 security groups. 서브넷 ID 및 보안 그룹 ID는 AWS CloudFormation 콘솔에 있는 VPC 스택의 출력 탭에서 찾을 수 있습니다. SageMaker JumpStart에는 이 구성의 일부로 최소 XNUMX개의 서브넷이 필요합니다. 서브넷 및 보안 그룹은 모델 컨테이너에 대한 액세스를 제어합니다.

주의사항: SageMaker JumpStart 모델이 VPC에 배포되었는지 여부에 관계없이 모델은 항상 네트워크 격리 모드에서 실행됩니다. 이 모드는 모델 컨테이너를 격리하므로 모델 컨테이너에서 인바운드 또는 아웃바운드 네트워크 호출을 수행할 수 없습니다. VPC를 사용하고 있기 때문에 SageMaker는 지정된 VPC를 통해 모델 아티팩트를 다운로드합니다. 네트워크 격리에서 모델 컨테이너를 실행해도 SageMaker 엔드포인트가 추론 요청에 응답하는 것을 막지 않습니다. 서버 프로세스는 모델 컨테이너와 함께 실행되고 추론 요청을 전달하지만 모델 컨테이너에는 네트워크 액세스 권한이 없습니다.

• 왼쪽 메뉴에서 배포 모델을 배포합니다. 진행 중인 엔드포인트 생성 상태를 거의 실시간으로 볼 수 있습니다. 엔드포인트 생성을 완료하는 데 5~10분이 소요될 수 있습니다.

현장의 가치를 지켜라 모델 데이터 위치 이 페이지에서. 모든 SageMaker JumpStart 모델은 SageMaker 관리형 S3 버킷(s3://jumpstart-cache-prod-{region}). 따라서 JumpStart에서 어떤 모델을 선택했는지에 관계없이 모델은 공개적으로 액세스 가능한 SageMaker JumpStart S3 버킷에서 배포되며 모델을 다운로드하기 위해 트래픽이 공개 모델 동물원 API로 이동하지 않습니다. 이것이 바로 인터넷에 직접 액세스할 수 없는 VPC에서 엔드포인트를 생성할 때에도 모델 엔드포인트 생성이 성공적으로 시작된 이유입니다.

모델 아티팩트를 개인 모델 동물원 또는 자체 S3 버킷에 복사하여 모델 소스 위치를 추가로 제어하고 보호할 수도 있습니다. 다음 명령을 사용하여 모델을 로컬로 다운로드할 수 있습니다. AWS 명령 줄 인터페이스 (AWS CLI):

aws s3 cp s3://jumpstart-cache-prod-eu-west-1/huggingface-infer/prepack/v1.0.2/infer-prepack-huggingface-text2text-flan-t5-xxl.tar.gz .

• 몇 분 후 엔드포인트가 성공적으로 생성되고 상태가 다음과 같이 표시됩니다. 서비스에서. 선택 Open Notebook FBI 증오 범죄 보고서 Use Endpoint from Studio 부분. 이것은 끝점을 빠르게 테스트하기 위해 JumpStart 환경의 일부로 제공되는 샘플 노트북입니다.

• 노트북에서 이미지를 다음과 같이 선택합니다. 데이터 과학 3.0 그리고 커널은 파이썬 3. 커널이 준비되면 노트북 셀을 실행하여 엔드포인트에서 예측을 수행할 수 있습니다. 노트북은 다음을 사용합니다. 호출_엔드포인트() API의 Python 용 AWS SDK 예측을 하기 위해. 또는 다음을 사용할 수 있습니다. SageMaker Python SDK의 예측() 동일한 결과를 얻는 방법.

이것으로 인터넷에 액세스할 수 없는 VPC 내에서 JumpStart를 사용하여 Flan-T5 XXL 모델을 배포하는 단계를 마칩니다.

VPC 모드에서 SageMaker JumpStart 모델 배포의 이점

다음은 VPC 모드에서 SageMaker JumpStart 모델을 배포할 때 얻을 수 있는 몇 가지 이점입니다.

• SageMaker JumpStart는 공개 모델 동물원에서 모델을 다운로드하지 않기 때문에 인터넷 액세스가 없는 완전히 잠긴 환경에서도 사용할 수 있습니다.
• SageMaker JumpStart 모델에 대해 네트워크 액세스를 제한하고 범위를 좁힐 수 있으므로 팀이 환경의 보안 태세를 개선하는 데 도움이 됩니다.
• VPC 경계로 인해 엔드포인트에 대한 액세스는 서브넷 및 보안 그룹을 통해 제한될 수 있으므로 추가 보안 계층이 추가됩니다.

SageMaker JumpStart를 통해 기초 모델 배포를 사용자 정의하는 다른 방법

이 섹션에서는 모델을 배포하는 몇 가지 대체 방법을 공유합니다.

선호하는 IDE에서 SageMaker JumpStart API 사용

SageMaker JumpStart에서 제공하는 모델은 Studio에 액세스할 필요가 없습니다. 덕분에 모든 IDE에서 SageMaker 엔드포인트에 배포할 수 있습니다. 점프스타트 API. 이 게시물의 앞부분에서 설명한 Studio 설정 단계를 건너뛰고 JumpStart API를 사용하여 모델을 배포할 수 있습니다. 이러한 API는 VPC 구성도 제공할 수 있는 인수를 제공합니다. API는 SageMaker Python SDK 그 자체. 자세한 내용은 다음을 참조하십시오. 사전 훈련된 모델.

SageMaker Studio에서 SageMaker JumpStart가 제공하는 노트북 사용

SageMaker JumpStart는 모델을 직접 배포할 수 있는 노트북도 제공합니다. 모델 세부 정보 페이지에서 다음을 선택합니다. 노트북 열기 끝점을 배포할 코드가 포함된 샘플 노트북을 엽니다. 노트북이 사용하는 SageMaker JumpStart 산업 API 모델을 나열 및 필터링하고, 아티팩트를 검색하고, 엔드포인트를 배포 및 쿼리할 수 있습니다. 사용 사례별 요구 사항에 따라 노트북 코드를 편집할 수도 있습니다.

자원 정리

확인 정리.md 파일을 사용하여 이 게시물의 일부로 생성된 Studio, VPC 및 기타 리소스를 삭제하는 자세한 단계를 찾으십시오.

문제해결

CloudFormation 스택 생성 시 문제가 발생하면 다음을 참조하십시오. CloudFormation 문제 해결.

결론

대규모 언어 모델로 구동되는 생성 AI는 사람들이 정보에서 통찰력을 얻고 적용하는 방식을 변화시키고 있습니다. 그러나 규제가 심한 공간에서 운영되는 조직은 더 빠르게 혁신할 수 있는 동시에 이러한 기능에 대한 액세스 패턴을 단순화하는 방식으로 생성 AI 기능을 사용해야 합니다.

이 게시물에서 제공하는 접근 방식을 사용하여 기존 환경에 생성 AI 기능을 포함시키면서 인터넷 액세스 없이 자체 VPC 내에 유지하는 것이 좋습니다. SageMaker JumpStart 기초 모델에 대한 자세한 내용은 다음을 확인하십시오.

---

저자 소개

비케시 판 데이 AWS의 기계 학습 전문가 솔루션 아키텍트로서 금융 산업 고객이 생성 AI 및 ML을 기반으로 솔루션을 설계하고 구축할 수 있도록 지원합니다. Vikesh는 업무 외 시간에 다양한 요리를 시도하고 야외 스포츠를 즐깁니다.

메헤란 니쿠 AWS의 선임 솔루션 아키텍트로서 영국의 디지털 네이티브 기업과 협력하여 목표 달성을 돕습니다. 자신의 소프트웨어 엔지니어링 경험을 기계 학습에 적용하는 데 열정적이며 종단 간 기계 학습 및 MLOps 사례를 전문으로 합니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 자동차 / EV, 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• BlockOffsets. 환경 오프셋 소유권 현대화. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/machine-learning/use-generative-ai-foundation-models-in-vpc-mode-with-no-internet-connectivity-using-amazon-sagemaker-jumpstart/