이제 Amazon SageMaker JumpStart에서 Meta Llama 3 모델을 사용할 수 있습니다

플라톤에 의해 재발행

팔로워 : 0

오늘 Meta Llama 3 기본 모델을 다음을 통해 사용할 수 있다는 소식을 발표하게 되어 기쁘게 생각합니다. Amazon SageMaker 점프스타트 추론을 배포하고 실행합니다. Llama 3 모델은 사전 훈련되고 미세 조정된 생성 텍스트 모델의 모음입니다.

이 게시물에서는 SageMaker JumpStart를 통해 Llama 3 모델을 검색하고 배포하는 방법을 안내합니다.

메타라마3란 무엇인가요?

Llama 3는 8K 컨텍스트 길이의 70B와 8B라는 두 가지 매개변수 크기로 제공되며 추론, 코드 생성 및 명령 따르기 기능이 향상되어 광범위한 사용 사례를 지원할 수 있습니다. Llama 3는 디코더 전용 변환기 아키텍처와 128k 크기로 향상된 모델 성능을 제공하는 새로운 토크나이저를 사용합니다. 또한 Meta는 허위 거부율을 크게 줄이고 정렬을 개선하며 모델 응답의 다양성을 높이는 훈련 후 절차를 개선했습니다. 이제 SageMaker 파이프라인, SageMaker 디버거 또는 컨테이너 로그와 같은 Amazon SageMaker 기능을 통해 Llama 3 성능 및 MLOps 제어의 결합된 이점을 얻을 수 있습니다. 또한 모델은 VPC 제어 하에 AWS 보안 환경에 배포되어 데이터 보안을 제공하는 데 도움이 됩니다.

SageMaker JumpStart란?

SageMaker JumpStart를 사용하면 공개적으로 사용 가능한 다양한 기초 모델 중에서 선택할 수 있습니다. ML 실무자는 네트워크 격리 환경에서 전용 SageMaker 인스턴스에 기초 모델을 배포하고 모델 교육 및 배포를 위해 SageMaker를 사용하여 모델을 사용자 지정할 수 있습니다. 이제 몇 번의 클릭만으로 Llama 3 모델을 검색하고 배포할 수 있습니다. 아마존 세이지 메이커 스튜디오 또는 SageMaker Python SDK를 통해 프로그래밍 방식으로 다음과 같은 SageMaker 기능으로 모델 성능 및 MLOps 컨트롤을 파생할 수 있습니다. SageMaker 파이프 라인, SageMaker 디버거또는 컨테이너 로그. 이 모델은 AWS 보안 환경과 VPC 제어에 배포되어 데이터 보안을 제공하는 데 도움이 됩니다. Llama 3 모델은 현재 Amazon SageMaker Studio에서 배포 및 추론할 수 있습니다. us-east-1 (버지니아 북부), us-east-2 (오하이오), us-west-2 (오레곤), eu-west-1 (아일랜드) 및 ap-northeast-1 (도쿄) AWS 리전.

모델 살펴보기

SageMaker Studio UI 및 SageMaker Python SDK에서 SageMaker JumpStart를 통해 기초 모델에 액세스할 수 있습니다. 이 섹션에서는 SageMaker Studio에서 모델을 검색하는 방법을 살펴봅니다.

SageMaker Studio는 데이터 준비에서 ML 모델 구축, 교육 및 배포에 이르기까지 모든 ML 개발 단계를 수행하기 위해 특별히 제작된 도구에 액세스할 수 있는 단일 웹 기반 시각적 인터페이스를 제공하는 통합 개발 환경(IDE)입니다. SageMaker Studio 시작 및 설정 방법에 대한 자세한 내용은 다음을 참조하십시오. 아마존 세이지 메이커 스튜디오.

SageMaker Studio에서는 사전 훈련된 모델, 노트북 및 사전 구축된 솔루션이 포함된 SageMaker JumpStart에 액세스할 수 있습니다. 사전 구축 및 자동화된 솔루션.