Amazon SageMaker 점프스타트 ML(기계 학습) 여정을 가속화하는 데 도움이 되는 기계 학습(ML) 허브입니다. SageMaker JumpStart를 사용하면 공개적으로 사용 가능한 독점 기반 모델을 검색하여 전용으로 배포할 수 있습니다. 아마존 세이지 메이커 생성 AI 애플리케이션을 위한 인스턴스. SageMaker JumpStart를 사용하면 네트워크 격리 환경에서 기본 모델을 배포할 수 있으며 모델 공급자와 고객 교육 및 추론 데이터를 공유하지 않습니다.
이 게시물에서는 AI21, Cohere 및 LightOn과 같은 모델 공급자의 독점 모델을 시작하는 방법을 살펴봅니다. 아마존 세이지 메이커 스튜디오. SageMaker Studio는 SageMaker 엔터프라이즈 데이터 과학자 고객이 차세대 AI 애플리케이션을 위한 모델을 평가하고 구축하는 노트북 환경입니다.
SageMaker의 기초 모델
기초 모델은 수십억 개의 매개변수를 포함하고 테라바이트의 텍스트 및 이미지 데이터에 대해 사전 훈련된 대규모 ML 모델로 기사 요약 및 텍스트, 이미지 또는 비디오 생성과 같은 광범위한 작업을 수행할 수 있습니다. 기본 모델은 사전 교육을 받았기 때문에 교육 및 인프라 비용을 낮추고 사용 사례에 맞게 사용자 지정할 수 있습니다.
SageMaker JumpStart는 두 가지 유형의 기본 모델을 제공합니다.
- 독점 모델 – 이러한 모델은 Jurassic-21 모델이 포함된 AI2, Cohere Command가 포함된 Cohere, 독점 알고리즘 및 데이터에 대해 훈련된 Mini가 포함된 LightOn과 같은 제공업체에서 제공합니다. 가중치 및 스크립트와 같은 모델 아티팩트를 볼 수 없지만 추론을 위해 SageMaker 인스턴스에 계속 배포할 수 있습니다.
- 공개적으로 사용 가능한 모델 – Hugging Face with Stable Diffusion, Falcon 및 공개적으로 사용 가능한 알고리즘 및 데이터에 대해 훈련된 FLAN과 같은 인기 있는 모델 허브에서 가져온 것입니다. 이러한 모델의 경우 사용자는 모델 아티팩트에 액세스할 수 있으며 추론을 위해 배포하기 전에 자신의 데이터로 미세 조정할 수 있습니다.
모델 살펴보기
SageMaker Studio UI 및 SageMaker Python SDK에서 SageMaker JumpStart를 통해 기초 모델에 액세스할 수 있습니다. 이 섹션에서는 SageMaker Studio UI에서 모델을 검색하는 방법을 살펴봅니다.
SageMaker Studio는 ML 모델을 구축, 교육, 디버그, 배포 및 모니터링할 수 있는 ML용 웹 기반 통합 개발 환경(IDE)입니다. SageMaker Studio 시작 및 설정 방법에 대한 자세한 내용은 다음을 참조하십시오. 아마존 세이지 메이커 스튜디오.
SageMaker Studio UI에 있으면 사전 훈련된 모델, 노트북 및 사전 구축된 솔루션이 포함된 SageMaker JumpStart에 액세스할 수 있습니다. 사전 구축 및 자동화된 솔루션.
SageMaker JumpStart 랜딩 페이지에서 솔루션, 모델, 노트북 및 기타 리소스를 찾아볼 수 있습니다. 다음 스크린샷은 솔루션 및 기반 모델이 나열된 랜딩 페이지의 예를 보여줍니다.
각 모델에는 모델 이름, 미세 조정 가능 여부, 공급자 이름 및 모델에 대한 간단한 설명이 포함된 다음 스크린샷과 같은 모델 카드가 있습니다. 모델 카드를 열어 모델에 대해 자세히 알아보고 학습 또는 배포를 시작할 수도 있습니다.
AWS Marketplace에서 구독
SageMaker JumpStart의 독점 모델은 AI21, Cohere 및 LightOn과 같은 모델 공급자가 게시합니다. 다음 스크린샷과 같이 모델 카드의 "Proprietary" 태그로 독점 모델을 식별할 수 있습니다.
선택할 수 있습니다. 노트북 보기 모델 카드에서 다음 스크린샷과 같이 노트북을 읽기 전용 모드로 엽니다. 전제 조건 및 기타 사용 지침에 관한 중요한 정보는 노트북을 읽을 수 있습니다.
노트북을 가져온 후 코드를 실행하기 전에 적절한 노트북 환경(이미지, 커널, 인스턴스 유형 등)을 선택해야 합니다. 또한 선택한 노트북별로 구독 및 사용 지침을 따라야 합니다.
독점 모델을 사용하기 전에 먼저 에서 모델을 구독해야 합니다. AWS Marketplace:
- AWS Marketplace에서 모델 목록 페이지를 엽니다.
URL은 중대한 노트북 섹션에서 액세스할 수 있습니다. SageMaker JumpStart 서비스 페이지. 목록 페이지에는 모델에 대한 개요, 가격, 사용량 및 지원 정보가 표시됩니다.
- AWS Marketplace 목록에서 다음을 선택합니다. 계속 구독.
모델을 보거나 구독하는 데 필요한 권한이 없는 경우 IT 관리자 또는 조달 담당자에게 문의하여 모델을 구독하세요. 많은 기업에서 AWS Marketplace 권한을 가진 사람이 AWS Marketplace Management Portal에서 수행할 수 있는 작업을 제어하기 위해 AWS Marketplace 권한을 제한할 수 있습니다.
- 에 이 소프트웨어 페이지에 가입하십시오, 세부 정보를 검토하고 선택 제안을 받아들이다 귀하와 귀하의 조직이 EULA, 가격 및 지원 조건에 동의하는 경우.
질문이 있거나 볼륨 할인에 대한 요청이 있는 경우 세부 정보 페이지에 제공된 지원 이메일을 통해 모델 공급자에게 직접 연락하거나 AWS 계정 팀에 문의하십시오.
- 왼쪽 메뉴에서 구성으로 계속 지역을 선택합니다.
제품 ARN이 표시됩니다. 이는 Boto3를 사용하여 배포 가능한 모델을 생성하는 동안 지정해야 하는 모델 패키지 ARN입니다.
- 지역에 해당하는 ARN을 복사하고 노트북의 셀 지침에 동일하게 지정합니다.
샘플 프롬프트를 사용한 샘플 추론
SageMaker Studio의 SageMaker JumpStart에서 검색할 수 있는 A21 Labs, Cohere 및 LightOn의 일부 샘플 기반 모델을 살펴보겠습니다. 그들 모두는 AWS Marketplace에서 구독하고 노트북을 가져오고 구성하는 동일한 지침을 가지고 있습니다.
AI21 요약
A121 Labs의 Summarize 모델은 긴 텍스트를 소스와 사실적으로 일치하는 짧고 읽기 쉬운 바이트로 압축합니다. 이 모델은 텍스트 본문을 기반으로 주요 아이디어를 캡처하는 요약을 생성하도록 훈련되었습니다. 프롬프트가 필요하지 않습니다. 요약해야 할 텍스트를 입력하기만 하면 됩니다. 소스 텍스트는 최대 50,000자를 포함할 수 있으며 대략 10,000단어 또는 인상적인 40페이지로 번역할 수 있습니다.
AI21 Summarize 모델용 샘플 노트북은 따라야 할 중요한 전제 조건을 제공합니다. 예를 들어 모델은 AWS Marketplace에서 구독하고 적절한 IAM 역할 권한과 필수 boto3 버전 등을 가지고 있습니다. 모델 패키지를 선택하고 실시간 추론을 위한 엔드포인트를 만든 다음 정리하는 방법을 안내합니다.
선택한 모델 패키지에는 리전에 대한 ARN 매핑이 포함되어 있습니다. 선택한 후 캡처한 정보입니다. 구성으로 계속 AWS Marketplace 구독 페이지(섹션에서 Marketplace에서 평가 및 구독) 그런 다음 해당 제품 ARN이 표시되는 리전을 선택합니다.
노트북에 이미 ARN이 미리 채워져 있을 수 있습니다.
그런 다음 이 노트북을 실행하는 데 필요한 일부 라이브러리를 가져오고 Wikipedia의 데이터에 쉽게 액세스하고 데이터를 구문 분석할 수 있는 Python 라이브러리인 wikipedia를 설치합니다. 노트북은 나중에 이를 사용하여 Wikipedia의 긴 텍스트를 요약하는 방법을 보여줍니다.
노트북은 또한 설치를 진행합니다. ai21
다음과 같은 SageMaker API를 둘러싼 래퍼인 Python SDK deploy
및 invoke endpoint
.
노트북의 다음 몇 개 셀은 다음 단계를 거칩니다.
- 리전을 선택하고 모델 패키지 맵에서 모델 패키지 ARN을 가져옵니다.
- 모델에 대해 사용 사례 및 지원되는 인스턴스에 따라 인스턴스 유형을 선택하여 추론 엔드포인트를 생성합니다. 작업별 모델 자세한 내용은) 모델을 실행하려면
- 모델 패키지에서 배포 가능한 모델 만들기
추론을 실행하여 뉴스 기사에서 가져온 단일 단락의 요약을 생성해 봅시다. 출력에서 볼 수 있듯이 요약된 텍스트는 모델의 출력으로 표시됩니다.
AI21 Summarize는 최대 50,000자의 입력을 처리할 수 있습니다. 이것은 대략 10,000단어 또는 40페이지로 변환됩니다. 모델의 동작을 보여주기 위해 Wikipedia에서 페이지를 로드합니다.
이제 테스트를 위해 실시간 추론을 수행했으므로 엔드포인트가 더 이상 필요하지 않을 수 있습니다. 비용이 청구되지 않도록 엔드포인트를 삭제할 수 있습니다.
코히어 명령
Cohere Command는 명령과 같은 프롬프트로 잘 응답하는 생성 모델입니다. 이 모델은 기업과 기업에 모든 생성 작업에서 최고의 품질, 성능 및 정확성을 제공합니다. Cohere의 명령 모델을 사용하여 카피라이팅, 명명된 엔터티 인식, 의역 또는 요약 노력을 활성화하고 다음 단계로 진행할 수 있습니다.
Cohere 명령 모델용 샘플 노트북은 따라야 할 중요한 전제 조건을 제공합니다. 예를 들어 모델은 AWS Marketplace에서 구독하고 적절한 IAM 역할 권한과 필수 boto3 버전 등을 가지고 있습니다. 모델 패키지를 선택하고 실시간 추론을 위한 엔드포인트를 만든 다음 정리하는 방법을 안내합니다.
일부 작업은 Boto3 설치, cohere-sagemaker
(이 패키지는 Cohere 모델과의 인터페이스를 단순화하기 위해 개발된 기능을 제공합니다.) 세션 및 지역 가져오기.
끝점 만들기를 살펴보겠습니다. 모델 패키지 ARN, 엔드포인트 이름, 사용할 인스턴스 유형 및 인스턴스 수를 제공합니다. 엔드포인트가 생성되면 엔드 포인트 SageMaker 섹션.
이제 추론을 실행하여 명령 모델의 일부 출력을 확인하겠습니다.
다음 스크린샷은 작업 게시 및 해당 출력을 생성하는 샘플 예제를 보여줍니다. 보시다시피 모델은 주어진 프롬프트에서 게시물을 생성했습니다.
이제 다음 예를 살펴보겠습니다.
- 제품 설명 생성
- 블로그 게시물의 본문 단락 생성
- 아웃리치 이메일 생성
보시다시피 Cohere Command 모델은 다양한 생성 작업을 위한 텍스트를 생성했습니다.
이제 테스트를 위해 실시간 추론을 수행했으므로 엔드포인트가 더 이상 필요하지 않을 수 있습니다. 비용이 청구되지 않도록 엔드포인트를 삭제할 수 있습니다.
LightOn 미니 지침
LightOn이 생성한 40억 개의 매개변수가 있는 AI 모델인 Mini-instruct는 수많은 소스의 고품질 데이터를 사용하여 훈련된 강력한 다국어 AI 시스템입니다. 자연어를 이해하고 요구 사항에 맞는 명령에 반응하도록 제작되었습니다. 음성 비서, 챗봇 및 스마트 기기와 같은 소비자 제품에서 훌륭하게 작동합니다. 또한 자동화된 고객 관리를 위한 에이전트 지원 및 자연어 생산을 포함하여 광범위한 비즈니스 애플리케이션을 보유하고 있습니다.
LightOn Mini-instruct 모델용 샘플 노트북은 따라야 할 중요한 전제 조건을 제공합니다. 예를 들어 모델은 AWS Marketplace에서 구독하고 적절한 IAM 역할 권한과 필수 boto3 버전 등을 가지고 있습니다. 모델 패키지를 선택하고 실시간 추론을 위한 엔드포인트를 만든 다음 정리하는 방법을 안내합니다.
일부 작업은 Boto3 설치 및 세션 지역 가져오기와 같이 이전 노트북 예제에서 다룬 작업과 유사합니다.
끝점 만들기를 살펴보겠습니다. 먼저 모델 패키지 ARN, 엔드포인트 이름, 사용할 인스턴스 유형 및 인스턴스 수를 제공합니다. 생성된 엔드포인트는 SageMaker의 엔드포인트 섹션에 나타납니다.
이제 주제(이 경우 수채화)에 대한 기사에 대한 아이디어 목록을 생성하도록 요청하여 모델을 추론해 보겠습니다.
보시다시피 LightOn Mini-instruct 모델은 주어진 프롬프트를 기반으로 생성된 텍스트를 제공할 수 있었습니다.
정리
모델을 테스트하고 예제 전용 Foundation 모델에 대해 위의 엔드포인트를 생성한 후에는 비용이 발생하지 않도록 SageMaker 추론 엔드포인트와 모델을 삭제해야 합니다.
결론
이 게시물에서는 SageMaker Studio에서 AI21, Cohere 및 LightOn과 같은 모델 공급자의 독점 모델을 시작하는 방법을 보여 주었습니다. 고객은 Studio, SageMaker SDK 및 SageMaker 콘솔의 SageMaker JumpStart에서 독점 기반 모델을 검색하고 사용할 수 있습니다. 이를 통해 고객은 수십억 개의 매개변수를 포함하고 테라바이트의 텍스트 및 이미지 데이터로 사전 훈련된 대규모 ML 모델에 액세스할 수 있으므로 고객은 기사 요약 및 텍스트, 이미지 또는 비디오 생성과 같은 광범위한 작업을 수행할 수 있습니다. 기본 모델은 사전 학습되어 있으므로 교육 및 인프라 비용을 낮추고 사용 사례에 맞게 사용자 정의할 수 있습니다.
제품 자료
저자 소개
준원 SageMaker JumpStart의 제품 관리자입니다. 그는 고객이 제너레이티브 AI 애플리케이션을 구축하는 데 도움이 되도록 기반 모델을 쉽게 검색하고 사용할 수 있도록 만드는 데 중점을 둡니다.
마니 카누 자 Amazon Web Services(AWS)의 인공 지능 및 기계 학습 전문가 SA입니다. 그녀는 기계 학습을 사용하는 고객이 AWS를 사용하여 비즈니스 문제를 해결하도록 돕습니다. 그녀는 대부분의 시간을 컴퓨터 비전, 자연어 처리, 예측, ML at the edge 등과 관련된 AI/ML 프로젝트에 대해 심층적으로 파고들고 고객을 가르치는 데 보냅니다. 그녀는 ML at edge에 열정적이어서 자율주행 키트와 프로토타입 제조 생산 라인을 갖춘 자신만의 랩을 만들어 여가 시간을 많이 보냅니다.
니틴 유세비우스 소프트웨어 엔지니어링, 엔터프라이즈 아키텍처 및 AI/ML에 대한 경험이 있는 AWS의 선임 엔터프라이즈 솔루션 아키텍트입니다. 그는 고객이 AWS 플랫폼에서 잘 설계된 애플리케이션을 구축하도록 돕기 위해 고객과 협력합니다. 그는 기술 문제를 해결하고 고객의 클라우드 여정을 돕는 데 열정적입니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 자동차 / EV, 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- BlockOffsets. 환경 오프셋 소유권 현대화. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/use-proprietary-foundation-models-from-amazon-sagemaker-jumpstart-in-amazon-sagemaker-studio/
- :있다
- :이다
- :아니
- :어디
- $UP
- 000
- 10
- 100
- 40
- 50
- 500
- 7
- 87
- a
- 할 수 있는
- 소개
- 위의
- 가속
- ACCESS
- 계정
- 행위
- 관리자
- 후
- 에이전트
- AI
- AI / ML
- 알고리즘
- All
- 수
- 이미
- 또한
- 아마존
- 아마존 세이지 메이커
- Amazon SageMaker 점프스타트
- 아마존 세이지 메이커 스튜디오
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- 및
- 인프라
- 어떤
- 더 이상
- API
- 등장하다
- 제품
- 어플리케이션
- 적당한
- 아키텍처
- 있군요
- 약
- 기사
- 기사
- 인조의
- 인공 지능
- 인공 지능과 기계 학습
- AS
- 원조
- 비서
- At
- 자동화
- 가능
- 피하기
- AWS
- AWS Marketplace
- 기반으로
- BE
- 때문에
- 된
- 전에
- 존재
- BEST
- 억원
- 수십억
- 블로그
- 몸
- 빌드
- 내장
- 사업
- 비즈니스 응용 프로그램
- 사업
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- CAN
- 포착
- 캡처
- 카드
- 카드
- 한
- 케이스
- 셀
- 과제
- 문자
- 청구 된
- 요금
- 잡담
- 왼쪽 메뉴에서
- 선택
- 클라우드
- 코드
- 컴퓨터
- 컴퓨터 비전
- 일관된
- 콘솔에서
- 소비자
- 소비재
- CONTACT
- 포함하는
- 이 포함되어 있습니다
- 제어
- 카피 라이팅
- 동
- 비용
- 적용
- 만들
- 만든
- 만들기
- 고객
- 고객
- 사용자 정의
- 데이터
- 데이터 과학자
- 전용
- 깊은
- 의존
- 배포
- 배치
- 전개
- 설명
- 세부 묘사
- 세부설명
- 개발
- 개발
- 방송
- 직접
- 할인
- 발견
- 표시된
- 하지 않습니다
- 말라
- 용이하게
- 쉽게
- Edge
- 노력
- 이메일
- 가능
- 종점
- 엔지니어링
- Enterprise
- 기업
- 실재
- 환경
- 등
- 평가
- 예
- 예
- 경험
- 탐험
- 페이스메이크업
- 를
- 먼저,
- 집중
- 따라
- 다음에
- 수행원
- 럭셔리
- Foundation
- 무료
- 에
- 기능
- 생성
- 생성
- 생성
- 세대
- 생성적인
- 제너레이티브 AI
- 얻을
- 점점
- 주어진
- Go
- 핸들
- 있다
- he
- 도움
- 도움이
- 도움이
- 그녀의
- 높은 품질의
- 방법
- How To
- HTML
- HTTPS
- 허브
- 아이디어
- 확인
- if
- 영상
- import
- 중대한
- 가져 오기
- 인상
- in
- 포함
- 정보
- 인프라
- 입력
- 입력
- 설치
- 설치
- 예
- 명령
- 통합 된
- 인텔리전스
- 으로
- 외딴
- IT
- 그
- 일
- 여행
- JPG
- 키
- 실험실
- 실험실
- 상륙
- 언어
- 대규모
- 후에
- 배우다
- 배우기
- 수
- 레벨
- 도서관
- 도서관
- 처럼
- 제한
- 라인
- 명부
- 상장 된
- 리스팅
- 하중
- 긴
- 보기
- 롯
- 절감
- 기계
- 기계 학습
- 확인
- 제작
- 유튜브 영상을 만드는 것은
- 구축
- 매니저
- 제조
- .
- 매핑
- 시장
- XNUMX월..
- ML
- 모드
- 모델
- 모델
- 모니터
- 배우기
- 가장
- name
- 이름
- 자연의
- 자연 언어 처리
- 필요한
- 필요
- 요구
- 네트워크
- news
- 다음 것
- 수첩
- 번호
- 다수의
- of
- on
- 일단
- 열 수
- or
- 조직
- 기타
- 아웃
- 출력
- 쭉 내밀다
- 위에
- 개요
- 자신의
- 꾸러미
- 페이지
- 매개 변수
- 열렬한
- 수행
- 성능
- 수행
- 수행하다
- 권한
- 플랫폼
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 포인트 적립
- 인기 문서
- 포털
- 게시하다
- 강한
- 전제 조건
- 제시
- 너무 이른
- 가격
- 이전에
- 수입
- 처리
- 획득
- 프로덕트
- 제품 관리자
- 생산
- 제품
- 프로젝트
- 소유권
- 프로토 타입
- 제공
- 제공
- 공급자
- 제공
- 제공
- 공개적으로
- 출판
- Python
- 품질
- 문의
- 범위
- 도달
- 반응
- 읽기
- 읽기 전용 모드
- 실시간
- 인식
- 에 관한
- 지방
- 지역
- 관련
- 남아
- 의뢰
- 필요
- 필수
- 제품 자료
- 리뷰
- 역할
- 거칠게
- 달리기
- 달리는
- SA
- 현자
- SageMaker 추론
- 같은
- 과학자
- 스크립트
- SDK
- 섹션
- 참조
- 선택된
- 선택
- 자가 운전
- 서비스
- 서비스
- 세션
- 세트
- 공유
- 그녀
- 짧은
- 영상을
- 소개
- 보여
- 표시
- 쇼
- 비슷한
- 단순화
- 간단히
- 단일
- 스마트 한
- So
- 소프트웨어
- 소프트웨어 공학
- 솔루션
- 풀다
- 해결
- 일부
- 어떤 사람
- 출처
- 지우면 좋을거같음 . SM
- 전문가
- 구체적인
- 안정된
- 스타트
- 시작
- 단계
- 아직도
- 스튜디오
- 가입
- 신청
- 이러한
- 요약
- 개요
- SUPPORT
- 지원
- 체계
- TAG
- 받아
- 촬영
- 작업
- 교육
- 팀
- Technology
- 조건
- 테스트
- 지원
- 그
- XNUMXD덴탈의
- 정보
- 소스
- 그들의
- 그들
- 그때
- 따라서
- Bowman의
- 그들
- 이
- 그
- 을 통하여
- 시간
- 에
- 화제
- Train
- 훈련 된
- 트레이닝
- 시도
- 두
- 유형
- 유형
- ui
- 아래에
- 이해
- URL
- 쓸 수 있는
- 용법
- 사용
- 유스 케이스
- 익숙한
- 사용자
- 사용
- 사용
- 여러
- 버전
- 를 통해
- Video
- 관측
- 시력
- 목소리
- 음량
- 였다
- we
- 웹
- 웹 서비스
- 웹 기반
- 무게
- 잘
- 어느
- 동안
- 넓은
- 넓은 범위
- 위키 백과
- 의지
- 과
- 말
- 일
- 자신의
- 너의
- 제퍼 넷