이제 Amazon SageMaker에서 AI21 Jurassic-1 기초 모델 사용 가능

오늘 AI21 Jurassic-1(J1) 기초 모델을 다음을 사용하는 고객이 사용할 수 있음을 발표하게 되어 기쁩니다. 아마존 세이지 메이커. Jurassic-1 모델은 매우 다재다능하며 인간과 같은 텍스트 생성은 물론 질문 답변, 텍스트 분류 등과 같은 복잡한 작업을 해결할 수 있습니다. 이 모델을 쉽게 시험해보고 다음과 함께 사용할 수 있습니다. Amazon SageMaker 점프스타트. JumpStart는 SageMaker의 기계 학습(ML) 허브로, ML을 빠르게 시작할 수 있도록 기본 제공 알고리즘 및 종단 간 솔루션 템플릿 외에도 기초 모델에 대한 액세스를 제공합니다.

이 게시물에서는 SageMaker에서 Jurassic-1 Grande 모델을 사용하는 방법을 살펴봅니다.

SageMaker의 기초 모델

JumpStart는 SageMaker의 ML 개발 워크플로 내에서 사용할 수 있는 Hugging Face, PyTorch Hub 및 TensorFlow Hub를 비롯한 인기 있는 모델 허브의 다양한 모델에 대한 액세스를 제공합니다. 최근 ML의 발전으로 다음과 같은 새로운 종류의 모델이 등장했습니다. 기초 모델, 일반적으로 수십억 개의 매개변수에 대해 교육을 받고 텍스트 요약, 디지털 아트 생성 및 언어 번역과 같은 광범위한 사용 사례 범주에 적용할 수 있습니다. 이러한 모델은 교육하는 데 비용이 많이 들기 때문에 고객은 이러한 모델을 직접 교육하기보다는 기존의 사전 교육된 기초 모델을 사용하고 필요에 따라 미세 조정하기를 원합니다. SageMaker는 SageMaker 콘솔에서 선택할 수 있는 선별된 모델 목록을 제공합니다.

이제 JumpStart 내에서 다양한 모델 공급자의 기초 모델을 찾을 수 있으므로 기초 모델을 빠르게 시작할 수 있습니다. 다양한 업무나 모델 제공자를 기반으로 기반 모델을 찾을 수 있으며, 모델 특성 및 사용 조건을 쉽게 검토할 수 있습니다. 테스트 UI 위젯을 사용하여 이러한 모델을 시험해 볼 수도 있습니다. 기반 모델을 규모에 맞게 사용하려는 경우 모델 공급자의 사전 구축된 노트북을 사용하여 SageMaker를 종료하지 않고도 쉽게 수행할 수 있습니다. 모델이 AWS에서 호스팅되고 배포되기 때문에 규모에 따라 모델을 평가하거나 사용하는 데 데이터를 사용하는 경우 데이터가 제XNUMX자와 절대 공유되지 않으므로 안심할 수 있습니다.

Jurassic-1 재단 모델

Jurassic-1은 대규모 언어 모델 시리즈의 첫 번째 세대로 AI21 연구소. 다른 모델과의 벤치마크 및 정량적 비교를 포함하여 Jurassic-1에 대한 전체 설명은 다음을 참조하십시오. 기술 논문. 모든 J1 모델은 방대한 양의 영어 텍스트 코퍼스에 대해 교육을 받았기 때문에 인간과 유사한 텍스트를 작성하고 질문 답변, 텍스트 분류 등과 같은 복잡한 작업을 해결할 수 있는 매우 다재다능한 범용 텍스트 생성기가 되었습니다. J1은 작업에 대한 설명과 몇 가지 예를 포함하는 적절한 프롬프트를 만들어 사실상 모든 언어 작업에 적용할 수 있습니다. 신속한 엔지니어링. 인기 있는 사용 사례로는 마케팅 카피 생성, 챗봇 지원, 창작 지원 등이 있습니다.

“우리는 텍스트를 위한 세계적 수준의 기초 모델을 구축하고 있으며 고객이 최신 Jurassic-1 모델로 혁신할 수 있도록 돕고 싶습니다. Amazon SageMaker는 가장 깊고 광범위한 ML 서비스 세트를 제공하며 고객이 개발 환경 내에서 SageMaker에서 이러한 기반 모델을 사용할 수 있도록 Amazon SageMaker와 협력하게 되어 기쁩니다. 이제 고객은 비즈니스에서 빠르게 혁신하고 가치 실현 시간을 단축하며 효율성을 높일 수 있습니다.”

-Ori Goshen, AI21 Labs의 공동 CEO.

연습

SageMaker에서 J1-Grande 모델을 테스트하기 위한 둘러보기를 안내해 드리겠습니다. 간단한 XNUMX단계로 경험해 볼 수 있습니다.

1. SageMaker 콘솔에서 Jurassic-1 모델을 선택합니다.
2. 테스트 위젯을 사용하여 모델을 평가합니다.
3. 기반 모델과 연결된 노트북을 사용하여 환경에 배포합니다.

각 단계를 자세히 확장해 보겠습니다.

SageMaker 콘솔에서 Jurassic-1 모델 선택

첫 번째 단계는 로그인하는 것입니다. AWS 관리 콘솔 Amazon SageMaker의 경우 아래의 기초 모델 범주에서 기초 모델 목록에 대한 액세스를 요청합니다. 점프 시작 이벤트 예약 링크:

계정이 허용된 후 이 페이지에서 모델 목록을 볼 수 있습니다. 동일한 보기에서 Jurassic-1 Grande 모델을 빠르게 검색할 수 있습니다.

테스트 위젯으로 Jurassic-1 Grande 모델 평가

Jurassic-1 Grande 목록에서 다음을 선택합니다. 모델보기. 모델에 대한 설명과 수행할 수 있는 작업이 표시됩니다. 계속하기 전에 모델에 대한 EULA를 읽으십시오.

먼저 텍스트 요약을 위한 모델을 사용해 봅시다. 선택하다 모델을 사용해보십시오.

J1-Grande 모델에 샘플 프롬프트를 제공하고 출력을 볼 수 있는 별도의 브라우저 탭 페이지로 이동합니다.

다음 예제는 리뷰를 기반으로 식당에 대한 요약을 생성합니다.

기초 모델과 해당 출력은 모델 공급자가 제공하며 AWS는 그 내용이나 정확성에 대해 책임을 지지 않습니다.

모델 출력은 설정 및 프롬프트에 따라 다를 수 있습니다. 간단한 지침을 사용하여 모델에서 텍스트를 생성할 수 있지만 인간이 하는 것처럼 프롬프트에 더 많은 예제를 모델에 제공하면 의도에 더 부합하는 완성을 생성할 수 있습니다. 모델을 안내하는 가장 좋은 방법은 프롬프트에 입력/출력 쌍의 몇 가지 예를 제공하는 것입니다. 이렇게 하면 모델이 모방할 패턴이 설정됩니다. 그런 다음 쿼리 예제에 대한 입력을 추가하고 모델이 적절한 생성으로 완료하도록 합니다.

모델을 사용해 본 후에는 노트북을 사용하고 환경에서 엔드포인트로 배포할 차례입니다.

노트북에서 기반 모델 배포

이전에 표시된 모델 목록으로 돌아가서 다음을 선택하십시오. 노트북 보기. 모델을 배포하기 위한 연습이 포함된 Jurassic-1 Grande Jupyter 노트북이 표시되어야 합니다.

에서 이 노트북을 사용하자 아마존 세이지 메이커 스튜디오. Studio를 열고 Git 저장소 URL을 사용하여 노트북을 가져옵니다. https://github.com/AI21Labs/SageMaker.git.

노트북 예제에서는 Boto3 SDK와 AI21 SDK를 모두 사용하여 엔드포인트를 배포하고 상호 작용합니다.

이 예에서는 ml.g5.12xlarge 인스턴스를 사용합니다. AWS 계정의 기본 제한이 0인 경우 이 GPU 인스턴스에 대한 제한 증가를 요청해야 합니다.

SageMaker 추론을 사용하여 엔드포인트를 생성해 보겠습니다. 먼저 필요한 변수를 설정한 다음 모델 패키지에서 모델을 배포합니다.

model_name = "j1-grande"

content_type = "application/json"

real_time_inference_instance_type = (
    "ml.g5.12xlarge"
)

# create a deployable model from the model package.
model = ModelPackage(
    role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)

# Deploy the model
predictor = model.deploy(1, real_time_inference_instance_type, endpoint_name=model_name, 
                         model_data_download_timeout=3600,
                         container_startup_health_check_timeout=600,
                        )

엔드포인트가 배포된 후 모델에 대해 추론 쿼리를 실행할 수 있습니다.

Jurassic-1 Grande를 스마트 자동 완성 알고리즘으로 생각할 수 있습니다. 일반 영어로 표현된 힌트와 패턴을 파악하고 동일한 패턴을 따르는 텍스트를 생성하는 데 매우 뛰어납니다. 모델이 배포된 후 다음 코드 조각을 사용하여 배포된 끝점과 상호 작용할 수 있습니다.

response = ai21.Completion.execute(sm_endpoint="j1-grande",
                                   prompt="To be or",
                                   maxTokens=4,
                                   temperature=0,
                                   numResults=1)

print(response['completions'][0]['data']['text'])

노트북에는 AI21 SDK로 추론 쿼리를 실행하는 방법에 대한 연습도 포함되어 있습니다.

다음 비디오는 워크플로우를 안내합니다.

정리

엔드포인트를 테스트한 후 비용이 발생하지 않도록 SageMaker 추론 엔드포인트와 모델을 삭제해야 합니다.

결론

이번 포스팅에서는 Amazon SageMaker를 사용하여 AI21의 Jurassic Grande 모델을 테스트하고 사용하는 방법을 보여드렸습니다. 액세스 요청, 기초 모델을 사용해보십시오 오늘 SageMaker에서 의견을 보내주세요!

저자 소개

카르틱 바라티 제품 관리, 제품 전략, 실행 및 출시 경험이 XNUMX년 이상인 Amazon SageMaker 팀의 제품 리더입니다.

토머 아시다 AI21 Labs의 알고리즘 팀 리더입니다. 알고 팀 리더로서 Tomer는 Jurassic-21 모델 및 관련 API를 포함하여 개발자 플랫폼 Ai1 Studio의 알고리즘 개발 노력을 이끌고 있습니다.