이제 Upstage의 태양광 모델을 Amazon SageMaker JumpStart에서 사용할 수 있습니다 | 아마존 웹 서비스

이제 Upstage의 태양광 모델을 Amazon SageMaker JumpStart에서 사용할 수 있습니다 | 아마존 웹 서비스

타임 스탬프 : 2 년 2024 월 11 일 오전 55:XNUMX

이 블로그 게시물은 Upstage의 이활석님과 공동으로 작성되었습니다.

오늘 우리는 다음과 같은 소식을 발표하게 되어 기쁘게 생각합니다. 태양의 이제 Upstage에서 개발한 기초 모델을 다음을 사용하는 고객이 사용할 수 있습니다. Amazon SageMaker 점프스타트. Solar는 100% 사전 학습된 LLM(대형 언어 모델)입니다. 아마존 세이지 메이커 컴팩트한 크기와 강력한 실적을 활용하여 목적 교육에 특화되어 언어, 도메인 및 작업 전반에 걸쳐 다용도로 사용할 수 있습니다.

이제 솔라 미니채팅 및 Solar 미니채팅 - Quant SageMaker JumpStart 내에서 사전 훈련된 모델. SageMaker JumpStart는 ML을 빠르게 시작하는 데 도움이 되는 기본 제공 알고리즘 외에도 기본 모델에 대한 액세스를 제공하는 SageMaker의 기계 학습(ML) 허브입니다.

이 게시물에서는 SageMaker JumpStart를 통해 Solar 모델을 검색하고 배포하는 방법을 안내합니다.

태양광 모델은 무엇인가요?

Solar는 영어와 한국어를 위한 컴팩트하고 강력한 모델입니다. 다중 턴 채팅 목적에 맞게 특별히 미세 조정되어 광범위한 자연어 처리 작업에서 향상된 성능을 보여줍니다.

Solar Mini Chat 모델은 다음을 기반으로 합니다. 태양광 10.7B, 32층으로 라마 2 구조를 가지며 사전 훈련된 가중치로 초기화됩니다. 미스트랄 7B Llama 2 아키텍처와 호환됩니다. 이러한 미세 조정을 통해 확장된 대화를 보다 효과적으로 처리할 수 있는 기능을 갖추게 되므로 특히 대화형 응용 프로그램에 적합합니다. 이라는 스케일링 방법을 사용합니다. 심도 업스케일링 (DUS)는 깊이별 스케일링과 지속적인 사전 학습으로 구성됩니다. DUS를 사용하면 다음과 같은 다른 확장 방법보다 작은 모델을 훨씬 더 간단하고 효율적으로 확대할 수 있습니다. 전문가들의 혼합 (모에).

2023년 10.7월, Solar XNUMXB 모델이 최고 정점에 도달해 파장을 일으켰습니다. LLM 리더보드 열기 포옹 얼굴의 집합입니다. 눈에 띄게 더 적은 매개변수를 사용하는 Solar 10.7B는 GPT-3.5에 필적하는 응답을 제공하지만 2.5배 더 빠릅니다. Open LLM 리더보드 10.7위를 차지한 것 외에도 Solar 4B는 특정 도메인 및 작업에 대한 목적에 맞게 훈련된 모델을 통해 GPT-XNUMX보다 성능이 뛰어납니다.

다음 그림은 이러한 측정항목 중 일부를 보여줍니다.

SageMaker JumpStart를 사용하면 Solar 10.7B 기반의 사전 훈련된 모델인 Solar Mini Chat과 Solar Mini Chat의 양자화 버전을 배포할 수 있으며 영어와 한국어로 된 채팅 애플리케이션에 최적화되어 있습니다. Solar Mini Chat 모델은 한국어 뉘앙스에 대한 고급 이해를 제공하여 채팅 환경에서 사용자 상호 작용을 크게 향상시킵니다. 사용자 입력에 대한 정확한 응답을 제공하여 영어 및 한국어 채팅 애플리케이션에서 보다 명확한 의사소통과 보다 효율적인 문제 해결을 보장합니다.

SageMaker JumpStart에서 태양광 모델 시작하기

태양광 모델을 시작하려면 완전관리형 ML 허브 서비스인 SageMaker JumpStart를 사용하여 사전 구축된 ML 모델을 프로덕션에 바로 사용할 수 있는 호스팅 환경에 배포할 수 있습니다. SageMaker JumpStart를 통해 Solar 모델에 액세스할 수 있습니다. 아마존 세이지 메이커 스튜디오, 데이터 준비부터 ML 모델 구축, 교육 및 배포에 이르기까지 모든 ML 개발 단계를 수행하기 위해 특별히 제작된 도구에 액세스할 수 있는 웹 기반 통합 개발 환경(IDE)입니다.

SageMaker Studio 콘솔에서 다음을 선택합니다. 점프 시작 탐색 창에서. Upstage의 태양광 모델을 찾으려면 검색창에 "solar"를 입력하세요.

그림 - Amazon SageMaker JumpStart에서 태양광 모델 검색

Solar Mini Chat – Quant 모델을 배포해 보겠습니다. 모델 카드를 선택하면 라이선스, 학습에 사용되는 데이터, 모델 사용 방법 등 모델에 대한 세부 정보를 볼 수 있습니다. 당신은 또한 찾을 수 있습니다 배포 옵션을 선택하면 예제 페이로드로 추론을 테스트할 수 있는 랜딩 페이지로 이동됩니다.

그림 - SageMaker JumpStart에서 Solar 모드를 배포하는 방법

이 모델에는 AWS Marketplace 신청. 이미 이 모델을 구독하고 제품 사용 승인을 받은 경우 모델을 직접 배포할 수 있습니다.

그림 - AWS Marketplace에서 태양광 모델을 구독하는 방법

이 모델을 구독하지 않은 경우 다음을 선택하세요. 확인, AWS Marketplace로 이동하여 가격 조건과 최종 사용자 라이선스 계약(EULA)을 검토하고 제안을 받아들이다.

그림 - AWS Marketplace에서 태양광 모델 제안 수락

모델을 구독한 후 인스턴스 유형 및 초기 인스턴스 수와 같은 배포 리소스를 선택하여 SageMaker 엔드포인트에 모델을 배포할 수 있습니다. 선택하다 배포 모델 추론을 위해 엔드포인트가 생성될 때까지 기다립니다. 다음을 선택할 수 있습니다. ml.g5.2xlarge 예를 들어 태양광 모델을 이용한 추론을 위한 더 저렴한 옵션입니다.

그림 - SageMaker 추론 엔드포인트 배포

SageMaker 엔드포인트가 성공적으로 생성되면 다양한 SageMaker 애플리케이션 환경을 통해 테스트할 수 있습니다.

SageMaker Studio JupyterLab에서 태양광 모델에 대한 코드 실행

SageMaker Studio는 완전 관리형 노트북 제품을 강화하는 기능 세트인 JupyterLab을 포함하여 다양한 애플리케이션 개발 환경을 지원합니다. 여기에는 몇 초 만에 시작되는 커널, 널리 사용되는 데이터 과학, ML 프레임워크 및 고성능 프라이빗 블록 스토리지로 사전 구성된 런타임이 포함되어 있습니다. 자세한 내용은 다음을 참조하세요. 세이지메이커 JupyterLab.

JupyterLab 애플리케이션을 실행하는 데 필요한 스토리지 및 컴퓨팅 리소스를 관리하는 SageMaker Studio 내에서 JupyterLab 공간을 생성합니다.

그림 - SageMaker Studio에서 JupyterLab 생성

SageMaker JumpStart에서 Solar 모델 배포를 보여주는 코드와 배포된 모델을 사용하는 방법에 대한 예를 찾을 수 있습니다. GitHub 레포. 이제 SageMaker JumpStart를 사용하여 모델을 배포할 수 있습니다. 다음 코드는 Solar Mini Chat – Quant 모델 추론 엔드포인트에 대해 기본 인스턴스 ml.g5.2xlarge를 사용합니다.

Solar 모델은 OpenAI의 채팅 완료 엔드포인트와 호환되는 요청/응답 페이로드를 지원합니다. Python을 사용하여 단일 턴 또는 다중 턴 채팅 예제를 테스트할 수 있습니다.

# Get a SageMaker endpoint
sagemaker_runtime = boto3.client("sagemaker-runtime")
endpoint_name = sagemaker.utils.name_from_base(model_name)

# Multi-turn chat prompt example
input = {
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "Can you provide a Python script to merge two sorted lists?"
      },
      {
        "role": "assistant",
        "content": """Sure, here is a Python script to merge two sorted lists:

                    ```python
                    def merge_lists(list1, list2):
                        return sorted(list1 + list2)
                    ```
                    """
      },
      {
        "role": "user",
        "content": "Can you provide an example of how to use this function?"
      }
    ]
}

# Get response from the model
response = sagemaker_runtime.invoke_endpoint(EndpointName=endpoint_name, ContentType='application/json', Body=json.dumps (input))
result = json.loads(response['Body'].read().decode())
print result

Solar Mini Chat 모델을 사용하여 실시간 추론을 성공적으로 수행했습니다.

정리

엔드포인트를 테스트한 후 SageMaker 추론 엔드포인트를 삭제하고 모델을 삭제하여 요금이 발생하지 않도록 하세요.

그림 - SageMaker의 엔드포인트 삭제

다음 코드를 실행하여 SageMaker Studio JupyterLab 노트북에서 엔드포인트와 모드를 삭제할 수도 있습니다.

# Delete the endpoint 
model.sagemaker_session.delete_endpoint(endpoint_name)
model.sagemaker_session.delete_endpoint_config(endpoint_name)

# Delete the model
model.delete_model()

자세한 내용은 다음 링크를 참조하세요 끝점 및 리소스 삭제. 또한 다음을 수행할 수 있습니다. SageMaker Studio 리소스 종료 더 이상 필요하지 않습니다.

결론

이 게시물에서는 SageMaker Studio에서 Upstage의 Solar 모델을 시작하고 추론을 위해 모델을 배포하는 방법을 보여주었습니다. 또한 SageMaker Studio JupyterLab에서 Python 샘플 코드를 실행하는 방법도 보여 주었습니다.

Solar 모델은 이미 사전 훈련되어 있으므로 훈련 및 인프라 비용을 낮추고 생성 AI 애플리케이션에 대한 사용자 정의를 가능하게 할 수 있습니다.

에서 사용해 보세요. SageMaker JumpStart 콘솔 or SageMaker Studio 콘솔! 다음 비디오를 시청할 수도 있습니다. Amazon SageMaker로 'Solar'를 사용해 보세요.

이 지침은 정보 제공의 목적으로만 제공됩니다. 귀하는 여전히 독립적인 평가를 수행해야 하며, 귀하의 특정 품질 관리 관행 및 표준과 귀하, 귀하의 콘텐츠에 적용되는 현지 규칙, 법률, 규정, 라이센스 및 사용 약관을 준수하도록 조치를 취해야 합니다. 본 지침에 언급된 타사 모델. AWS는 본 지침에 언급된 타사 모델에 대한 통제권이나 권한이 없으며, 타사 모델이 안전하고, 바이러스가 없으며, 작동 가능하거나 귀하의 프로덕션 환경 및 표준과 호환된다는 진술이나 보증을 하지 않습니다. AWS는 본 지침의 정보가 특정 결과 또는 결과를 초래할 것이라는 어떠한 진술, 보증 또는 보장도 하지 않습니다.

저자에 관하여

사진 - 윤찬니윤찬니 AWS의 수석 개발자 옹호자이며 개발자가 최신 AWS 서비스에서 최신 애플리케이션을 구축하도록 돕는 데 열정을 갖고 있습니다. 그는 실용적인 개발자이자 블로거이며 커뮤니티 중심의 학습과 기술 공유를 좋아합니다.

사진 - 이활숙이활석 Upstage의 최고 기술 책임자(CTO)입니다. 삼성테크윈, 엔씨소프트, 네이버에서 AI 연구원으로 근무했다. 그는 한국과학기술원(KAIST)에서 컴퓨터 및 전기공학 박사 과정을 밟고 있습니다.

사진 - 브랜든 리브랜든 리 AWS의 수석 솔루션 아키텍트이며 주로 공공 부문의 대규모 교육 기술 고객을 돕습니다. 그는 글로벌 기업과 대기업에서 20년 넘게 애플리케이션 개발을 주도한 경험을 갖고 있습니다.

타임 스탬프 :

더보기 AWS 기계 학습