Amazon SageMaker를 사용하는 고객을 위한 LightOn Lyra-fr 기초 모델의 가용성을 발표하게 되어 기쁩니다. LightOn은 유럽 언어에 특화된 기초 모델 구축의 선두 주자입니다. Lyra-fr은 대화형 AI, 카피라이팅 도구, 텍스트 분류기, 시맨틱 검색 등을 구축하는 데 사용할 수 있는 최첨단 프랑스어 모델입니다. 이 모델을 쉽게 시험해보고 다음과 함께 사용할 수 있습니다. Amazon SageMaker 점프스타트. JumpStart는 SageMaker의 기계 학습(ML) 허브로, ML을 빠르게 시작할 수 있도록 기본 제공 알고리즘 및 종단 간 솔루션 템플릿 외에도 기초 모델에 대한 액세스를 제공합니다.
이 블로그에서는 SageMaker에서 Lyra-fr 모델을 사용하는 방법을 시연합니다.
기초 모델
기본 모델은 일반적으로 수십억 개의 매개변수에 대해 학습되며 광범위한 사용 사례 범주에 적용할 수 있습니다. 오늘날 가장 잘 알려진 기초 모델은 기사를 요약하고, 디지털 아트를 만들고, 간단한 텍스트 지침에서 코드를 생성하는 데 사용됩니다. 이러한 모델은 교육하는 데 비용이 많이 들기 때문에 고객은 이러한 모델을 직접 교육하는 것보다 기존의 사전 교육된 기초 모델을 사용하고 필요에 따라 미세 조정하기를 원합니다. SageMaker는 SageMaker 콘솔에서 선택할 수 있는 선별된 모델 목록을 제공합니다. 웹 인터페이스에서 이러한 모델을 직접 테스트할 수 있습니다. 기반 모델을 규모에 맞게 사용하려는 경우 모델 공급자의 사전 구축된 노트북을 사용하여 SageMaker를 종료하지 않고도 쉽게 수행할 수 있습니다. 모델이 AWS에서 호스팅되고 배포되기 때문에 규모에 따라 모델을 평가하거나 사용하는 데 데이터를 사용하는 경우 데이터가 제XNUMX자와 절대 공유되지 않으므로 안심할 수 있습니다.
Lyra-fr은 오늘날 시장에서 사용할 수 있는 가장 큰 프랑스어 모델입니다. 10억 개의 매개변수 모델로 LightOn에서 훈련하고 액세스할 수 있습니다. Lyra-fr은 프랑스에서 큐레이팅된 대규모 데이터 모음에 대해 교육을 받았으며 사람과 같은 텍스트를 작성하고 분류, 질문 응답 및 요약과 같은 복잡한 작업을 해결할 수 있습니다. 평균 요청에 대해 1~2초 범위의 합리적인 추론 속도를 유지하면서 이 모든 작업을 수행합니다. 수행하려는 작업을 자연어로 간단히 설명하면 Lyra-fr이 프랑스어 원어민 수준의 응답을 생성합니다. Lyra-fr은 단 몇 줄의 코드로 조정 가능한 생성 및 텍스트 분류와 같은 비즈니스용 인텔리전스 프리미티브를 제공합니다. 더 어려운 작업의 경우 몇 가지 입력-출력 예제를 프롬프트에 제공하는 "몇 가지 샷" 학습 모드에서 성능을 향상시킬 수 있습니다.
SageMaker에서 Lyra-fr 사용
Lyra-fr 모델을 사용하는 방법을 간단한 3단계로 안내합니다.
- Discover – SageMaker용 AWS Management Console에서 Lyra-fr 모델을 찾습니다.
- Test – 웹 인터페이스를 사용하여 모델을 테스트합니다.
- 배포 – 노트북을 사용하여 모델의 고급 기능을 배포하고 테스트합니다.
Discover
Lyra-fr과 같은 기초 모델을 쉽게 찾을 수 있도록 모든 기초 모델을 한 곳에 통합했습니다. Lyra-fr 모델을 찾으려면:
- 에 로그인 SageMaker용 AWS 관리 콘솔.
- 왼쪽 탐색 패널에 다음 섹션이 표시됩니다. 점프 시작 과 기초 모델 그것 아래. 아직 액세스 권한이 없는 경우 이 기능에 대한 액세스 권한을 요청하세요.
- 계정이 허용 목록에 있으면 오른쪽에 모델 목록이 표시됩니다. 여기에서 Lyra-fr 10B 모델을 찾을 수 있습니다.
- 클릭 모델 보기 추가 옵션이 있는 전체 모델 카드가 표시됩니다.
Test
일반적인 사용 사례는 임시 테스트를 실행하여 모델이 요구 사항을 충족하는지 확인하는 것입니다. SageMaker 콘솔에서 직접 Lyra-fr 모델을 테스트할 수 있습니다. 이 예에서는 프랑스어로 "watercolor" 또는 "l'aquarelle" 주제에 대한 기사 아이디어 목록을 생성하도록 모델에 요청하여 간단한 텍스트 프롬프트를 사용할 것입니다.
- 이전 섹션에 표시된 모델 카드에서 다음을 선택합니다. 모델을 사용해보십시오. 그러면 테스트 인터페이스가 있는 새 탭이 열립니다.
- 이 인터페이스에서 모델에 전달하려는 텍스트 입력을 제공하십시오. 오른쪽에 있는 슬라이더를 사용하여 원하는 매개변수를 조정할 수도 있습니다. 만족스러우면 선택 텍스트 생성.
기초 모델과 해당 출력은 모델 공급자가 제공하며 AWS는 그 내용이나 정확성에 대해 책임을 지지 않습니다.
배포
텍스트 생성 모델은 모델에서 제공하려는 정보의 예를 제공할 때 가장 잘 작동합니다. 이것을 퓨샷 학습이라고 합니다. Lyra-fr 샘플 노트북을 사용하여 이 기능을 시연합니다. 샘플 노트북은 SageMaker에 Lyra-fr 모델을 배포하는 방법, 텍스트를 요약하고 생성하는 방법, 소수점 학습을 수행합니다.
JSON을 직접 사용하거나 Lyra Python SDK를 사용하여 추론 요청을 만드는 예제도 포함되어 있습니다. Lyra Python SDK는 입력 형식 지정, 끝점 호출 및 출력 압축 해제를 처리합니다. 끝점당 하나의 클래스(생성, 분석, 선택, 포함, 비교 및 토큰화)가 있습니다. 이 예제에서는 ml.p4d.24xlarge 인스턴스를 사용합니다. AWS 계정의 기본 제한이 0인 경우 이 GPU 인스턴스에 대한 제한 증가를 요청해야 합니다.
SageMaker는 SageMaker Studio를 통해 관리형 노트북 환경을 제공합니다. SageMaker Studio 설정 방법에 대한 자세한 내용은 다음을 참조하십시오. Amazon SageMaker 개발자 안내서. 이 데모에서는 이 GitHub 리포지토리를 SageMaker Studio로 복제할 예정이지만 노트북은 다른 환경에서도 작동합니다.
노트북을 실행하는 방법을 살펴보겠습니다.
- 이 블로그 게시물의 검색 섹션에서 모델 카드로 이동하고 선택합니다. 노트북 보기. Lyra-fr 노트북과 함께 GitHub에서 새 탭이 열려야 합니다.
- GitHub에서 선택 lightonmuse-sagemaker-sdk; 이것은 당신을 repo로 데려다 줄 것입니다. 선택 암호 버튼을 누르고 HTTPS URL을 복사합니다.
- SageMaker Studio를 엽니다. 고르다 리포지토리 복제 그런 다음 위에서 복사한 URL을 붙여넣습니다.
- 왼쪽의 파일 브라우저를 사용하여 Lyra-fr 노트북으로 이동합니다.
- 이 노트북은 추가 입력 없이 종단 간 실행되며 생성된 리소스도 정리합니다. "감정 분석을 위해 만들기 사용" 예제를 살펴볼 수 있습니다. 이 예제는 Lyra Python SDK를 사용하고 어떤 텍스트가 긍정(positifs), 부정(négatifs) 또는 혼합(mitigés)으로 분류되어야 하는지에 대한 몇 가지 예제로 모델을 교육하여 퓨샷 학습을 보여줍니다.
- Lyra Python SDK를 사용하면 SageMaker 엔드포인트의 이름과 입력을 제공하기만 하면 됩니다. SDK는 모든 구문 분석, 서식 지정 및 설정을 처리합니다.
- 이 프롬프트를 실행하면 마지막 문이 긍정적인 것으로 반환됩니다.
정리
엔드포인트를 테스트한 후 비용이 발생하지 않도록 SageMaker 추론 엔드포인트와 모델을 삭제해야 합니다.
결론
이 게시물에서는 Amazon SageMaker를 사용하여 Lyra-fr 모델을 검색, 테스트 및 배포하는 방법을 설명했습니다. 액세스 요청 기초 모델을 사용해보십시오 오늘 SageMaker에서 의견을 보내주세요!
저자 소개
이아코포 폴리 LightOn의 CTO로서 매우 큰 언어 모델을 구축하고 대중에게 제공하는 회사의 전략적 기술 선택을 담당합니다. 그는 직관적인 인터페이스를 통한 기계 학습의 민주화에 열정적입니다. 여가 시간에 그는 파리 최고의 레스토랑을 찾는 것을 즐깁니다.
앨런 탄 SageMaker의 수석 제품 관리자로 대규모 모델 추론을 주도하고 있습니다. 그는 분석 영역에 기계 학습을 적용하는 데 열정적입니다. 그는 일 외에는 야외 활동을 즐깁니다.
