오늘 우리는 Together Computer의 GPT-NeoXT-Chat-Base-20B 언어 기반 모델을 다음을 사용하는 고객이 사용할 수 있음을 발표하게 되어 기쁩니다. Amazon SageMaker 점프스타트. GPT-NeoXT-Chat-Base-20B는 대화형 봇을 구축하기 위한 오픈 소스 모델입니다. 이 모델을 쉽게 시험해보고 JumpStart와 함께 사용할 수 있습니다. JumpStart는 다음의 기계 학습(ML) 허브입니다. 아마존 세이지 메이커 ML을 빠르게 시작하는 데 도움이 되는 기본 제공 알고리즘 및 종단 간 솔루션 템플릿 외에도 기초 모델에 대한 액세스를 제공합니다.
이 게시물에서는 GPT-NeoXT-Chat-Base-20B 모델 내에서 모델을 호출하고 오픈챗킷 대화형 쉘. 이 데모는 애플리케이션 내에서 사용할 수 있는 오픈 소스 기반 모델 챗봇을 제공합니다.
JumpStart 모델은 딥 자바 라이브러리(DJL)를 딥 자바 라이브러리와 함께 사용하여 모델을 최적화하고 추론 대기 시간을 최소화하는 딥 자바 서빙을 사용합니다. JumpStart의 기본 구현은 다음과 유사한 구현을 따릅니다. 수첩. JumpStart 모델 허브 고객은 SageMaker SDK 외부에서 모델 스크립트를 유지하지 않고도 향상된 성능을 얻을 수 있습니다. JumpStart 모델은 또한 네트워크 격리를 가능하게 하는 엔드포인트로 향상된 보안 상태를 달성합니다.
SageMaker의 기초 모델
JumpStart는 SageMaker의 ML 개발 워크플로 내에서 사용할 수 있는 Hugging Face, PyTorch Hub 및 TensorFlow Hub를 포함하여 인기 있는 모델 허브의 다양한 모델에 대한 액세스를 제공합니다. 최근 ML의 발전으로 다음과 같은 새로운 종류의 모델이 등장했습니다. 기초 모델, 일반적으로 수십억 개의 매개변수에 대해 교육을 받고 텍스트 요약, 디지털 아트 생성 및 언어 번역과 같은 광범위한 사용 사례 범주에 적용할 수 있습니다. 이러한 모델은 교육하는 데 비용이 많이 들기 때문에 고객은 이러한 모델을 직접 교육하기보다는 기존의 사전 교육된 기초 모델을 사용하고 필요에 따라 미세 조정하기를 원합니다. SageMaker는 SageMaker 콘솔에서 선택할 수 있는 선별된 모델 목록을 제공합니다.
이제 JumpStart 내에서 다양한 모델 공급자의 기초 모델을 찾을 수 있으므로 기초 모델을 빠르게 시작할 수 있습니다. 다양한 업무나 모델 제공자를 기반으로 기반 모델을 찾을 수 있으며, 모델 특성 및 사용 조건을 쉽게 검토할 수 있습니다. 테스트 UI 위젯을 사용하여 이러한 모델을 시험해 볼 수도 있습니다. 기반 모델을 규모에 맞게 사용하려는 경우 모델 공급자의 사전 구축된 노트북을 사용하여 SageMaker를 종료하지 않고도 쉽게 수행할 수 있습니다. 모델이 AWS에서 호스팅되고 배포되기 때문에 규모에 따라 모델을 평가하거나 사용하는 데 데이터를 사용하는 경우 데이터가 제XNUMX자와 절대 공유되지 않으므로 안심할 수 있습니다.
GPT-NeoXT-Chat-Base-20B 기반 모델
투게더 컴퓨터 20억 매개변수 언어 모델인 GPT-NeoXT-Chat-Base-20B를 개발했습니다. 이 언어 모델은 ElutherAI의 GPT-NeoX 모델에서 40천만 개 이상의 명령으로 미세 조정되어 대화 스타일 상호 작용에 중점을 둡니다. 또한 이 모델은 질문 답변, 분류, 추출 및 요약과 같은 여러 작업에서 조정됩니다. 이 모델은 LAION 및 Ontocord와 공동으로 만든 OIG-43M 데이터 세트를 기반으로 합니다.
앞서 언급한 미세 조정 외에도 GPT-NeoXT-Chat-Base-20B-v0.16은 소량의 피드백 데이터를 통해 추가 미세 조정을 거쳤습니다. 이를 통해 모델은 대화에서 인간의 선호도에 더 잘 적응할 수 있습니다. GPT-NeoXT-Chat-Base-20B는 챗봇 애플리케이션에서 사용하도록 설계되었으며 의도된 범위를 벗어난 다른 사용 사례에서는 제대로 작동하지 않을 수 있습니다. Ontocord와 LAION은 공동으로 OpenChatKit을 출시했습니다. OpenChatKit은 비슷한 기능 세트를 갖춘 ChatGPT의 오픈 소스 대안입니다. OpenChatKit은 Apache-2.0 라이선스로 출시되어 소스 코드, 모델 가중치 및 교육 데이터 세트에 대한 완전한 액세스 권한을 부여합니다. OpenChatKit이 즉시 사용할 수 있는 몇 가지 작업이 있습니다. 여기에는 요약 작업, 구조화되지 않은 문서에서 구조화된 정보를 추출할 수 있는 추출 작업, 문장이나 단락을 다른 범주로 분류하는 분류 작업이 포함됩니다.
JumpStart에서 GPT-NeoXT-Chat-Base-20B 모델을 사용하는 방법을 살펴보겠습니다.
솔루션 개요
SageMaker에서 GPT-NeoXT-Chat-Base-20B의 배포를 보여주는 코드와 다음에서 명령 셸을 사용하여 배포된 모델을 대화 방식으로 사용하는 방법의 예를 찾을 수 있습니다. GitHub 노트북.
다음 섹션에서는 각 단계를 자세히 확장하여 모델을 배포한 다음 이를 사용하여 다양한 작업을 해결합니다.
- 전제 조건을 설정합니다.
- 선행 학습된 모델을 선택합니다.
- 아티팩트를 검색하고 엔드포인트를 배포합니다.
- 엔드포인트를 쿼리하고 응답을 구문 분석합니다.
- OpenChatKit 셸을 사용하여 배포된 엔드포인트와 상호 작용합니다.
전제 조건 설정
이 노트북은 다음의 ml.t3.medium 인스턴스에서 테스트되었습니다. 아마존 세이지 메이커 스튜디오 Python 3(Data Science) 커널과 conda_python3 커널이 있는 SageMaker 노트북 인스턴스.
노트북을 실행하기 전에 다음 명령을 사용하여 설정에 필요한 몇 가지 초기 단계를 완료하십시오.
선행 학습된 모델 선택
평소처럼 Boto3를 사용하여 SageMaker 세션을 설정한 다음 배포할 모델 ID를 선택합니다.
아티팩트 검색 및 엔드포인트 배포
SageMaker를 사용하면 먼저 새 데이터 세트에서 미세 조정하지 않고도 사전 훈련된 모델에서 추론을 수행할 수 있습니다. 우리는 instance_type
, image_uri
및 model_uri
사전 학습된 모델의 경우. 사전 훈련된 모델을 호스팅하기 위해 다음 인스턴스를 생성합니다. 세이지메이커.모델.모델 배포합니다. 다음 코드는 추론 끝점에 ml.g5.24xlarge를 사용합니다. 배포 방법은 몇 분 정도 걸릴 수 있습니다.
엔드포인트 쿼리 및 응답 구문 분석
다음으로 하이퍼파라미터의 하위 집합을 사용하여 엔드포인트를 호출하는 방법의 예를 보여줍니다.
다음은 우리가 받은 응답입니다.
여기에서 페이로드 인수를 제공했습니다. "stopping_criteria": ["<human>"]
, 단어 시퀀스의 생성으로 모델 응답이 종료되었습니다. <human>
. JumpStart 모델 스크립트는 문자열 목록을 원하는 중지 단어로 받아들이고 이 목록을 유효한 stops_criteria 키워드 인수 변환기가 API를 생성하고 출력 시퀀스에 지정된 중지 단어가 포함되면 텍스트 생성을 중지합니다. 이는 두 가지 이유에서 유용합니다. 첫째, 엔드포인트가 불용어 외에 원하지 않는 텍스트를 계속 생성하지 않기 때문에 추론 시간이 단축되고, 둘째, 다른 중지 기준이 충족될 때까지 OpenChatKit 모델이 추가 인간 및 봇 응답을 환각하지 않도록 방지합니다. .
OpenChatKit 셸을 사용하여 배포된 엔드포인트와 상호 작용
OpenChatKit은 챗봇과 상호 작용할 수 있는 명령줄 셸을 제공합니다. 이 단계에서는 배포된 엔드포인트와 상호 작용할 수 있는 이 셸 버전을 생성합니다. 배포된 SageMaker 엔드포인트와 상호 작용할 수 있는 이 OpenChatKit 리포지토리에서 추론 스크립트의 기본 단순화를 제공합니다.
여기에는 두 가지 주요 구성 요소가 있습니다.
- 쉘 인터프리터(
JumpStartOpenChatKitShell
) 모델 엔드포인트의 반복적 추론 호출을 허용합니다. - 대화 객체(
Conversation
) 이전 인간/챗봇 상호 작용을 대화형 셸 내에 로컬로 저장하고 미래의 추론 컨텍스트를 위해 과거 대화의 형식을 적절하게 지정합니다.
XNUMXD덴탈의 Conversation
개체는 OpenChatKit 리포지토리에서 있는 그대로 가져옵니다. 다음 코드는 끝점과 상호 작용할 수 있는 사용자 지정 셸 인터프리터를 만듭니다. 이것은 OpenChatKit 구현의 단순화된 버전입니다. OpenChatKit 리포지토리를 탐색하여 이 컨텍스트 내에서 토큰 스트리밍, 중재 모델 및 검색 증강 생성과 같은 보다 심층적인 기능을 사용할 수 있는 방법을 확인하는 것이 좋습니다. 이 노트북의 컨텍스트는 JumpStart 끝점이 있는 최소한의 실행 가능한 챗봇을 시연하는 데 중점을 둡니다. 여기에서 필요에 따라 복잡성을 추가할 수 있습니다.
쇼케이스를 위한 짧은 데모 JumpStartOpenChatKitShell
다음 비디오에 나와 있습니다.
다음 스니펫은 코드 작동 방식을 보여줍니다.
이제 이 셸을 명령 루프로 실행할 수 있습니다. 이것은 반복적으로 프롬프트를 발행하고, 입력을 수락하고, 입력 명령을 구문 분석하고, 조치를 발송합니다. 결과 쉘이 무한 루프에서 활용될 수 있기 때문에 이 노트북은 기본 명령 대기열(cmdqueue
) 대기 중인 입력 라인 목록으로. 마지막 입력이 명령이기 때문에 /quit
, 대기열이 소진되면 쉘이 종료됩니다. 이 챗봇과 동적으로 상호 작용하려면 cmdqueue
.
예 1: 대화 컨텍스트가 유지됨
다음 프롬프트는 챗봇이 후속 질문에 답하기 위해 대화의 맥락을 유지할 수 있음을 보여줍니다.
예 2: 감정 분류
다음 예에서 챗봇은 문장의 감정을 식별하여 분류 작업을 수행했습니다. 보시다시피 챗봇은 긍정적 감정과 부정적 감정을 성공적으로 분류할 수 있었습니다.
예 3: 요약 작업
다음으로 챗봇 셸을 사용하여 요약 작업을 시도했습니다. 다음 예는 긴 텍스트가 아마존 이해 한 문장으로 요약되었고 챗봇은 텍스트에 대한 후속 질문에 답할 수 있었습니다.
예 4: 구조화되지 않은 텍스트에서 구조화된 정보 추출
다음 예에서는 자유 형식 언어로 제공되는 정보를 사용하여 프로젝트 계획을 생성하기 위해 챗봇을 사용하여 헤더, 행 및 열이 있는 마크다운 테이블을 생성했습니다.
예 5: 챗봇에 대한 입력으로 사용되는 명령
다음과 같은 명령으로 입력을 제공할 수도 있습니다. /hyperparameters
하이퍼파라미터 값을 확인하고 /quit
명령 셸을 종료하려면:
이러한 예는 OpenChatKit이 뛰어난 작업 중 일부를 보여줍니다. 다양한 프롬프트를 시도하고 사용 사례에 가장 적합한 것이 무엇인지 확인하는 것이 좋습니다.
정리
엔드포인트를 테스트한 후 비용이 발생하지 않도록 SageMaker 추론 엔드포인트와 모델을 삭제해야 합니다.
결론
이 게시물에서는 SageMaker를 사용하여 GPT-NeoXT-Chat-Base-20B 모델을 테스트 및 사용하고 흥미로운 챗봇 애플리케이션을 구축하는 방법을 보여주었습니다. 오늘 SageMaker에서 기초 모델을 시험해보고 피드백을 알려주세요!
이 지침은 정보 제공의 목적으로만 제공됩니다. 귀하는 여전히 독립적인 평가를 수행해야 하며 귀하의 특정 품질 관리 관행 및 표준, 귀하와 귀하의 콘텐츠 및 이 지침에서 참조하는 타사 모델. AWS는 이 지침에 언급된 제XNUMX자 모델에 대한 통제권이나 권한이 없으며 제XNUMX자 모델이 안전하고 바이러스가 없으며 운영 가능하거나 프로덕션 환경 및 표준과 호환된다는 진술이나 보증을 하지 않습니다. AWS는 이 지침의 정보가 특정 결과를 초래할 것이라고 진술, 보증 또는 보장하지 않습니다.
저자 소개
라크나 차다 AWS Strategic Accounts의 수석 솔루션 아키텍트 AI/ML입니다. Rachna는 AI의 윤리적이고 책임 있는 사용이 미래의 사회를 개선하고 경제적, 사회적 번영을 가져올 수 있다고 믿는 낙관론자입니다. 여가 시간에 Rachna는 가족과 함께 시간을 보내고, 하이킹을 하고, 음악을 듣는 것을 좋아합니다.
카일 울리히 박사 는 응용 과학자입니다. Amazon SageMaker 내장 알고리즘 팀. 그의 연구 관심사는 확장 가능한 기계 학습 알고리즘, 컴퓨터 비전, 시계열, 베이지안 비모수 및 가우시안 프로세스를 포함합니다. Duke University에서 박사 학위를 받았으며 NeurIPS, Cell 및 Neuron에 논문을 발표했습니다.
Ashish Khetan 박사 Amazon SageMaker 내장 알고리즘을 사용하는 수석 응용 과학자이며 기계 학습 알고리즘 개발을 돕습니다. 그는 University of Illinois Urbana-Champaign에서 박사 학위를 받았습니다. 그는 기계 학습 및 통계적 추론 분야에서 활동적인 연구원이며 NeurIPS, ICML, ICLR, JMLR, ACL 및 EMNLP 컨퍼런스에서 많은 논문을 발표했습니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoAiStream. Web3 데이터 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 미래 만들기 w Adryenn Ashley. 여기에서 액세스하십시오.
- PREIPO®로 PRE-IPO 회사의 주식을 사고 팔 수 있습니다. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/gpt-neoxt-chat-base-20b-foundation-model-for-chatbot-applications-is-now-available-on-amazon-sagemaker/
- :있다
- :이다
- :아니
- $UP
- 1
- 100
- 12
- 13
- 15%
- 20
- 23
- 30
- 40
- 50
- 500
- 7
- 9
- a
- 할 수 있는
- 소개
- 수락
- ACCESS
- 에 따르면
- 계정
- 달성
- 행위
- 활동적인
- 각색하다
- 더하다
- 또한
- 추가
- 또한
- 많은
- 발전하다
- AI
- AI / ML
- 알고리즘
- 수
- 수
- 또한
- 대안
- am
- 아마존
- 아마존 이해
- 아마존 세이지 메이커
- Amazon Web Services
- 양
- an
- 분석
- 분석하다
- 및
- 알리다
- 답변
- 어떤
- API를
- API
- 앱
- 어플리케이션
- 어플리케이션
- 적용된
- 신청
- 적절하게
- 대략
- 있군요
- 논의
- 미술
- AS
- 평가
- 보증 된
- At
- 증강 된
- 권위
- 가능
- 피하기
- AWS
- 기반으로
- 베이지안
- BE
- 때문에
- 전에
- 생각
- BEST
- 더 나은
- 그 너머
- 수십억
- 봇
- 봇
- 보물상자
- 가져
- 빌드
- 내장
- by
- CAN
- 기능
- 자본
- 케이스
- 가지 경우
- 카테고리
- 범주
- 특성
- 요금
- 채팅 봇
- ChatGPT
- 왼쪽 메뉴에서
- City
- 수업
- 분류
- 분류
- 암호
- 협력하다
- 협동
- 열
- 공통의
- 유사한
- 호환
- 완전한
- 복잡성
- 구성 요소들
- 이해하다
- 컴퓨터
- 컴퓨터 비전
- 우려 사항
- 회의
- 콘솔에서
- 컨테이너
- 이 포함되어 있습니다
- 함유량
- 문맥
- 계속
- 제어
- 대화
- 이야기 잘하는
- 대화
- 변하게 하다
- 시원한
- 만들
- 만든
- 생성
- 만들기
- 기준
- 기획
- 관습
- 고객
- 고객
- DC
- 데이터
- 데이터 과학
- 데이터 세트
- 깊은
- 깊은 학습
- 태만
- 시연하는
- 의존
- 배포
- 배포
- 전개
- 설명
- 설계
- 원하는
- 세부 묘사
- 결정
- 개발
- 개발
- 개발자
- 개발
- 개발
- 다른
- 디지털
- 디지털 아트
- do
- 도커
- 문서
- 서류
- 하지
- 하지 않습니다
- 지배적 인
- 공작
- 듀크 대학
- 지속
- 역동적 인
- 마다
- 용이하게
- 간결한
- 요소
- 그렇지 않으면
- 이메일
- 가능
- 가능
- 격려
- 끝으로 종료
- 종점
- 확인
- 전체의
- 엔티티
- 실재
- 환경
- 윤리적인
- 평가
- 조차
- 검토하다
- 예
- 예
- 흥분한
- 현존하는
- 출구
- 펼치기
- 비싼
- 탐험
- 추출물
- 페이스메이크업
- 가족
- 멀리
- 즐겨찾기
- 무서움
- 특색
- 특징
- 피드백
- 를
- 파일
- Find
- 먼저,
- 집중
- 초점
- 수행원
- 다음
- 럭셔리
- Foundation
- 에
- 추가
- 미래
- 생성
- 생성
- 세대
- 얻을
- 주어진
- 가는
- 좋은
- 부여
- 보증
- 지도
- 있다
- 데
- he
- 헤더
- 도움
- 도움이
- 그녀의
- 여기에서 지금 확인해 보세요.
- 그의
- 주인
- 호스팅
- 방법
- How To
- HTML
- HTTPS
- 허브
- 사람의
- i
- ID
- 식별
- if
- 일리노이
- 영상
- 이행
- 개선
- 개선하는
- in
- 심도
- 포함
- 포함
- 포함
- 독립
- 무한의
- 정보
- 정보
- 처음에는
- 입력
- 입력
- 통찰력
- 설치
- 예
- 명령
- 예정된
- 상호 작용하는
- 상호 작용
- 대화형
- 흥미있는
- 이해
- 으로
- 격리
- 발행물
- IT
- 그
- 자바
- 작업
- JPG
- 다만
- 키
- 종류
- 알아
- 알려진
- 언어
- 언어
- 넓은
- 성
- 숨어 있음
- 시작
- 시작
- 법규
- 배우기
- 출발
- 하자
- 도서관
- 도서관
- 특허
- 면허
- 처럼
- 좋아하는
- 라인
- 라인
- 명부
- 청취
- 지방의
- 장소 상에서
- 긴
- 롯
- 기계
- 기계 학습
- 본관
- 유지하다
- 확인
- 태도
- .
- XNUMX월..
- 조치들
- 매질
- 언급하다
- 방법
- 백만
- 최소의
- 회의록
- ML
- 모델
- 모델
- 절도
- 수정
- 배우기
- 오전 투어
- 음악
- 자연의
- 자연 언어 처리
- 필요
- 필요
- 부정
- 네트워크
- 네트워킹
- 못
- 신제품
- 새로운 제품
- news
- nlp
- 아니
- 수첩
- 지금
- 대상
- of
- 올리브
- on
- ONE
- 만
- 오픈 소스
- 운영
- 최적화
- 옵션
- or
- 기타
- 우리의
- 아웃
- 결과
- 설명
- 출력
- 외부
- 위에
- 자신의
- 서류
- 매개 변수
- 특별한
- 파티
- 과거
- 수행
- 성능
- 구문
- 피자
- 계획
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 연극
- 인기 문서
- 긍정적인
- 게시하다
- 사례
- Predictor
- 환경 설정
- 전제 조건
- 방지
- 너무 이른
- 교장
- 우선
- 프로세스
- 처리
- 생산
- 제품
- 프로젝트
- 번영
- 제공
- 제공
- 제공
- 제공
- 출판
- 목적
- Python
- 파이 토치
- 품질
- 문제
- 문의
- 빨리
- 범위
- 차라리
- 실시간
- 이유
- 최근
- 조리법
- 인식
- 인식하는
- 감소
- 리팩터링
- 규정
- 공개
- 제거
- 자꾸
- 저장소
- 필수
- 연구
- 연구원
- 응답
- 응답
- 책임
- REST
- 결과
- 결과
- 유지
- return
- 리뷰
- 상승
- 규칙
- 달리기
- s
- 현자
- SageMaker 추론
- 라고
- 확장성
- 규모
- 주사
- 과학
- 과학자
- 범위
- 스크립트
- SDK
- 검색
- 둘째
- 섹션
- 안전해야합니다.
- 보안
- 참조
- 선택
- 본인
- 연장자
- 문장
- 감정
- 순서
- 연속
- 서비스
- 서비스
- 피복재
- 세션
- 세트
- 설정
- 설치
- 몇몇의
- 공유
- 껍질
- 짧은
- 영상을
- 표시
- 소개
- 전시
- 보여
- 표시
- 쇼
- 비슷한
- 단순화
- SIX
- 작은
- So
- 사회적
- 소셜 네트워킹
- 사회
- 해결책
- 솔루션
- 풀다
- 일부
- 출처
- 소스 코드
- 구체적인
- 지정
- 속도
- 지출
- 전파
- 기준
- 스타트
- 시작
- 통계적인
- 단계
- 단계
- 아직도
- 중지
- 상점
- 전략의
- 스트리밍
- 구조
- 구조화
- 성공적으로
- 이러한
- 개요
- 지원
- 테이블
- 받아
- 태스크
- 작업
- 팀
- 기법
- 이야기
- 템플릿
- 텐서 흐름
- 조건
- test
- 테스터
- 보다
- 그
- XNUMXD덴탈의
- 수도
- 미래
- 정보
- 소스
- 그들
- 그들 자신
- 그때
- 그곳에.
- Bowman의
- 제삼
- 제 3 자
- 타사
- 이
- 을 통하여
- 시간
- 시계열
- 에
- 오늘
- 함께
- 토큰
- Train
- 훈련 된
- 트레이닝
- 변압기
- 번역
- 시도
- 참된
- 시도
- 두
- 유형
- 일반적으로
- ui
- 아래에
- 밑에 있는
- 이해
- 대학
- 까지
- ...에
- us
- 용법
- 사용
- 유스 케이스
- 익숙한
- 사용
- 사용
- 마케팅은:
- 종류
- 여러
- 버전
- 를 통해
- 존립 할 수있는
- Video
- 시력
- 필요
- 따뜻한
- 였다
- 워싱턴
- we
- 날씨
- 웹
- 웹 서비스
- 주
- 환영
- 잘
- 뭐
- 언제
- 여부
- 어느
- 누구
- 넓은
- 넓은
- 의지
- 과
- 이내
- 없이
- 워드
- 말
- 일
- 쓰다
- 자신의
- 너의
- 제퍼 넷