오늘 우리는 다음과 같은 소식을 발표하게 되어 기쁘게 생각합니다. DBRX 모델, 에서 개발한 개방형 범용 대형 언어 모델(LLM)입니다. 데이터 브릭, 다음을 통해 고객이 이용할 수 있습니다. Amazon SageMaker 점프스타트 추론 실행을 위해 한 번의 클릭으로 배포합니다. DBRX LLM은 신중하게 선별된 12조 개의 토큰 데이터와 최대 32,000개 토큰의 컨텍스트 길이에 대해 사전 훈련된 세분화된 전문가 혼합(MoE) 아키텍처를 사용합니다.
ML을 빠르게 시작할 수 있도록 알고리즘과 모델에 대한 액세스를 제공하는 기계 학습(ML) 허브인 SageMaker JumpStart로 이 모델을 시험해 볼 수 있습니다. 이 게시물에서는 DBRX 모델을 검색하고 배포하는 방법을 안내합니다.
DBRX 모델이란 무엇입니까?
DBRX는 변환기 아키텍처를 기반으로 구축된 정교한 디코더 전용 LLM입니다. 이는 총 132억 개의 매개변수를 통합하는 세분화된 MoE 아키텍처를 사용하며, 이러한 매개변수 중 36억 개가 특정 입력에 대해 활성화됩니다.
이 모델은 12조 개의 텍스트와 코드 토큰으로 구성된 데이터 세트를 사용하여 사전 학습을 거쳤습니다. Mixtral 및 Grok-1과 같은 다른 개방형 MoE 모델과 달리 DBRX는 최적화된 성능을 위해 더 많은 수의 소규모 전문가를 사용하는 세분화된 접근 방식을 제공합니다. 다른 MoE 모델과 비교하여 DBRX에는 16명의 전문가가 있으며 4명을 선택합니다.
이 모델은 제한 없이 사용할 수 있도록 Databricks Open Model 라이선스에 따라 제공됩니다.
SageMaker JumpStart란?
SageMaker JumpStart는 콘텐츠 작성, 코드 생성, 질문 답변, 카피라이팅, 요약, 분류 및 정보 검색과 같은 다양한 사용 사례에 대한 최첨단 기반 모델을 제공하는 완전관리형 플랫폼입니다. 빠르고 쉽게 배포할 수 있는 사전 학습된 모델 컬렉션을 제공하여 ML 애플리케이션의 개발 및 배포를 가속화합니다. SageMaker JumpStart의 주요 구성 요소 중 하나는 다양한 작업을 위해 DBRX와 같은 사전 훈련된 모델의 방대한 카탈로그를 제공하는 모델 허브입니다.
이제 몇 번의 클릭만으로 DBRX 모델을 검색하고 배포할 수 있습니다. 아마존 세이지 메이커 스튜디오 또는 SageMaker Python SDK를 통해 프로그래밍 방식으로 모델 성능과 MLOps 제어를 도출할 수 있습니다. 아마존 세이지 메이커 다음과 같은 기능 Amazon SageMaker 파이프 라인, Amazon SageMaker 디버거또는 컨테이너 로그. 이 모델은 AWS 보안 환경과 VPC 제어에 배포되어 데이터 보안을 제공하는 데 도움이 됩니다.
SageMaker JumpStart에서 모델 검색
SageMaker Studio UI 및 SageMaker Python SDK의 SageMaker JumpStart를 통해 DBRX 모델에 액세스할 수 있습니다. 이 섹션에서는 SageMaker Studio에서 모델을 검색하는 방법을 살펴보겠습니다.
SageMaker Studio는 데이터 준비에서 ML 모델 구축, 교육 및 배포에 이르기까지 모든 ML 개발 단계를 수행하기 위해 특별히 제작된 도구에 액세스할 수 있는 단일 웹 기반 시각적 인터페이스를 제공하는 통합 개발 환경(IDE)입니다. SageMaker Studio 시작 및 설정 방법에 대한 자세한 내용은 다음을 참조하십시오. 아마존 세이지 메이커 스튜디오.
SageMaker Studio에서는 다음을 선택하여 SageMaker JumpStart에 액세스할 수 있습니다. 점프 시작 탐색 창에서
SageMaker JumpStart 랜딩 페이지의 검색 상자에서 "DBRX"를 검색할 수 있습니다. 검색 결과가 나열됩니다 DBRX 지시 및 DBRX 베이스.
모델 카드를 선택하면 라이선스, 학습에 사용되는 데이터, 모델 사용 방법 등 모델에 대한 세부 정보를 볼 수 있습니다. 당신은 또한 찾을 수 있습니다 배포 버튼을 눌러 모델을 배포하고 엔드포인트를 생성합니다.
SageMaker JumpStart에서 모델 배포
다음을 선택하면 배포가 시작됩니다. 배포 단추. 배포가 완료되면 엔드포인트가 생성된 것을 볼 수 있습니다. 샘플 추론 요청 페이로드를 전달하거나 SDK를 사용하여 테스트 옵션을 선택하여 엔드포인트를 테스트할 수 있습니다. SDK 사용 옵션을 선택하면 SageMaker Studio에서 선택한 노트북 편집기에서 사용할 수 있는 예제 코드가 표시됩니다.
DBRX 베이스
SDK를 사용하여 배포하려면 먼저 다음에서 지정한 DBRX 기본 모델을 선택합니다. model_id
값이huggingface-llm-dbrx-base입니다. 다음 코드를 사용하여 SageMaker에서 선택한 모델을 배포할 수 있습니다. 마찬가지로 자체 모델 ID를 사용하여 DBRX Instruct를 배포할 수 있습니다.
그러면 기본 인스턴스 유형 및 기본 VPC 구성을 포함한 기본 구성으로 SageMaker에 모델이 배포됩니다. 기본값이 아닌 값을 지정하여 이러한 구성을 변경할 수 있습니다. JumpStart모델. EULA(최종 사용자 사용권 계약)에 동의하려면 Eula 값을 True로 명시적으로 정의해야 합니다. 또한 엔드포인트를 하나 이상의 인스턴스로 사용하기 위해 ml.p4d.24xlarge 또는 ml.pde.24xlarge를 사용하기 위한 계정 수준 서비스 제한이 있는지 확인하십시오. 지침을 따를 수 있습니다. 여기에서 지금 확인해 보세요. 서비스 할당량 증가를 요청합니다.
배포된 후에는 SageMaker 예측기를 통해 배포된 엔드포인트에 대해 추론을 실행할 수 있습니다.
예제 프롬프트
모델이 입력 시퀀스를 처리하고 시퀀스에서 예측된 다음 단어를 출력하는 표준 텍스트 생성 모델과 마찬가지로 DBRX 기본 모델과 상호 작용할 수 있습니다. 이 섹션에서는 몇 가지 예시 프롬프트와 샘플 출력을 제공합니다.
코드 생성
앞의 예를 사용하여 다음과 같이 코드 생성 프롬프트를 사용할 수 있습니다.
출력은 다음과 같습니다.
감정 분석
DBRX에서 다음과 같은 프롬프트를 사용하여 감정 분석을 수행할 수 있습니다.
출력은 다음과 같습니다.
질문 답변
DBRX에서는 다음과 같은 질문 응답 프롬프트를 사용할 수 있습니다.
출력은 다음과 같습니다.
DBRX 지시
DBRX의 명령 조정 버전은 대화 역할이 사용자의 프롬프트로 시작하고 사용자 명령과 보조자(DBRX-instruct)를 번갈아 수행해야 하는 형식화된 명령을 허용합니다. 명령 형식을 엄격히 준수해야 합니다. 그렇지 않으면 모델이 최적이 아닌 출력을 생성하게 됩니다. Instruct 모델에 대한 프롬프트를 작성하기 위한 템플릿은 다음과 같이 정의됩니다.
<|im_start|>
및 <|im_end|>
문자열 시작(BOS) 및 문자열 끝(EOS)에 대한 특수 토큰입니다. 모델에는 시스템, 사용자 및 보조자 간의 여러 대화 차례가 포함될 수 있으므로 모델의 응답을 향상시키기 위해 몇 장의 예시를 통합할 수 있습니다.
다음 코드는 명령 형식으로 프롬프트의 형식을 지정하는 방법을 보여줍니다.
지식 검색
지식 검색을 위해 다음 프롬프트를 사용할 수 있습니다.
출력은 다음과 같습니다.
코드 생성
DBRX 모델은 코딩 작업에 대한 벤치마크 강점을 보여줍니다. 예를 들어 다음 코드를 참조하세요.
출력은 다음과 같습니다.
수학과 추론
DBRX 모델은 또한 수학적 정확성의 강점을 보고합니다. 예를 들어 다음 코드를 참조하세요.
DBRX는 수학 논리를 사용하여 다음 출력에 표시된 대로 이해력을 제공할 수 있습니다.
정리
노트북 실행을 마친 후에는 청구가 중지되도록 프로세스에서 생성한 모든 리소스를 삭제해야 합니다. 다음 코드를 사용하세요.
결론
이 게시물에서는 SageMaker Studio에서 DBRX를 시작하고 추론을 위해 모델을 배포하는 방법을 보여주었습니다. 기초 모델은 사전 훈련되어 있으므로 훈련 및 인프라 비용을 낮추고 사용 사례에 맞게 사용자 정의할 수 있습니다. 지금 SageMaker Studio에서 SageMaker JumpStart를 방문하여 시작하세요.
제품 자료
저자에 관하여
시카르 콰트라 Amazon Web Services의 AI/ML 전문 솔루션 설계자로서 선도적인 글로벌 시스템 통합업체와 협력하고 있습니다. 그는 AI/ML 및 IoT 분야에서 400개 이상의 특허를 보유한 인도 최연소 마스터 발명가 중 한 명이라는 칭호를 얻었습니다. 그는 스타트업부터 대기업, IoT 연구 엔지니어, 데이터 과학자, 데이터 및 AI 설계자에 이르기까지 8년 이상의 업계 경험을 보유하고 있습니다. Shikhar는 조직을 위한 비용 효율적이고 확장 가능한 클라우드 환경의 설계, 구축 및 유지 관리를 지원하고 전략적 산업 구축에서 GSI 파트너를 지원합니다.
니티인 비제아스와란 AWS의 솔루션스 아키텍트입니다. 그의 관심 분야는 생성 AI와 AWS AI Accelerator입니다. 그는 컴퓨터 과학 및 생물정보학 학사 학위를 보유하고 있습니다. Niithiyn은 Generative AI GTM 팀과 긴밀히 협력하여 AWS 고객이 다양한 측면에서 지원하고 생성 AI 채택을 가속화합니다. 그는 Dallas Mavericks의 열렬한 팬이며 운동화 수집을 즐깁니다.
세바스티안 부스티요 AWS의 솔루션스 아키텍트입니다. 그는 생성 AI 및 컴퓨팅 가속기에 대한 깊은 열정으로 AI/ML 기술에 중점을 두고 있습니다. AWS에서 그는 고객이 생성 AI를 통해 비즈니스 가치를 실현하도록 돕습니다. 일하지 않을 때에는 완벽한 스페셜티 커피 한 잔을 끓여 아내와 함께 세계를 탐험하는 것을 즐깁니다.
아르만도 디아즈 AWS의 솔루션스 아키텍트입니다. 그는 생성적 AI, AI/ML 및 데이터 분석에 중점을 두고 있습니다. AWS에서 Armando는 고객이 최첨단 생성 AI 기능을 시스템에 통합하여 혁신과 경쟁 우위를 강화할 수 있도록 지원합니다. 일하지 않을 때는 아내, 가족과 함께 시간을 보내고, 하이킹을 즐기고, 세계 여행을 즐깁니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/databricks-dbrx-is-now-available-in-amazon-sagemaker-jumpstart/
- :있다
- :이다
- :아니
- :어디
- $UP
- 000
- 1
- 10
- 100
- 11
- 12
- 15%
- 16
- 19
- 1M
- 20
- 22
- 225
- 25
- 250
- 27
- 30
- 32
- 36
- 400
- 50
- 7
- 700
- 8
- a
- 할 수 있는
- 소개
- 위의
- 절대적으로
- 가속
- 가속하는
- 가속기
- 수락
- 수락
- ACCESS
- 에 따르면
- 따라서
- 계정
- 달성
- 활동적인
- 방과 후 액티비티
- 더하다
- 맞추다
- 양자
- 이점
- 조언
- 후
- 반대
- 협약
- AI
- AI / ML
- 도움
- 에이즈
- 알고리즘
- All
- 수
- 허용
- 또한
- am
- 아마존
- 아마존 세이지 메이커
- Amazon SageMaker 점프스타트
- Amazon Web Services
- an
- 분석
- 분석
- 및
- 인프라
- 알리다
- 다른
- 답변
- 응답
- 어떤
- Apple
- 어플리케이션
- 접근
- 아키텍처
- 있군요
- 지역
- 약
- AS
- 조수
- At
- 가능
- AWS
- 바나나
- 기지
- 기반으로
- 기본
- BE
- 때문에
- 쇠고기
- 전에
- 처음
- 존재
- 벤치마킹
- 사이에
- 청구
- 억원
- 일시: XNUMX년 XNUMX월 XNUMX일 화요일 XNUMX:XNUMXpm - XNUMX:XNUMXpm 장소: 여의도 페어몬트 앰배서더 서울 호텔 XNUMXF 아잘레아스 룸 [약도] 행사 문의: info.korea@rescale.com
- 두
- 보물상자
- 흩어져
- 갈색
- 빌드
- 건물
- 내장
- 사업
- by
- 계산하다
- 계산
- CAN
- 기능
- 자동차
- 카드
- 면밀히
- 케이스
- 가지 경우
- 목록
- 이전 단계로 돌아가기
- 요금
- 선택
- 선택
- 왼쪽 메뉴에서
- 선택하다
- 선택
- 분류
- 클릭
- 닫기
- 면밀히
- 폐쇄
- 클라우드
- 암호
- 코딩
- 커피
- 수집
- 수집
- 단
- 열
- 회사
- 비교
- 경쟁력
- 구성 요소들
- 계산
- 컴퓨터
- 컴퓨터 과학
- 개념
- 구성
- 상담
- 포함하는
- 컨테이너
- 함유량
- 글구성
- 문맥
- 대조
- 컨트롤
- 대화
- 카피 라이팅
- 바르게
- 비용
- 비용
- 수
- 만들
- 만든
- 만들기
- 결정적인
- 문화적인
- 문화
- 컵
- 기획
- Current
- 고객
- 사용자 정의
- 최첨단
- 매일
- 달라스
- 댈러스 매버릭스
- 데이터
- 데이터 분석
- 데이터 과학자
- 데이터 보안
- 날짜
- 일
- 일
- 태만
- 한정된
- 도
- 보여
- 배포
- 배포
- 배치
- 전개
- 배치하다
- 드리프트
- 세부설명
- 개발
- 개발
- DICT
- DID
- 다이어트
- 다른
- 발견
- 디스플레이
- 서류
- 하지
- 도메인
- 한
- 아래 (down)
- 구동
- 운전
- 적립
- 완화
- 용이하게
- 편집자
- 효과
- 효율적으로
- 달걀
- 중
- 그렇지 않으면
- 고용하다
- 가능
- 가능
- end
- 종점
- 에너지
- 기사
- 강화
- 충분히
- 기업
- 환경
- 환경
- EOS
- EVER
- 사람
- 예
- 예
- 교환
- 흥분한
- 운동
- 경험
- 전문가
- 전문가
- 설명
- 명시 적으로
- 탐색
- 촉진
- 가족
- 부채
- 특징
- 를
- 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에
- 파일
- 최후의
- 최종적으로
- Find
- 먼저,
- 피트니스
- 고정
- 초점
- 집중
- 따라
- 수행원
- 다음
- 식품
- 음식
- 럭셔리
- 체재
- 육성
- Foundation
- 에
- 충분히
- 기능
- 범용
- 생성
- 세대
- 생성적인
- 제너레이티브 AI
- 얻을
- 주어진
- 기부
- 글로벌
- 세계 무역
- Go
- 골
- 목표
- 좋은
- 상품
- 큰
- 큰
- 그리스 사람
- 성장
- 했다
- 행복한
- 있다
- he
- 건강
- 건강 관리
- 도움
- 도움이
- 도움이
- 여기에서 지금 확인해 보세요.
- 높은
- 더 높은
- 그의
- history
- 보유
- 방법
- How To
- HTML
- HTTPS
- 허브
- i
- ID
- 생각
- 아이디어
- if
- 영향
- 영향
- 영향
- import
- 중대한
- in
- 포함
- 포함
- 통합
- 증가
- 증가
- 옥수수
- 산업
- 정보
- 인프라
- 혁신
- 입력
- 입력
- 통찰력
- 예
- 명령
- 통합 된
- 통합
- 상호 작용하는
- 대화형
- 인터페이스
- 으로
- 발명가
- 포함
- IOT
- IT
- 그
- JPG
- 다만
- 키
- 종류
- 지식
- 상륙
- 언어
- 언어
- 넓은
- 대규모
- 지도
- 기댈
- 배우기
- 지도
- 길이
- 하자
- 도서관
- 특허
- 라이프 스타일
- 처럼
- 제한
- 명부
- ll
- LLM
- 하중
- 잔뜩
- 논리
- 논리
- 보기
- 같이
- 애정
- 절감
- 기계
- 기계 학습
- 만든
- 유지 보수
- 확인
- 관리
- 시장 조작
- 질량
- 석사
- math
- 수학의
- 수학
- 매트플롯립
- 최고
- XNUMX월..
- me
- 마일
- 혼합 된
- ML
- MLOps
- 모델
- 모델
- 배우기
- 가장
- 움직임
- 영화
- 여러
- 근
- 절대로 필요한 것
- my
- 이름
- 이름
- 카테고리
- 필요
- 요구
- 부정
- 중립의
- 신제품
- 다음 것
- 없음
- 주의
- 수첩
- 지금
- 번호
- 영양
- of
- 제공
- on
- ONE
- 열 수
- 최적화
- 선택권
- or
- 주문
- 조직
- 기타
- 그렇지 않으면
- 아웃
- 개요
- 출력
- 출력
- 위에
- 전체
- 자신의
- 페이지
- 팬더
- 빵
- 매개 변수
- 특별히
- 파트너
- 부품
- 통과
- 열정
- 특허
- 통로
- 사람들
- 용
- 완전한
- 수행
- 성능
- 맞춤형 교육 플랫폼
- 계획
- 계획
- 플랫폼
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 많은
- 음모
- ...을 더한
- 인기 문서
- 일부
- 긍정적인
- 가능한
- 게시하다
- 강한
- 사례
- 선행
- 예측
- Predictor
- 환경 설정
- 준비
- 제시
- 가격
- 학비 안내
- 문제
- 문제 해결
- 방법
- 프로세스
- 링크를
- 깊은
- 프로그램
- 프로그램 작성
- 프로그래밍 언어
- 프롬프트
- 단백질
- 제공
- 제공
- 제공
- Python
- 양
- 문제
- 빨리
- 모집
- 율
- 읽기
- 권하다
- 회복
- 참조
- 등록된
- 정규병
- 관련
- 기억
- 교체
- 신고
- 대표
- 의뢰
- 요구조건 니즈
- 연구
- 제품 자료
- 존경받는
- 응답
- 응답
- 응답
- RESTAURANT
- 제한
- 결과
- 검색
- return
- 쌀
- 직위별
- 역할
- 달리기
- 달리는
- s
- 현자
- 견본
- 본
- 확장성
- 과학
- 과학자
- 퍼내다
- 스크립트
- SDK
- 검색
- 섹션
- 안전해야합니다.
- 보안
- 참조
- 고르다
- 선택된
- 선택
- 감정
- 순서
- 서비스
- 서비스
- 세트
- 영상을
- 표시
- 보여
- 표시
- 쇼
- 상당한
- 비슷하게
- 단순, 간단, 편리
- 단일
- 크기
- 크기
- 잠
- 작은
- 운동화
- So
- 소프트웨어
- 소프트웨어 개발
- 솔루션
- 일부
- 정교한
- 지우면 좋을거같음 . SM
- 특별한
- 전문가
- 스페셜티
- 구체적인
- 지정
- 지정
- 지출
- 스포츠
- 표준
- 스타트
- 시작
- 시작 중
- 시작
- 신생
- 최첨단
- 정적 인
- 유지
- 단계
- 재고
- 정지
- 전략의
- 힘
- 강점
- 끈
- 구조
- 스튜디오
- 최적이 아닌
- 이러한
- 충분한
- SUPPORT
- 지원
- 확인
- 체계
- 시스템은
- 복용
- 작업
- 팀
- 기법
- 기술
- 이 템플릿
- 무서운
- test
- 지원
- 본문
- 보다
- 그
- XNUMXD덴탈의
- 세계
- 그들의
- 그때
- Bowman의
- 그들
- 이
- 을 통하여
- 도처에
- 시간
- Title
- 에
- 오늘
- 토큰
- 수단
- 검색을
- 금액
- 교환
- 교통
- Train
- 트레이닝
- 변압기
- 수송
- 여행
- 여행
- 일조
- 참된
- 시도
- 노력
- 회전
- 결국
- 짹짹
- 유형
- ui
- 아래에
- 갔다
- 잠금을 해제
- 용법
- 사용
- 유스 케이스
- 익숙한
- 사용자
- 사용
- 사용
- 가치
- 마케팅은:
- 변수
- 종류
- 여러
- 거대한
- Ve
- 야채
- 버전
- 관측
- 방문
- 시각
- 걷다
- 필요
- 였다
- 물
- 방법..
- 방법
- we
- 날씨
- 웹
- 웹 서비스
- 웹 기반
- 했다
- 뭐
- 언제
- 어느
- 모든
- why
- 아내
- 의지
- 과
- 없이
- 말
- 작업
- 일하는
- 일
- 세계
- 겠지
- 쓰다
- 쓰기
- 년
- 자신의
- 최연소자
- 너의
- 제퍼 넷