오늘 우리는 이제 다음을 사용하여 일괄 변환을 수행할 수 있음을 발표하게 되어 기쁩니다. Amazon SageMaker 점프스타트 Text2Text 생성을 위한 대규모 언어 모델(LLM). 일괄 변환은 응답이 실시간일 필요가 없으므로 대규모 데이터 집합에 대해 일괄적으로 추론을 수행할 수 있는 상황에서 유용합니다. 배치 변환의 경우 배치 입력을 데이터 세트 및 사전 학습된 모델로 사용하고 데이터 세트의 각 데이터 포인트에 대한 예측을 출력하는 배치 작업이 실행됩니다. 배치 변환은 영구 하드웨어가 있는 실시간 호스팅 엔드포인트와 달리 작업이 완료되면 배치 변환 클러스터가 해체되므로 배치 작업 기간 동안에만 하드웨어가 사용되기 때문에 비용 효율적입니다.
일부 사용 사례에서는 실시간 또는 거의 실시간 응답을 생성하기 위해 일괄 처리를 위해 실시간 추론 요청을 작은 일괄 처리로 그룹화할 수 있습니다. 예를 들어 대기 시간이 짧고 처리량이 높은 연속 데이터 스트림을 처리해야 하는 경우 각 요청에 대해 개별적으로 실시간 엔드포인트를 호출하면 더 많은 리소스가 필요하고 처리가 순차적으로 수행되기 때문에 모든 요청을 처리하는 데 시간이 더 오래 걸릴 수 있습니다. . 더 나은 접근 방식은 일부 요청을 그룹화하고 배치 추론 모드에서 실시간 엔드포인트를 호출하는 것입니다. 이 모드는 모델의 한 번의 순방향 패스에서 요청을 처리하고 요청에 대한 대량 응답을 실시간 또는 거의 실시간으로 반환합니다. . 응답 대기 시간은 함께 그룹화하는 요청 수와 인스턴스 메모리 크기에 따라 달라지므로 대기 시간 및 처리량에 대한 비즈니스 요구 사항에 따라 배치 크기를 조정할 수 있습니다. 우리는 이것을 부른다 실시간 일괄 추론 실시간 응답을 제공하면서 일괄 처리의 개념을 결합하기 때문입니다. 실시간 배치 추론을 사용하면 짧은 대기 시간과 높은 처리량 사이의 균형을 달성하여 적시에 효율적인 방식으로 대량의 데이터를 처리할 수 있습니다.
Text2Text Generation 모델을 위한 Jumpstart 배치 변환을 사용하면 처리량을 추가로 늘리고 대기 시간을 최소화하는 환경 변수를 통해 배치 하이퍼 매개변수를 전달할 수 있습니다.
JumpStart는 기계 학습(ML)을 시작하는 데 도움이 되는 광범위한 문제 유형에 대한 사전 학습된 오픈 소스 모델을 제공합니다. 배포 전에 이러한 모델을 증분식으로 교육하고 조정할 수 있습니다. JumpStart는 또한 일반적인 사용 사례를 위한 인프라를 설정하는 솔루션 템플릿과 ML을 위한 실행 가능한 예제 노트북을 제공합니다. 아마존 세이지 메이커. 다음의 JumpStart 랜딩 페이지를 통해 선행 학습된 모델, 솔루션 템플릿 및 예제에 액세스할 수 있습니다. 아마존 세이지 메이커 스튜디오. SageMaker Python SDK를 사용하여 JumpStart 모델에 액세스할 수도 있습니다.
이 게시물에서는 최첨단 사전 훈련된 text2text FLAN T5 모델 배치 변환 및 실시간 배치 추론을 위한 Hugging Face에서.
솔루션 개요
사전 훈련된 Text2Text FLAN T5 모델의 일괄 변환을 보여주는 노트북 포옹하는 얼굴 다음에서 사용 가능 GitHub 저장소. 이 노트북은 Hugging Face의 데이터를 사용합니다. cnn_데일리메일 SageMaker SDK를 사용하는 텍스트 요약 작업을 위한 데이터 세트.
다음은 배치 변환 및 실시간 배치 추론을 구현하기 위한 주요 단계입니다.
- 전제 조건을 설정합니다.
- 선행 학습된 모델을 선택합니다.
- 모델에 대한 아티팩트를 검색합니다.
- 일괄 변환 작업 하이퍼파라미터를 지정합니다.
- 일괄 변환을 위한 데이터를 준비합니다.
- 일괄 변환 작업을 실행합니다.
- 다음을 사용하여 요약을 평가합니다. RED (Gisting Evaluation을 위한 Recall-Oriented Understudy) 점수.
- 실시간 배치 추론을 수행합니다.
전제 조건 설정
노트북을 실행하기 전에 몇 가지 초기 설정 단계를 완료해야 합니다. 사용자 대신 AWS 서비스를 실행할 수 있는 권한을 갖도록 SageMaker 실행 역할을 설정해 보겠습니다.
선행 학습된 모델 선택
기본 모델로 huggingface-text2text-flan-t5-large 모델을 사용합니다. 선택적으로 JumpStart에서 사용 가능한 Text2Text 모델 목록을 검색하고 원하는 모델을 선택할 수 있습니다. 이 방법은 동일한 노트북을 사용하여 다른 모델 ID를 선택하는 간단한 방법을 제공합니다. 데모 목적으로 huggingface-text2text-flan-t5-large 모델을 사용합니다.
모델에 대한 아티팩트 검색
SageMaker를 사용하면 먼저 새 데이터 세트에서 미세 조정하지 않고도 사전 훈련된 모델에서 추론을 수행할 수 있습니다. 우리는 deploy_image_uri
, deploy_source_uri
및 model_uri
사전 학습된 모델의 경우:
일괄 변환 작업 하이퍼파라미터 지정
하이퍼파라미터의 하위 집합을 환경 변수로 일괄 변환 작업에 전달할 수 있습니다. JSON 페이로드에서 이러한 하이퍼파라미터를 전달할 수도 있습니다. 그러나 다음 코드와 같이 하이퍼파라미터에 대한 환경 변수를 설정하는 경우 JSON 라인 페이로드에 있는 개별 예제의 고급 하이퍼파라미터는 사용되지 않습니다. 페이로드의 하이퍼파라미터를 사용하려면 hyper_params_dict
매개변수를 대신 null로 지정합니다.
일괄 변환을 위한 데이터 준비
이제 로드할 준비가 되었습니다. cnn_데일리메일 Hugging Face의 데이터 세트:
각 데이터 항목을 검토하고 필요한 형식으로 입력 데이터를 생성합니다. 우리는 articles.jsonl
파일을 입력 페이로드로 요약해야 하는 기사가 포함된 테스트 데이터 파일로 저장합니다. 이 파일을 만들 때 프롬프트를 추가합니다. "Briefly summarize this text:"
각 테스트 입력 행에. 각 테스트 입력에 대해 서로 다른 하이퍼파라미터를 사용하려는 경우 데이터 세트 생성의 일부로 해당 하이퍼파라미터를 추가할 수 있습니다.
우리는 highlights.jsonl
테스트 파일에 저장된 각 기사의 하이라이트를 포함하는 실측 파일로 articles.jsonl
. 우리는 두 테스트 파일을 아마존 단순 스토리지 서비스 (Amazon S3) 버킷. 다음 코드를 참조하십시오.
일괄 변환 작업 실행
일괄 변환 작업을 시작하면 SageMaker는 선택한 인스턴스 유형에 따라 CPU 또는 GPU 인스턴스를 포함하여 데이터를 처리하는 데 필요한 컴퓨팅 리소스를 시작합니다. 일괄 변환 작업 중에 SageMaker는 인스턴스, 스토리지 및 네트워킹 리소스를 포함하여 데이터를 처리하는 데 필요한 컴퓨팅 리소스를 자동으로 프로비저닝하고 관리합니다. 배치 변환 작업이 완료되면 컴퓨팅 리소스가 SageMaker에 의해 자동으로 정리됩니다. 즉, 작업 중에 사용된 인스턴스와 스토리지가 중지 및 제거되어 리소스를 확보하고 비용을 최소화합니다. 다음 코드를 참조하십시오.
다음은 articles.jsonl
테스트 파일. 이 파일의 레코드에는 다음과 일치하는 ID가 있습니다. predict.jsonl
Hugging Face Text2Text 모델의 출력으로 요약된 레코드를 표시하는 파일 레코드. 마찬가지로 Ground Truth 파일에도 데이터 레코드와 일치하는 ID가 있습니다. 테스트 파일, Ground Truth 파일 및 출력 파일에서 ID가 일치하면 입력 레코드를 출력 레코드와 연결하여 결과를 쉽게 해석할 수 있습니다.
다음은 요약을 위해 제공되는 예제 입력 레코드입니다.
다음은 요약된 예측 출력입니다.
다음은 모델 평가 목적을 위한 ground truth 요약입니다.
다음으로 모델 평가를 위해 ground truth와 예측 결과를 사용합니다.
ROUGE 점수를 사용하여 모델 평가¶
RED, 또는 Gisting Evaluation을 위한 Recall-Oriented Understudy는 자연어 처리에서 자동 요약 및 기계 번역을 평가하는 데 사용되는 일련의 메트릭 및 소프트웨어 패키지입니다. 메트릭은 자동으로 생성된 요약 또는 번역을 참조(사람이 생성한) 요약 또는 번역 또는 참조 집합과 비교합니다.
다음 코드에서는 예측 요약과 원래 요약을 공통 키에 결합하여 결합합니다. id
이를 사용하여 ROUGE 점수를 계산합니다.
실시간 일괄 추론 수행
다음으로 입력을 목록으로 제공하여 엔드포인트에서 실시간 배치 추론을 실행하는 방법을 보여줍니다. 테스트 데이터 세트에서 몇 개의 레코드를 가져와 실시간 엔드포인트를 호출하는 데 사용한다는 점을 제외하고 이전과 동일한 모델 ID와 데이터 세트를 사용합니다.
다음 코드는 실시간 배치 추론을 위한 실시간 엔드포인트를 만들고 배포하는 방법을 보여줍니다.
다음으로 입력 페이로드를 준비합니다. 이를 위해 이전에 준비한 데이터를 사용하고 처음 10개의 테스트 입력을 추출하고 사용하려는 하이퍼 매개변수와 함께 텍스트 입력을 추가합니다. 이 페이로드를 실시간으로 제공합니다. invoke_endpoint
. 그러면 응답 페이로드가 응답 목록으로 반환됩니다. 다음 코드를 참조하십시오.
정리
엔드포인트를 테스트한 후 비용이 발생하지 않도록 SageMaker 추론 엔드포인트와 모델을 삭제해야 합니다.
결론
이 노트북에서는 요약 작업을 위한 Hugging Face Text2Text Generator 모델을 보여주기 위해 일괄 변환을 수행했습니다. 배치 변환은 영구적인 엔드포인트 없이 대규모 데이터 세트에서 추론을 얻는 데 유리합니다. 결과 해석을 돕기 위해 입력 레코드를 추론과 연결했습니다. 테스트 데이터 요약과 모델 생성 요약을 비교하기 위해 ROUGE 점수를 사용했습니다.
또한 스트리밍 입력 데이터와 같은 시나리오를 위해 대기 시간과 처리량 사이의 균형을 달성하기 위해 소량의 데이터 배치를 실시간 엔드포인트로 보낼 수 있는 실시간 배치 추론을 시연했습니다. 실시간 일괄 추론은 실시간 요청 처리량을 높이는 데 도움이 됩니다.
지금 SageMaker에서 Text2Text Generation 모델로 일괄 변환을 시도하고 피드백을 알려주세요!
저자 소개
헤만트 싱 Amazon SageMaker JumpStart 및 Amazon SageMaker 내장 알고리즘에 대한 경험이 있는 기계 학습 엔지니어입니다. 그는 Courant Institute of Mathematical Sciences에서 석사 학위를, IIT Delhi에서 B.Tech를 취득했습니다. 그는 자연어 처리, 컴퓨터 비전 및 시계열 분석 영역 내에서 다양한 기계 학습 문제에 대한 작업 경험이 있습니다.
라크나 차다 AWS Strategic Accounts의 수석 솔루션 아키텍트 AI/ML입니다. Rachna는 AI의 윤리적이고 책임 있는 사용이 미래 사회를 개선하고 경제적, 사회적 번영을 가져올 수 있다고 믿는 낙관론자입니다. 여가 시간에 Rachna는 가족과 함께 시간을 보내고, 하이킹을 하고, 음악을 듣는 것을 좋아합니다.
Ashish Khetan 박사 Amazon SageMaker 내장 알고리즘을 사용하는 수석 응용 과학자이며 기계 학습 알고리즘 개발을 돕습니다. 그는 University of Illinois Urbana-Champaign에서 박사 학위를 받았습니다. 그는 기계 학습 및 통계적 추론 분야에서 활동적인 연구원이며 NeurIPS, ICML, ICLR, JMLR, ACL 및 EMNLP 컨퍼런스에서 많은 논문을 발표했습니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoAiStream. Web3 데이터 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 미래 만들기 w Adryenn Ashley. 여기에서 액세스하십시오.
- PREIPO®로 PRE-IPO 회사의 주식을 사고 팔 수 있습니다. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/perform-batch-transforms-with-amazon-sagemaker-jumpstart-text2text-generation-large-language-models/
- :있다
- :이다
- :아니
- :어디
- $UP
- 000
- 1
- 10
- 100
- 11
- 13
- 14
- 20
- 2014
- 50
- 7
- 8
- 9
- a
- 할 수 있는
- 소개
- 위의
- 수락
- 접수
- ACCESS
- 에 따르면
- 계정
- 달성
- 인수
- 가로질러
- 행위
- 활동적인
- 많은
- 유리한
- 반대
- AI
- AI / ML
- 도움
- 알고리즘
- All
- 주장 된
- 수
- 또한
- 아마존
- 아마존 세이지 메이커
- Amazon SageMaker 점프스타트
- Amazon Web Services
- an
- 분석
- 및
- 알리다
- 어떤
- API를
- 적용된
- 접근
- 있군요
- 약
- 기사
- 기사
- AS
- At
- 시도
- 권위
- Automatic
- 자동적으로
- 가능
- 피하기
- AWS
- 잔액
- 기지
- 기반으로
- BE
- 되었다
- 때문에
- 된다
- 전에
- 존재
- 믿으세요
- 생각
- 막내 둥이
- 더 나은
- 사이에
- 몸
- 두
- 양쪽
- 경계
- 간단히
- 가져
- 돋보이게
- 내장
- 사업
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- 전화
- CAN
- 가지 경우
- 원인
- 요금
- 왼쪽 메뉴에서
- 수업
- 클라이언트
- 자세히
- 현지 시간
- 암호
- 결합
- 결합
- 결합
- 왔다
- 약속
- 저지른
- 공통의
- 비교
- 완전한
- 계산
- 컴퓨터
- 컴퓨터 비전
- 개념
- 행위
- 회의
- 컨테이너
- 계속
- 끊임없는
- 기여
- 비용
- 비용 효율적인
- 수
- 상담
- 비생산적인
- 국가
- 법정
- 만들
- 만들기
- 범죄
- 범죄자
- 데이터
- 데이터 입력
- 데이터 세트
- 죽은
- 결정
- 태만
- 델리
- 보여
- 시연
- 학과
- 의존
- 배포
- 전개
- 기술 된
- 결정
- 개발
- 개발
- 다르다
- 차이
- 다른
- 곧장
- 몇몇의
- do
- 도커
- 도메인
- 한
- 말라
- 문
- 아래 (down)
- 지속
- ...동안
- 마다
- 이전
- 동쪽
- 쉽게
- 간결한
- 효율적인
- 노력
- 자격이되는
- 가능
- end
- 종점
- 기사
- 확인
- 들어갑니다
- 항목
- 환경
- 대
- 윤리적인
- 평가
- 평가
- 평가
- 조차
- 증거
- 예
- 예
- 외
- 흥분한
- 실행
- 경험
- 추출물
- 페이스메이크업
- 믿음
- 가족
- 를
- 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에
- 파일
- 먼저,
- 수행원
- 럭셔리
- 힘
- 외국의
- 형식적인
- 형식적으로
- 체재
- 앞으로
- 창립
- 에
- 가득 찬
- 추가
- 미래
- 세대
- 발전기
- 얻을
- 제공
- Go
- 목표
- 정부
- GPU
- 큰
- 육로
- 그룹
- 하드웨어
- 있다
- he
- 도움
- 도움이
- 그녀의
- 여기에서 지금 확인해 보세요.
- 높은
- 하이라이트
- 그의
- 호스팅
- 방법
- How To
- 그러나
- HTML
- HTTP
- HTTPS
- 포옹 얼굴
- 사람의
- 인권
- 인간성
- ID
- 식별자
- if
- 일리노이
- 영상
- 바로
- 구현
- import
- 개선
- in
- 포함
- 포함
- 증가
- 독립
- 개인
- 개별적으로
- 정보
- 인프라
- 처음에는
- 부당
- 입력
- 입력
- 문의
- 예
- 를 받아야 하는 미국 여행자
- 학회
- 국제 노동자 동맹
- 해석
- 으로
- 조사
- 조사
- 조사
- 이스라엘
- IT
- 그
- 일월
- 일
- 어울리다
- 가입
- JPG
- JSON
- 판사
- 유월
- 관할권
- 다만
- 정의
- 키
- 알아
- 상륙
- 언어
- 넓은
- 성
- 숨어 있음
- 후에
- 시작
- 배우기
- 왼쪽 (left)
- 하자
- 가볍게
- 처럼
- 좋아하는
- 라인
- 라인
- 연결
- 연결
- 명부
- 청취
- 하중
- 긴
- 이상
- 낮은
- 기계
- 기계 학습
- 확인
- 유튜브 영상을 만드는 것은
- 관리하다
- 태도
- .
- 두드러진
- 일치하는
- 어울리는
- 수학의
- XNUMX월..
- 방법
- 회원
- 회원
- 회원
- 메모리
- 방법
- 통계
- 최소화
- ML
- 모드
- 모델
- 모델
- 달
- 배우기
- 움직임
- 음악
- 절대로 필요한 것
- name
- 자연의
- 자연 언어 처리
- 필요한
- 필요
- 협상
- ...도 아니고 ...도 아니다
- 네덜란드
- 네트워킹
- 신제품
- news
- 보도 자료
- 수첩
- 지금
- 대상
- 획득
- of
- Office
- 공무상
- on
- ONE
- 만
- 열 수
- 오픈 소스
- 오픈
- 대들다
- 반대하는
- or
- 실물
- OS
- 우리의
- 아웃
- 출력
- 위에
- 꾸러미
- 페이지
- 팔레스타인
- 서류
- 매개 변수
- 매개 변수
- 부품
- 파티
- 패스
- 통로
- 포장
- 평화
- 사람들
- 수행
- 권한
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 부디
- 포인트 적립
- 가능한
- 게시하다
- 예측
- 예측
- 예측
- 예측
- Predictor
- 선호하는
- Prepare
- 준비
- 전제 조건
- 대통령
- 압박
- 청춘
- 국무 총리
- 교장
- 문제
- 문제
- 방법
- 프로세스
- 처리
- 생산
- 번영
- 제공
- 제공
- 제공
- 제공
- 출판
- 목적
- Python
- 범위
- 준비
- 현실
- 실시간
- 기록
- 기록
- 참조
- 의미
- 공개
- 제거됨
- 자꾸
- 신고
- 의뢰
- 요청
- 필요
- 필수
- 요구조건 니즈
- 연구원
- 제품 자료
- 응답
- 응답
- 책임
- 책임
- 결과
- 결과
- return
- 반품
- 리뷰
- 권리
- 직위별
- 로마
- 열
- 달리기
- s
- 현자
- SageMaker 추론
- 말했다
- 같은
- 속담
- 시나리오
- 과학
- 과학자
- 점수
- SDK
- 참조
- 모색
- 선택된
- 보내다
- 연장자
- 연속
- 서비스
- 세트
- 설정
- 설치
- 공유
- 그녀
- 영상을
- 표시
- 소개
- 쇼
- 뒷면
- 서명
- 비슷하게
- 단순, 간단, 편리
- 이후
- 사태
- 상황
- 크기
- 작은
- So
- 사회적
- 사회
- 소프트웨어
- 해결책
- 솔루션
- 일부
- 말하다
- 말하기
- 지출
- 스타트
- 시작
- 주 정부
- 국무부
- 최첨단
- 성명서
- 미국
- 통계적인
- 단계
- 단계
- 아직도
- 정지
- 저장
- 저장
- 저장
- 똑 바른
- 전략의
- 흐름
- 스트리밍
- 강하게
- 제목
- 요약
- 개요
- 여름
- SUPPORT
- 받아
- 촬영
- 소요
- 태스크
- 작업
- 기술
- 템플릿
- 지역
- 영토
- test
- 보다
- 그
- XNUMXD덴탈의
- 정보
- 네덜란드
- 국가
- 세계
- 그들의
- 그들
- 그때
- 따라서
- Bowman의
- 그들
- 이
- 그
- 을 통하여
- 처리량
- 시간
- 시계열
- 에
- 오늘
- 함께
- 찢어
- 방향
- Train
- 변환
- 변압기
- 변환
- 번역
- 참된
- 진실
- 유형
- 유형
- 약하다.
- 미국
- United States
- 보편적 인
- 대학
- 같지 않은
- 업로드
- ...에
- us
- 사용
- 익숙한
- 사용
- 부통령
- 시력
- 볼륨
- W
- 필요
- 전쟁
- 였다
- 손목 시계
- 방법..
- we
- 웹
- 웹 서비스
- 수요일
- 환영
- 환영
- 잘
- 뭐
- 언제
- 여부
- 어느
- 동안
- 누구
- 넓은
- 넓은 범위
- 의지
- 과
- 이내
- 없이
- 일하는
- 세계
- 겠지
- 자신의
- 너의
- 제퍼 넷