의료 및 생명과학(HCLS) 고객은 데이터에서 더 많은 것을 얻기 위한 도구로 생성 AI를 채택하고 있습니다. 사용 사례에는 독자가 문서의 핵심 사항에 집중할 수 있도록 돕는 문서 요약과 구조화되지 않은 텍스트를 표준화된 형식으로 변환하여 중요한 속성을 강조하는 것이 포함됩니다. 고유한 데이터 형식과 엄격한 규제 요구 사항으로 인해 고객은 가장 성능이 뛰어나고 비용 효율적인 모델을 선택할 수 있을 뿐만 아니라 비즈니스 사용 사례에 맞게 필요한 사용자 정의(미세 조정)를 수행할 수 있는 기능을 찾고 있습니다. 이 게시물에서는 다음을 사용하여 Falcon LLM(대형 언어 모델)을 배포하는 과정을 안내합니다. Amazon SageMaker 점프스타트 모델을 사용하여 LangChain 및 Python을 사용하여 긴 문서를 요약합니다.
솔루션 개요
아마존 세이지 메이커 Amazon은 제품 추천, 개인화, 지능형 쇼핑, 로봇공학, 음성 지원 장치 등 실제 ML 애플리케이션을 개발한 XNUMX년 간의 경험을 바탕으로 구축되었습니다. SageMaker는 데이터 과학자, ML 엔지니어 및 비즈니스 분석가가 ML을 통해 혁신할 수 있도록 지원하는 도구를 제공하는 HIPAA 적격 관리형 서비스입니다. SageMaker 내에는 아마존 세이지 메이커 스튜디오, 협업 ML 워크플로를 위해 특별히 제작된 통합 개발 환경(IDE)으로, SageMaker JumpStart라는 통합 허브에 다양한 빠른 시작 솔루션과 사전 훈련된 ML 모델이 포함되어 있습니다. SageMaker JumpStart를 사용하면 사전 구축된 샘플 노트북 및 SDK 지원과 함께 Falcon LLM과 같은 사전 훈련된 모델을 사용하여 이러한 강력한 변환기 모델을 실험하고 배포할 수 있습니다. SageMaker Studio 및 SageMaker JumpStart를 사용하여 AWS 계정에서 자체 생성 모델을 배포하고 쿼리할 수 있습니다.
추론 페이로드 데이터가 VPC를 벗어나지 않도록 할 수도 있습니다. 모델을 단일 테넌트 엔드포인트로 프로비저닝하고 네트워크 격리를 통해 배포할 수 있습니다. 또한 SageMaker JumpStart 내의 비공개 모델 허브 기능을 사용하고 승인된 모델을 여기에 저장하여 자체 보안 요구 사항을 충족하는 선택된 모델 세트를 선별하고 관리할 수 있습니다. SageMaker는 다음 범위에 속합니다. HIPAA BAA, SOC123및 히트러스트 CSF.
XNUMXD덴탈의 팔콘 LLM TII(Technology Innovation Institute)의 연구원들이 AWS를 사용하여 1조 개가 넘는 토큰에 대해 교육한 대규모 언어 모델입니다. Falcon에는 두 가지 주요 구성 요소인 Falcon 40B와 Falcon 7B가 각각 40억 개와 7억 개의 매개 변수로 구성된 다양한 변형이 있으며, 지침 따르기와 같은 특정 작업을 위해 훈련된 미세 조정 버전이 있습니다. Falcon은 텍스트 요약, 감정 분석, 질문 답변, 대화 등 다양한 작업을 잘 수행합니다. 이 게시물에서는 SageMaker JumpStart를 통해 관리형 노트북 인스턴스를 사용하여 텍스트 요약을 실험함으로써 Falcon LLM을 AWS 계정에 배포할 수 있는 연습을 제공합니다.
SageMaker JumpStart 모델 허브에는 각 모델을 배포하고 쿼리할 수 있는 완전한 노트북이 포함되어 있습니다. 이 글을 쓰는 시점에서 SageMaker JumpStart 모델 허브에는 Falcon 40B Instruct BF16, Falcon 40B BF16, Falcon 180B BF16, Falcon 180B Chat BF16, Falcon 7B Instruct BF16 및 Falcon 7B BF16의 7가지 버전이 있습니다. 이 게시물에서는 Falcon XNUMXB Instruct 모델을 사용합니다.
다음 섹션에서는 SageMaker Jumpstart에 Falcon 7B를 배포하여 문서 요약을 시작하는 방법을 보여줍니다.
사전 조건
이 자습서에서는 SageMaker 도메인이 있는 AWS 계정이 필요합니다. 아직 SageMaker 도메인이 없다면 다음을 참조하세요. Amazon SageMaker 도메인에 온보딩 하나를 만들 수 있습니다.
SageMaker JumpStart를 사용하여 Falcon 7B 배포
모델을 배치하려면 다음 단계를 완료하십시오.
- SageMaker 콘솔에서 SageMaker Studio 환경으로 이동합니다.
- IDE 내에서 세이지메이커 점프스타트 탐색 창에서 모델, 노트북, 솔루션.
- 추론을 위해 Falcon 7B Instruct 모델을 엔드포인트에 배포합니다.
Falcon 7B Instruct BF16 모델의 모델 카드가 열립니다. 이 페이지에서 다음을 찾을 수 있습니다. 배포 or Train SageMaker Studio에서 샘플 노트북을 열 수 있는 옵션과 링크도 제공됩니다. 이 게시물에서는 SageMaker JumpStart의 샘플 노트북을 사용하여 모델을 배포합니다.
- 왼쪽 메뉴에서 노트북 열기.
- Falcon 7B Instruct 엔드포인트를 배포하려면 노트북의 처음 XNUMX개 셀을 실행하세요.
배포된 JumpStart 모델을 다음에서 볼 수 있습니다. 출시된 JumpStart 자산 페이지.
- 탐색 창의 SageMaker 점프스타트선택한다. 출시된 JumpStart 자산.
- 선택 모델 엔드포인트 탭을 클릭하여 엔드포인트 상태를 확인하세요.
Falcon LLM 엔드포인트가 배포되었으면 모델을 쿼리할 준비가 되었습니다.
첫 번째 쿼리 실행
쿼리를 실행하려면 다음 단계를 완료하세요.
- 에 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에 메뉴, 선택 신제품 및 수첩 새 노트북을 엽니 다.
완성된 노트를 다운로드할 수도 있습니다. 여기에서 지금 확인해 보세요..
- 메시지가 표시되면 이미지, 커널, 인스턴스 유형을 선택합니다. 이 게시물에서는 Data Science 3.0 이미지, Python 3 커널 및 ml.t3.medium 인스턴스를 선택합니다.
- 첫 번째 셀에 다음 두 줄을 입력하여 Boto3 및 JSON 모듈을 가져옵니다.
- PR 기사 Shift + Enter 셀을 실행합니다.
- 다음으로 엔드포인트를 호출하는 함수를 정의할 수 있습니다. 이 함수는 사전 페이로드를 가져와 이를 사용하여 SageMaker 런타임 클라이언트를 호출합니다. 그런 다음 응답을 역직렬화하고 입력 및 생성된 텍스트를 인쇄합니다.
페이로드에는 모델에 전달될 추론 매개변수와 함께 프롬프트가 입력으로 포함됩니다.
- 프롬프트와 함께 이러한 매개변수를 사용하여 사용 사례에 맞게 모델의 출력을 조정할 수 있습니다.
요약 프롬프트로 쿼리
이 게시물에서는 샘플 연구 논문을 사용하여 요약을 보여줍니다. 예제 텍스트 파일은 생물 의학 문헌의 자동 텍스트 요약에 관한 것입니다. 다음 단계를 완료하세요.
- 다운로드 PDF를 만들고 텍스트를 다음 이름의 파일에 복사합니다.
document.txt
. - SageMaker Studio에서 업로드 아이콘을 선택하고 SageMaker Studio 인스턴스에 파일을 업로드합니다.
기본적으로 Falcon LLM은 텍스트 요약을 지원합니다.
- 프롬프트 엔지니어링 기술을 사용하여 요약하는 함수를 만들어 보겠습니다.
document.txt
:
긴 문서의 경우 오류가 나타납니다. Falcon은 다른 모든 LLM과 마찬가지로 입력으로 전달되는 토큰 수에 제한이 있습니다. 우리는 LLM에 훨씬 더 많은 입력을 전달할 수 있는 LangChain의 향상된 요약 기능을 사용하여 이 제한을 해결할 수 있습니다.
요약 체인 가져오기 및 실행
LangChain은 개발자와 데이터 과학자가 복잡한 ML 상호 작용을 관리하지 않고도 사용자 정의 생성 애플리케이션을 신속하게 구축, 조정 및 배포할 수 있게 해주는 오픈 소스 소프트웨어 라이브러리입니다. 일반적으로 생성 AI 언어 모델에 대한 많은 일반적인 사용 사례를 단 몇 단계로 추상화하는 데 사용됩니다. 코드 줄. AWS 서비스에 대한 LangChain의 지원에는 SageMaker 엔드포인트에 대한 지원이 포함됩니다.
LangChain은 LLM에 접근 가능한 인터페이스를 제공합니다. 그 기능에는 프롬프트 템플릿 작성 및 프롬프트 연결을 위한 도구가 포함됩니다. 이러한 체인은 단일 호출에서 언어 모델이 지원하는 것보다 긴 텍스트 문서를 요약하는 데 사용할 수 있습니다. 맵 축소 전략을 사용하면 긴 문서를 관리 가능한 덩어리로 나누고, 요약하고, 결합(필요한 경우 다시 요약)하여 요약할 수 있습니다.
- 시작하려면 LangChain을 설치해 봅시다:
- 관련 모듈을 가져오고 긴 문서를 덩어리로 나눕니다.
- LangChain이 Falcon과 효과적으로 작동하도록 하려면 유효한 입력 및 출력에 대한 기본 콘텐츠 핸들러 클래스를 정의해야 합니다.
- 사용자 정의 프롬프트를 다음과 같이 정의할 수 있습니다.
PromptTemplate
맵 축소 요약 접근 방식에 대해 LangChain을 사용하여 메시지를 표시하는 주요 수단인 개체입니다. 호출 내의 매개변수가 요약 체인(load_summarize_chain
)은 정의되지 않았습니다.
- LangChain은 SageMaker 추론 엔드포인트에서 호스팅되는 LLM을 지원하므로 AWS Python SDK를 사용하는 대신 LangChain을 통해 연결을 초기화하여 접근성을 높일 수 있습니다.
- 마지막으로 다음 코드를 사용하여 요약 체인을 로드하고 입력 문서에 대한 요약을 실행할 수 있습니다.
때문에 verbose
매개 변수가로 설정되었습니다 True
, 맵 축소 접근 방식의 모든 중간 출력을 볼 수 있습니다. 이는 일련의 이벤트를 추적하여 최종 요약에 도달하는 데 유용합니다. 이 맵 축소 접근 방식을 사용하면 모델의 최대 입력 토큰 제한에서 일반적으로 허용하는 것보다 훨씬 더 긴 문서를 효과적으로 요약할 수 있습니다.
정리
추론 엔드포인트 사용을 마친 후에는 다음 코드 줄을 통해 불필요한 비용이 발생하지 않도록 삭제하는 것이 중요합니다.
SageMaker JumpStart에서 다른 기반 모델 사용
문서 요약을 위해 SageMaker JumpStart에서 사용할 수 있는 다른 기반 모델을 활용하면 설정 및 배포에 최소한의 오버헤드가 필요합니다. LLM은 때때로 입력 및 출력 형식의 구조에 따라 달라지며, 작업 구현에 따라 새로운 모델과 사전 제작된 솔루션이 SageMaker JumpStart에 추가됨에 따라 다음과 같은 코드를 변경해야 할 수도 있습니다.
- 다음을 통해 요약을 수행하는 경우
summarize()
방법(LangChain을 사용하지 않는 방법)의 JSON 구조를 변경해야 할 수도 있습니다.payload
매개변수와 응답 변수의 처리query_endpoint()
기능 - LangChain을 통해 요약을 수행하는 경우
load_summarize_chain()
방법을 수정해야 할 수도 있습니다.ContentHandlerTextSummarization
수업, 특히transform_input()
및transform_output()
LLM이 기대하는 페이로드와 LLM이 반환하는 출력을 올바르게 처리하기 위한 함수
기초 모델은 추론 속도, 품질 등의 요소뿐 아니라 입력 및 출력 형식도 다양합니다. 예상되는 입력 및 출력에 대한 LLM 관련 정보 페이지를 참조하세요.
결론
Falcon 7B Instruct 모델은 SageMaker JumpStart 모델 허브에서 사용할 수 있으며 다양한 사용 사례에서 수행됩니다. 이 게시물에서는 SageMaker JumpStart를 사용하여 자체 Falcon LLM 엔드포인트를 환경에 배포하고 SageMaker Studio에서 첫 번째 실험을 수행하여 모델의 프로토타입을 빠르게 제작하고 프로덕션 환경으로 원활하게 전환할 수 있는 방법을 보여주었습니다. Falcon과 LangChain을 사용하면 장문의 의료 및 생명과학 문서를 대규모로 효과적으로 요약할 수 있습니다.
AWS에서 생성 AI 작업에 대한 자세한 내용은 다음을 참조하십시오. AWS에서 생성 AI로 구축하기 위한 새로운 도구 발표. 이 게시물에 설명된 방법을 사용하여 의료 및 생명 과학 중심 GenAI 애플리케이션에 대한 문서 요약 개념 증명을 실험하고 구축할 수 있습니다. 언제 아마존 기반암 정식 출시되면 Amazon Bedrock 및 LangChain을 사용하여 문서 요약을 구현하는 방법을 보여주는 후속 게시물을 게시할 예정입니다.
저자에 관하여
존 키타오카 Amazon Web Services의 솔루션 아키텍트입니다. John은 고객이 AWS에서 AI/ML 워크로드를 설계하고 최적화하여 비즈니스 목표를 달성할 수 있도록 돕습니다.
조쉬 페임스타드 Amazon Web Services의 솔루션 아키텍트입니다. Josh는 공공 부문 고객과 협력하여 비즈니스 우선 순위를 달성하기 위한 클라우드 기반 접근 방식을 구축하고 실행합니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/create-an-hcls-document-summarization-application-with-falcon-using-amazon-sagemaker-jumpstart/
- :있다
- :이다
- :아니
- $UP
- 1
- 10
- 100
- 11
- 12
- 14
- 150
- 16
- 1M
- 20
- 40
- 400
- 50
- 500
- 7
- a
- 능력
- 추상
- 수락
- 접근성
- 얻기 쉬운
- 계정
- 달성
- 추가
- 채택
- 다시
- AI
- AI / ML
- All
- 수
- 허용
- 수
- 함께
- 이미
- 또한
- 아마존
- 아마존 세이지 메이커
- Amazon SageMaker 점프스타트
- Amazon Web Services
- an
- 분석
- 애널리스트
- 및
- 동물
- 동물
- 어플리케이션
- 어플리케이션
- 접근
- 구혼
- 인가 된
- 있군요
- 약
- AS
- At
- 속성
- Automatic
- 가능
- 피하기
- AWS
- 기반으로
- BE
- 때문에
- 시작하다
- 생각
- 억원
- 생물 의학
- 몸
- 일시: XNUMX년 XNUMX월 XNUMX일 화요일 XNUMX:XNUMXpm - XNUMX:XNUMXpm 장소: 여의도 페어몬트 앰배서더 서울 호텔 XNUMXF 아잘레아스 룸 [약도] 행사 문의: info.korea@rescale.com
- 보물상자
- 흩어져
- 파괴
- 빌드
- 건물
- 내장
- 사업
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- 전화
- 라는
- CAN
- 얻을 수 있습니다
- 기능
- 능력
- 카드
- 케이스
- 가지 경우
- 셀
- 체인
- 쇠사슬
- 이전 단계로 돌아가기
- 변경
- 선택
- 왼쪽 메뉴에서
- 선택
- 수업
- 수업
- 클라이언트
- 클라우드
- 암호
- 협력
- 결합
- 결합
- 공통의
- 일반적으로
- 비교
- 완전한
- 진행완료
- 복잡한
- 구성
- 개념
- 간결한
- 연결
- 콘솔에서
- 포함하는
- 함유량
- 비용 효율적인
- 비용
- 만들
- 관습
- 고객
- 사용자 정의
- 데이터
- 데이터 과학
- 수십 년
- 태만
- 밝히다
- 배달하다
- 보여
- 시연
- 의존
- 배포
- 배포
- 배치
- 전개
- 디자인
- 개발자
- 개발
- 개발
- 디바이스
- 다른
- do
- 문서
- 서류
- 하지 않습니다
- 도메인
- 말라
- 아래 (down)
- 다운로드
- 마다
- 지구
- 효과적으로
- 가능
- 종점
- 엔지니어링
- 엔지니어
- 강화
- 확인
- 입력
- 환경
- 오류
- 이벤트
- 예
- 실행
- 기대하는
- ~을 기대하는
- 경험
- 실험
- 실험
- 페이스메이크업
- 요인
- 그릇된
- 특징
- 를
- 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에
- 최후의
- Find
- 먼저,
- 맞게
- 초점
- 따라
- 수행원
- 럭셔리
- Foundation
- 사
- 에
- 기능
- 기능
- 게다가
- 일반적으로
- 생성
- 생성
- 생성적인
- 제너레이티브 AI
- 얻을
- 목표
- 큰
- 핸들
- 처리
- 있다
- 건강 관리
- 도움
- 도움이
- 강조
- 호스팅
- 방법
- How To
- HTML
- HTTPS
- 허브
- ICON
- if
- 영상
- 구현
- 이행
- import
- 중대한
- in
- 포함
- 포함
- 포함
- 정보
- 받아 들여 쓰다
- 혁신
- 입력
- 입력
- 설치
- 예
- 를 받아야 하는 미국 여행자
- 학회
- 명령
- 통합 된
- 지능형
- 상호 작용
- 인터페이스
- 으로
- 격리
- IT
- 그
- 요한 복음
- JSON
- 다만
- 키
- 언어
- 넓은
- 큰
- 시작
- 휴가
- 도서관
- 생활
- 생명과학
- 제한
- 라인
- 모래밭
- 문학
- LLM
- 하중
- 긴
- 이상
- 찾고
- 본관
- 확인
- 관리
- 다루기 쉬운
- 관리
- 관리
- .
- 매핑
- 최고
- XNUMX월..
- 매질
- 메뉴
- 방법
- 최소의
- ML
- 모델
- 모델
- 수정
- 모듈
- 배우기
- 가장
- 많은
- 카테고리
- 필요한
- 필요
- 필요
- 네트워크
- 신제품
- NIH
- 일반적으로
- 수첩
- 알아채다..
- 번호
- 사물
- of
- on
- ONE
- 만
- 열 수
- 오픈 소스
- 오픈 소스 소프트웨어
- 최적화
- 옵션
- 기타
- 설명
- 출력
- 위에
- 자신의
- 페이지
- 빵
- 서
- 매개 변수
- 매개 변수
- 합격
- 수행
- 실행할 수 있는
- 수행하다
- 개인
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 전철기
- 게시하다
- 강한
- 인쇄
- 인쇄물
- 사설
- 방법
- 프로덕트
- 생산
- 증명
- 프로토 타입
- 제공
- 제공
- 제공
- 규정
- 공개
- 게시
- Python
- 품질
- 문제
- 빨리
- 빠르게
- 독자들
- 준비
- 현실 세계
- 추천
- 참조
- 규정하는
- 관련된
- 요구조건 니즈
- 필요
- 연구
- 연구원
- 각기
- 응답
- return
- 로봇
- 달리기
- 현자
- SageMaker 추론
- 규모
- 과학
- 과학
- 과학자
- 범위
- SDK
- 완벽하게
- 섹션
- 부문
- 보안
- 참조
- 선택된
- 본인
- 감정
- 순서
- 서비스
- 서비스
- 세트
- 설정
- 쇼핑
- 짧은
- 표시
- 단일
- SIX
- So
- 소프트웨어
- 솔루션
- 구체적인
- 구체적으로
- 속도
- 스타트
- 시작
- Status
- 단계
- 단계
- 저장
- 전략
- 엄격한
- 구조
- 스튜디오
- 이러한
- 요약
- 개요
- SUPPORT
- 지원
- 소요
- 태스크
- 작업
- 기법
- Technology
- 기술 혁신
- 본문
- 보다
- 그
- XNUMXD덴탈의
- 그들의
- 그들
- 그때
- 그곳에.
- Bowman의
- 이
- 을 통하여
- 에
- 함께
- 토큰
- 토큰
- 수단
- 검색을
- 훈련 된
- 변압기
- 변화
- 전이
- 일조
- 참된
- 회전
- 지도 시간
- 두
- 유형
- 정의되지 않은
- 유일한
- 불필요한
- 업로드
- 사용
- 유스 케이스
- 익숙한
- 사용
- 사용
- 변수
- 종류
- 자동차
- 버전
- 를 통해
- 관측
- 걷다
- 연습
- we
- 웹
- 웹 서비스
- 잘
- 뭐
- 언제
- 어느
- 넓은
- 의지
- 과
- 이내
- 없이
- 작업
- 워크 플로우
- 일하는
- 일
- 쓰다
- 쓰기
- 자신의
- 너의
- 제퍼 넷