생성적 AI 애플리케이션이 빠르게 채택됨에 따라 이러한 애플리케이션은 더 높은 처리량으로 인지된 대기 시간을 줄이기 위해 적시에 대응해야 합니다. 기초 모델(FM)은 종종 수백만에서 수십억에 이르는 규모의 매개변수를 포함하는 방대한 데이터 모음에 대해 사전 훈련됩니다. LLM(대형 언어 모델)은 사용자 추론에 대한 응답으로 텍스트를 생성하는 FM의 한 유형입니다. 추론 매개변수의 다양한 구성을 사용하여 이러한 모델을 추론하면 지연 시간이 일관되지 않을 수 있습니다. 불일치는 모델에서 기대하는 응답 토큰의 수가 다양하거나 모델이 배포된 가속기 유형으로 인해 발생할 수 있습니다.
두 경우 모두 전체 응답을 기다리는 대신 추론에 대한 응답 스트리밍 접근 방식을 채택할 수 있습니다. 이 접근 방식은 정보가 생성되자마자 정보 덩어리를 다시 보냅니다. 이는 지연된 전체 응답 대신 실시간으로 스트리밍된 부분 응답을 볼 수 있도록 하여 대화형 경험을 제공합니다.
공식 발표와 함께 Amazon SageMaker 실시간 추론, 이제 응답 스트리밍 지원, 이제 다음을 사용할 때 추론 응답을 클라이언트로 지속적으로 스트리밍할 수 있습니다. 아마존 세이지 메이커 응답 스트리밍을 통한 실시간 추론. 이 솔루션은 챗봇, 가상 비서, 음악 생성기 등 다양한 생성 AI 애플리케이션에 대한 대화형 경험을 구축하는 데 도움이 됩니다. 이 게시물에서는 TTFB(Time to First Byte) 형식으로 더 빠른 응답 시간을 실현하고 Llama 2 모델을 추론하는 동안 전반적인 인식 대기 시간을 줄이는 방법을 보여줍니다.
솔루션을 구현하기 위해 우리는 완전 관리형 서비스인 SageMaker를 사용하여 완전 관리형 인프라, 도구 및 워크플로를 통해 모든 사용 사례에 맞게 데이터를 준비하고 기계 학습(ML) 모델을 구축, 교육 및 배포합니다. SageMaker가 제공하는 다양한 배포 옵션에 대한 자세한 내용은 다음을 참조하십시오. Amazon SageMaker 모델 호스팅 FAQ. 응답 스트리밍과 함께 실시간 추론을 사용하여 지연 시간 문제를 해결하는 방법을 이해해 보겠습니다.
솔루션 개요
위에서 언급한 LLM을 통한 실시간 추론과 관련된 지연 시간을 해결하고 싶기 때문에 먼저 Llama 2에 대한 실시간 추론을 위해 응답 스트리밍 지원을 사용할 수 있는 방법을 이해하겠습니다. 그러나 모든 LLM은 실시간 추론을 통해 응답 스트리밍 지원을 활용할 수 있습니다. -시간 추론.
Llama 2는 7억에서 70억 개의 매개변수 범위에 이르는 사전 훈련되고 미세 조정된 생성 텍스트 모델 모음입니다. Llama 2 모델은 디코더 전용 아키텍처를 갖춘 자동 회귀 모델입니다. 프롬프트 및 추론 매개변수가 제공되면 Llama 2 모델은 텍스트 응답을 생성할 수 있습니다. 이러한 모델은 번역, 요약, 질문 답변 및 채팅에 사용할 수 있습니다.
이 게시물에서는 Llama 2 Chat 모델을 배포합니다. meta-llama/Llama-2-13b-chat-hf
응답 스트리밍을 통한 실시간 추론을 위해 SageMaker에서.
SageMaker 엔드포인트에 모델을 배포할 때 특수한 방법을 사용하여 모델을 컨테이너화할 수 있습니다. AWS 딥 러닝 컨테이너 (DLC) 이미지는 인기 있는 오픈 소스 라이브러리에서 사용할 수 있습니다. Llama 2 모델은 텍스트 생성 모델입니다. 다음 중 하나를 사용할 수 있습니다. SageMaker에서 Face LLM 추론 컨테이너 포옹 포옹 얼굴에 의해 구동 텍스트 생성 추론 (TGI) 또는 AWS DLC 대형 모델 추론 (LMI).
이 게시물에서는 G2 인스턴스에서 지원하는 실시간 추론을 위해 SageMaker 호스팅에서 DLC를 사용하여 Llama 13 5B Chat 모델을 배포합니다. G5 인스턴스는 그래픽 집약적인 애플리케이션과 ML 추론을 위한 고성능 GPU 기반 인스턴스입니다. 인스턴스 구성에 따라 적절하게 변경하여 지원되는 인스턴스 유형 p4d, p3, g5 및 g4dn을 사용할 수도 있습니다.
사전 조건
이 솔루션을 구현하려면 다음이 필요합니다.
- 가 있는 AWS 계정 AWS 자격 증명 및 액세스 관리 (IAM) 솔루션의 일부로 생성된 리소스를 관리할 수 있는 권한이 있는 역할입니다.
- 처음으로 작업하는 경우 아마존 세이지 메이커 스튜디오, 먼저 SageMaker 도메인.
- 허깅페이스 계정입니다. 가입하기 아직 계정이 없다면 이메일로 알려주세요.
- Hugging Face에서 사용할 수 있는 모델, 특히 미세 조정 및 추론 목적으로 Llama와 같은 게이트 모델에 원활하게 액세스하려면 읽기 액세스 토큰을 얻기 위한 Hugging Face 계정이 있어야 합니다. Hugging Face 계정에 가입하신 후, 로그인 방문하다 https://huggingface.co/settings/tokens 읽기 액세스 토큰을 생성합니다.
- Hugging Face에 가입할 때 사용한 것과 동일한 이메일 ID를 사용하여 Llama 2에 액세스하세요.
- Hugging Face를 통해 제공되는 Llama 2 모델은 게이트 모델입니다. Llama 모델의 사용에는 메타 라이센스가 적용됩니다. 모델 가중치와 토크나이저를 다운로드하려면, Llama에 대한 액세스 요청 라이센스를 수락하십시오.
- 액세스 권한이 부여되면(일반적으로 며칠 내에) 이메일 확인을 받게 됩니다. 이 예에서는 모델을 사용합니다.
Llama-2-13b-chat-hf
, 하지만 다른 변형에도 액세스할 수 있어야 합니다.
접근법 1: 포옹하는 얼굴 TGI
이 섹션에서는 배포 방법을 보여줍니다. meta-llama/Llama-2-13b-chat-hf
Hugging Face TGI를 사용하여 응답 스트리밍을 통해 SageMaker 실시간 엔드포인트에 모델을 적용합니다. 다음 표에는 이 배포의 사양이 요약되어 있습니다.
스펙 | 가치관 |
컨테이너 | 포옹 얼굴 TGI |
모델 이름 | 메타-라마/Llama-2-13b-chat-hf |
ML 인스턴스 | ml.g5.12xlarge |
추론 | 응답 스트리밍을 통한 실시간 |
모델 배포
먼저 배포할 LLM의 기본 이미지를 검색합니다. 그런 다음 기본 이미지에 모델을 빌드합니다. 마지막으로 실시간 추론을 위해 SageMaker 호스팅용 ML 인스턴스에 모델을 배포합니다.
프로그래밍 방식으로 배포를 수행하는 방법을 살펴보겠습니다. 간결성을 위해 이 섹션에서는 배포 단계에 도움이 되는 코드만 설명합니다. 배포를 위한 전체 소스 코드는 노트북에서 확인할 수 있습니다. llama-2-hf-tgi/llama-2-13b-chat-hf/1-deploy-llama-2-13b-chat-hf-tgi-sagemaker.ipynb.
사전 구축된 TGI를 통해 제공되는 최신 Hugging Face LLM DLC를 검색하세요. SageMaker DLC. 이 이미지를 사용하여 meta-llama/Llama-2-13b-chat-hf
SageMaker의 모델. 다음 코드를 참조하세요.
다음과 같이 정의된 구성 매개변수를 사용하여 모델 환경을 정의합니다.
교체 <YOUR_HUGGING_FACE_READ_ACCESS_TOKEN>
구성 매개변수의 경우 HUGGING_FACE_HUB_TOKEN
이 게시물의 전제 조건 섹션에 자세히 설명된 대로 Hugging Face 프로필에서 얻은 토큰 값을 사용하세요. 구성에서 모델의 복제본당 사용되는 GPU 수를 4로 정의합니다. SM_NUM_GPUS
. 그런 다음 배포할 수 있습니다. meta-llama/Llama-2-13b-chat-hf
5.12개의 GPU와 함께 제공되는 ml.g4xlarge 인스턴스의 모델입니다.
이제 다음 인스턴스를 빌드할 수 있습니다. HuggingFaceModel
앞서 언급한 환경 구성을 사용하면 다음과 같습니다.
마지막으로, 다음과 같은 다양한 매개변수 값을 사용하여 모델에서 사용 가능한 배포 메서드에 인수를 제공하여 모델을 배포합니다. endpoint_name
, initial_instance_count
및 instance_type
:
추론 수행
Hugging Face TGI DLC에는 모델에 대한 사용자 정의나 코드 변경 없이 응답을 스트리밍하는 기능이 함께 제공됩니다. 당신이 사용할 수있는 Invoke_endpoint_with_response_stream Boto3를 사용하는 경우 또는 InvokeEndpointWithResponseStream SageMaker Python SDK로 프로그래밍할 때.
XNUMXD덴탈의 InvokeEndpointWithResponseStream
SageMaker의 API를 사용하면 개발자가 SageMaker 모델에서 응답을 다시 스트리밍할 수 있으므로 인지된 대기 시간을 줄여 고객 만족도를 높이는 데 도움이 될 수 있습니다. 이는 전체 응답을 기다리는 것보다 즉각적인 처리가 더 중요한 생성적 AI 모델로 구축된 애플리케이션에 특히 중요합니다.
이 예에서는 Boto3를 사용하여 모델을 추론하고 SageMaker API를 사용합니다. invoke_endpoint_with_response_stream
다음과 같이 :
논쟁 거리 CustomAttributes
값으로 설정됩니다 accept_eula=false
. XNUMXD덴탈의 accept_eula
매개변수를 다음으로 설정해야 합니다. true
Llama 2 모델로부터 성공적으로 응답을 얻었습니다. 다음을 사용하여 성공적으로 호출한 후 invoke_endpoint_with_response_stream
, 메서드는 바이트의 응답 스트림을 반환합니다.
다음 다이어그램은이 워크 플로우를 보여줍니다.
바이트 스트림을 반복하고 이를 읽을 수 있는 텍스트로 구문 분석하는 반복자가 필요합니다. 그만큼 LineIterator
구현은 다음에서 찾을 수 있습니다. llama-2-hf-tgi/llama-2-13b-chat-hf/utils/LineIterator.py. 이제 모델을 추론하는 동안 이를 페이로드로 사용하기 위한 프롬프트와 지침을 준비할 준비가 되었습니다.
메시지와 지침을 준비하세요.
이 단계에서는 LLM에 대한 프롬프트와 지침을 준비합니다. Llama 2에 프롬프트를 표시하려면 다음 프롬프트 템플릿이 있어야 합니다.
메소드에 프로그래밍 방식으로 정의된 프롬프트 템플릿을 작성합니다. build_llama2_prompt
, 앞서 언급한 프롬프트 템플릿과 일치합니다. 그런 다음 사용 사례에 따라 지침을 정의합니다. 이 경우, 우리는 모델에 설명된 대로 마케팅 캠페인을 위한 이메일을 생성하도록 지시합니다. get_instructions
방법. 이러한 메소드에 대한 코드는 llama-2-hf-tgi/llama-2-13b-chat-hf/2-sagemaker-realtime-inference-llama-2-13b-chat-hf-tgi-streaming-response.ipynb 공책. 다음에 설명된 대로 수행할 작업과 결합된 지침을 작성합니다. user_ask_1
다음과 같이 :
build_llama2_prompt에 의해 생성된 프롬프트 템플릿에 따라 프롬프트를 빌드하라는 지침을 전달합니다.
키를 사용하여 프롬프트와 함께 추론 매개변수를 클럽화합니다. stream
가치와 함께 True
최종 페이로드를 형성합니다. 페이로드를 다음으로 보냅니다. get_realtime_response_stream
, 응답 스트리밍으로 엔드포인트를 호출하는 데 사용됩니다.
LLM에서 생성된 텍스트는 다음 애니메이션과 같이 출력으로 스트리밍됩니다.
접근법 2: DJL 서비스를 제공하는 LMI
이 섹션에서는 배포 방법을 보여줍니다. meta-llama/Llama-2-13b-chat-hf
DJL Serving과 함께 LMI를 사용한 응답 스트리밍을 통해 SageMaker 실시간 엔드포인트에 모델을 적용합니다. 다음 표에는 이 배포의 사양이 요약되어 있습니다.
스펙 | 가치관 |
컨테이너 | DJL Serving을 사용한 LMI 컨테이너 이미지 |
모델 이름 | 메타-라마/Llama-2-13b-chat-hf |
ML 인스턴스 | ml.g5.12xlarge |
추론 | 응답 스트리밍을 통한 실시간 |
먼저 모델을 다운로드하여 저장합니다. 아마존 단순 스토리지 서비스 (아마존 S3). 그런 다음 모델의 S3 접두사를 나타내는 S3 URI를 지정합니다. serving.properties
파일. 다음으로 배포할 LLM의 기본 이미지를 검색합니다. 그런 다음 기본 이미지에 모델을 빌드합니다. 마지막으로 실시간 추론을 위해 SageMaker 호스팅용 ML 인스턴스에 모델을 배포합니다.
앞서 언급한 배포 단계를 프로그래밍 방식으로 수행하는 방법을 살펴보겠습니다. 간결성을 위해 이 섹션에서는 배포 단계에 도움이 되는 코드만 자세히 설명합니다. 이 배포의 전체 소스 코드는 노트북에서 확인할 수 있습니다. llama-2-lmi/llama-2-13b-chat/1-deploy-llama-2-13b-chat-lmi-response-streaming.ipynb.
Hugging Face에서 모델 스냅샷을 다운로드하고 Amazon S3에 모델 아티팩트를 업로드합니다.
앞서 언급한 전제 조건을 갖춘 SageMaker 노트북 인스턴스에서 모델을 다운로드한 다음 추가 배포를 위해 S3 버킷에 업로드합니다.
유효한 액세스 토큰을 제공하지 않아도 모델이 다운로드됩니다. 하지만 이러한 모델을 배포하면 모델 제공이 성공하지 못합니다. 따라서 교체를 권장합니다. <YOUR_HUGGING_FACE_READ_ACCESS_TOKEN>
논쟁을 위해 token
전제 조건에 자세히 설명된 대로 Hugging Face 프로필에서 얻은 토큰 값을 사용합니다. 이 게시물에서는 Hugging Face에서 식별된 Llama 2의 공식 모델 이름을 값으로 지정합니다. meta-llama/Llama-2-13b-chat-hf
. 압축되지 않은 모델은 다음 위치에 다운로드됩니다. local_model_path
앞서 언급한 코드를 실행한 결과입니다.
파일을 Amazon S3에 업로드하고 나중에 사용할 URI를 얻습니다. serving.properties
.
당신은 포장할 것입니다 meta-llama/Llama-2-13b-chat-hf
다음을 통해 지정된 구성을 사용하여 DJL Serving을 사용하여 LMI 컨테이너 이미지 모델을 만듭니다. serving.properties
. 그런 다음 SageMaker ML 인스턴스 ml.g5.12xlarge의 컨테이너 이미지에 패키지된 모델 아티팩트와 함께 모델을 배포합니다. 그런 다음 실시간 추론을 위해 SageMaker 호스팅에 이 ML 인스턴스를 사용합니다.
DJL Serving을 위한 모델 아티팩트 준비
생성하여 모델 아티팩트를 준비합니다. serving.properties
구성 파일 :
이 구성 파일에서는 다음 설정을 사용합니다.
- 엔진 – DJL이 사용할 런타임 엔진을 지정합니다. 가능한 값은 다음과 같습니다.
Python
,DeepSpeed
,FasterTransformer
및MPI
. 이 경우에는 다음과 같이 설정했습니다.MPI
. MPI(모델 병렬화 및 추론)는 사용 가능한 모든 GPU에서 모델을 쉽게 분할하여 추론을 가속화합니다. - 옵션.진입점 – 이 옵션은 사용하려는 DJL Serving에서 제공하는 핸들러를 지정합니다. 가능한 값은 다음과 같습니다.
djl_python.huggingface
,djl_python.deepspeed
및djl_python.stable-diffusion
. 우리는 사용djl_python.huggingface
포옹 얼굴 가속을 위해. - option.tensor_parallel_degree – 이 옵션은 모델에서 수행되는 텐서 병렬 파티션 수를 지정합니다. Accelerate가 모델을 분할하는 데 필요한 GPU 장치 수를 설정할 수 있습니다. 또한 이 매개변수는 DJL 제공이 실행될 때 시작될 모델당 작업자 수를 제어합니다. 예를 들어, 4개의 GPU 머신이 있고 XNUMX개의 파티션을 생성하는 경우 모델당 하나의 작업자가 요청을 처리하게 됩니다.
- option.low_cpu_mem_usage – 모델을 로드할 때 CPU 메모리 사용량이 줄어듭니다. 다음으로 설정하는 것이 좋습니다.
TRUE
. - 옵션.롤링_배치 – 이를 통해 지원되는 전략 중 하나를 사용하여 반복 수준 일괄 처리가 가능해집니다. 값에는 다음이 포함됩니다.
auto
,scheduler
및lmi-dist
. 우리는 사용lmi-dist
Llama 2에 대한 연속 일괄 처리를 켜는 방법입니다. - option.max_rolling_batch_size – 이는 연속 배치의 동시 요청 수를 제한합니다. 값의 기본값은 32입니다.
- 옵션.모델_ID – 교체해야합니다
{{model_id}}
내부에 호스팅된 사전 학습된 모델의 모델 ID로 Hugging Face의 모델 저장소 또는 모델 아티팩트에 대한 S3 경로입니다.
더 많은 구성 옵션은 다음에서 찾을 수 있습니다. 구성 및 설정.
DJL Serving에서는 모델 아티팩트가 .tar 파일로 패키징되고 형식화될 것으로 예상하므로 다음 코드 조각을 실행하여 .tar 파일을 압축하고 Amazon S3에 업로드합니다.
DJL Serving으로 최신 LMI 컨테이너 이미지 검색
다음으로, LMI용 SageMaker와 함께 제공되는 DLC를 사용하여 모델을 배포합니다. SageMaker 이미지 URI를 검색합니다. djl-deepspeed
다음 코드를 사용하여 프로그래밍 방식으로 컨테이너:
앞서 언급한 이미지를 사용하여 배포할 수 있습니다. meta-llama/Llama-2-13b-chat-hf
SageMaker의 모델. 이제 모델 생성을 진행할 수 있습니다.
모델 만들기
다음을 사용하여 컨테이너가 빌드된 모델을 생성할 수 있습니다. inference_image_uri
및 다음과 같이 표시된 S3 URI에 위치한 모델 서비스 코드 s3_code_artifact:
이제 엔드포인트 구성에 대한 모든 세부 정보가 포함된 모델 구성을 생성할 수 있습니다.
모델 구성 만들기
다음 코드를 사용하여 식별된 모델에 대한 모델 구성을 만듭니다. model_name
:
모델 구성은 다음에 대해 정의됩니다. ProductionVariants
매개 변수 InstanceType
ML 인스턴스 ml.g5.12xlarge의 경우. 당신은 또한 ModelName
이전 단계에서 모델을 생성하는 데 사용한 것과 동일한 이름을 사용하여 모델과 엔드포인트 구성 간의 관계를 설정합니다.
이제 모델 및 모델 구성을 정의했으므로 SageMaker 엔드포인트를 생성할 수 있습니다.
SageMaker 엔드포인트 생성
다음 코드 조각을 사용하여 모델을 배포할 엔드포인트를 만듭니다.
다음 코드 조각을 사용하여 배포 진행 상황을 볼 수 있습니다.
배포가 성공하면 엔드포인트 상태는 다음과 같습니다. InService
. 이제 엔드포인트가 준비되었으므로 응답 스트리밍으로 추론을 수행해 보겠습니다.
응답 스트리밍을 통한 실시간 추론
Hugging Face TGI에 대한 이전 접근 방식에서 다룬 것처럼 동일한 방법을 사용할 수 있습니다. get_realtime_response_stream
SageMaker 엔드포인트에서 응답 스트리밍을 호출합니다. LMI 접근 방식을 사용하여 추론하는 코드는 다음과 같습니다. llama-2-lmi/llama-2-13b-chat/2-inference-llama-2-13b-chat-lmi-response-streaming.ipynb 공책. 그만큼 LineIterator
구현 위치는 다음과 같습니다. llama-2-lmi/utils/LineIterator.py. 참고로 LineIterator
LMI 컨테이너에 배포된 Llama 2 Chat 모델은 LineIterator
Hugging Face TGI 섹션에서 참조됩니다. 그만큼 LineIterator
다음을 사용하여 LMI 컨테이너로 추론된 Llama 2 Chat 모델의 바이트 스트림을 반복합니다. djl-deepspeed
버전 0.25.0. 다음 도우미 함수는 추론 요청에서 수신된 응답 스트림을 구문 분석합니다. invoke_endpoint_with_response_stream
API :
앞의 메서드는 읽은 데이터 스트림을 인쇄합니다. LineIterator
사람이 읽을 수 있는 형식으로.
모델을 추론하는 동안 이를 페이로드로 사용하기 위한 프롬프트와 지침을 준비하는 방법을 살펴보겠습니다.
Hugging Face TGI와 LMI에서 동일한 모델을 추론하기 때문에 프롬프트와 지침을 준비하는 과정은 동일합니다. 따라서 다음 방법을 사용할 수 있습니다. get_instructions
및 build_llama2_prompt
추론을 위해.
XNUMXD덴탈의 get_instructions
메소드는 지침을 반환합니다. 다음에 설명된 대로 수행할 작업과 결합된 지침을 작성합니다. user_ask_2
다음과 같이 :
생성된 프롬프트 템플릿에 따라 프롬프트를 작성하는 지침을 전달합니다. build_llama2_prompt:
우리는 최종 페이로드를 형성하라는 메시지와 함께 추론 매개변수를 결합합니다. 그런 다음 페이로드를 다음으로 보냅니다. get_realtime_response_stream,
이는 응답 스트리밍으로 엔드포인트를 호출하는 데 사용됩니다.
LLM에서 생성된 텍스트는 다음 애니메이션과 같이 출력으로 스트리밍됩니다.
정리
불필요한 비용 발생을 방지하려면 AWS 관리 콘솔 게시물에 언급된 접근 방식을 실행하는 동안 생성된 엔드포인트 및 관련 리소스를 삭제합니다. 두 배포 접근 방식 모두 다음 정리 루틴을 수행합니다.
교체 <SageMaker_Real-time_Endpoint_Name>
변수에 대한 endpoint_name
실제 끝점과 함께.
두 번째 접근 방식에서는 모델과 코드 아티팩트를 Amazon S3에 저장했습니다. 다음 코드를 사용하여 S3 버킷을 정리할 수 있습니다.
결론
이 게시물에서는 다양한 수의 응답 토큰 또는 다양한 추론 매개변수 세트가 LLM과 관련된 지연 시간에 어떤 영향을 미칠 수 있는지 논의했습니다. 우리는 응답 스트리밍의 도움으로 문제를 해결하는 방법을 보여주었습니다. 그런 다음 AWS DLC(LMI 및 Hugging Face TGI)를 사용하여 Llama 2 Chat 모델을 배포하고 추론하는 두 가지 접근 방식을 식별했습니다.
이제 스트리밍 응답의 중요성과 인지된 지연 시간을 줄이는 방법을 이해해야 합니다. 스트리밍 응답은 사용자 경험을 향상시킬 수 있습니다. 그렇지 않으면 LLM이 전체 응답을 빌드할 때까지 기다려야 합니다. 또한 응답 스트리밍을 통해 Llama 2 Chat 모델을 배포하면 사용자 경험이 향상되고 고객이 만족하게 됩니다.
공식 aws-samples를 참조할 수 있습니다. Amazon-Sagemaker-llama2-응답-스트리밍-레시피 다른 Llama 2 모델 변형에 대한 배포를 다룹니다.
참고자료
저자에 관하여
파반 쿠마르 라오 나불레 Amazon Web Services의 솔루션 아키텍트입니다. 그는 인도의 ISV와 협력하여 그들이 AWS에서 혁신할 수 있도록 돕습니다. 그는 "V 프로그래밍 시작하기"라는 책의 출판 작가입니다. 그는 하이데라바드에 있는 인도 공과대학(IIT)에서 데이터 과학 분야의 M.Tech를 취득했습니다. 그는 또한 인도 경영 관리 학교에서 IT 전문 분야의 Executive MBA를 취득했으며 Vaagdevi Institute of Technology and Science에서 전자 및 통신 엔지니어링 분야의 B.Tech 학위를 취득했습니다. Pavan은 AWS 공인 솔루션스 아키텍트 전문가이며 AWS 공인 기계 학습 전문 분야, Microsoft 공인 전문가(MCP) 및 Microsoft 공인 기술 전문가(MCTS)와 같은 기타 자격증을 보유하고 있습니다. 그는 또한 오픈 소스 매니아이기도 합니다. 여가 시간에는 Sia와 Rihanna의 환상적인 목소리를 듣는 것을 좋아합니다.
수단슈 증오 AWS의 주요 AI/ML 전문가이며 고객과 협력하여 MLOps 및 생성적 AI 여정에 대해 조언합니다. Amazon 이전 직책에서 그는 팀을 개념화하고 생성하고 주도하여 철저한 오픈 소스 기반 AI 및 게임화 플랫폼을 구축했으며 100개 이상의 클라이언트와 함께 이를 성공적으로 상용화했습니다. Sudhanshu는 몇 가지 특허를 인정받아 두 권의 책과 여러 논문, 블로그를 작성했으며 다양한 기술 포럼에서 자신의 관점을 발표했습니다. 그는 사고의 리더이자 연사였으며 거의 25년 동안 업계에 종사해 왔습니다. 그는 전 세계 Fortune 1000대 고객과 협력했으며 가장 최근에는 인도의 디지털 네이티브 고객과 협력했습니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/inference-llama-2-models-with-real-time-response-streaming-using-amazon-sagemaker/
- :있다
- :이다
- :어디
- $UP
- 1
- 10
- 100
- 11
- 12
- 14
- 15%
- 150
- 16
- 19
- 1st
- 25
- 32
- 385
- 50
- 7
- 70
- 8
- 9
- a
- 능력
- 할 수 있는
- 소개
- 가속
- 가속하다
- 가속 자
- 수락
- ACCESS
- 계정
- 달성
- 가로질러
- 동작
- 실제
- 또한
- 주소
- 관리
- 채택
- 양자
- 이점
- 조언
- 영향을
- 후
- AI
- AI 모델
- AI / ML
- 앨리스
- 정렬
- All
- 허용
- 수
- 따라
- 이미
- 또한
- 아마존
- 아마존 세이지 메이커
- Amazon Web Services
- an
- 및
- 생기
- 발표
- 강의자료
- 어떤
- API를
- 어플리케이션
- 접근
- 구혼
- 적당한
- 건축
- 아키텍처
- 있군요
- 논의
- 인수
- AS
- 비서
- 관련
- At
- 저자
- 가능
- 피하기
- AWS
- 뒤로
- 기지
- 배치
- BE
- 때문에
- 된
- 전에
- 사이에
- 그 너머
- 억원
- 수십억
- BIN
- 블로그
- 몸
- 책
- 도서
- 두
- 빌드
- 빌드
- 내장
- 사업
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- 전화
- 운동
- CAN
- 수
- 케이스
- 인증
- 인증
- 변경
- 요금
- 잡담
- 잡담
- 황어 무리
- 클라이언트
- 클라이언트
- 클럽
- 암호
- 수집
- COM
- 결합 된
- 제공
- 의사 소통
- 병발 사정
- 구성
- 확인
- 컨테이너
- 용기
- 끊임없는
- 지속적으로
- 컨트롤
- 수
- 두
- 쿠폰
- 적용
- 커버
- 만들
- 만든
- 생성
- 만들기
- 신용
- 고객
- 고객 만족
- 고객
- 데이터
- 데이터 과학
- 일
- 깊은
- 깊은 학습
- 기본값
- 밝히다
- 한정된
- 지연
- 보여
- 배포
- 배포
- 배치
- 전개
- 상세한
- 세부설명
- 개발자
- 디바이스
- 다른
- 디지털
- 논의 된
- 말라
- 다운로드
- ...동안
- 이전
- 중
- 전자
- 이메일
- 수
- 종점
- 엔진
- 엔지니어링
- 매니아
- 전체의
- 환경
- 특히
- 설립
- 조차
- 예
- 행정부
- 기대
- ~을 기대하는
- 경험
- 체험
- 탐험
- 페이스메이크업
- 을 용이하게
- 그릇된
- 빠른
- 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에
- 파일
- 최후의
- 최종적으로
- 먼저,
- 처음으로
- 수행원
- 다음
- 럭셔리
- 형태
- 체재
- 운
- 포럼
- 발견
- Foundation
- 사
- 무료
- 에
- 가득 찬
- 충분히
- 기능
- 추가
- 게임 화
- 게이츠가 쓴
- 생성
- 생성
- 생성
- 세대
- 생성적인
- 제너레이티브 AI
- 발전기
- 얻을
- 지프
- 공
- Go
- 통치되는
- GPU
- GPU
- 부여
- 큰
- 행복한
- 미워
- 있다
- he
- 도움
- 도움이
- 고성능
- 더 높은
- 그의
- 보유
- 호스팅
- 호스팅
- 방법
- How To
- 그러나
- HTML
- HTTP
- HTTPS
- 포옹 얼굴
- 인간이 읽을 수있는
- ID
- 확인
- 통합 인증
- if
- 설명하다
- 영상
- 형상
- 즉시
- 구현
- 이행
- import
- 중요성
- 중대한
- 개선
- 향상
- in
- 포함
- 포함
- 인도
- 옥수수
- 표시된
- 산업
- 정보
- 인프라
- 받아 들여 쓰다
- 입력
- 입력
- 내부
- 예
- 를 받아야 하는 미국 여행자
- 학회
- 명령
- 대화형
- 인터넷
- 문제
- IT
- 그
- 여행
- JSON
- 키
- 쿠마
- 언어
- 넓은
- 숨어 있음
- 대기 시간 문제
- 후에
- 최근
- 시작
- 리드
- 리더
- 배우기
- 지도
- 길이
- 도서관
- 특허
- 처럼
- 제한
- 라인
- 들어
- 야마
- LLM
- 로드
- 위치한
- loves
- 기계
- 기계 학습
- 만든
- 확인
- 제작
- 관리
- 관리
- 구축
- 마케팅
- 최대
- XNUMX월..
- MCP
- 메모리
- 말하는
- 메타
- 방법
- 방법
- Microsoft
- 수백만
- ML
- MLOps
- 모델
- 모델
- 개월
- 배우기
- 가장
- 음악
- 절대로 필요한 것
- name
- 이름
- 출신
- 거의
- 필요
- 요구
- 신제품
- 다음 것
- 주의
- 수첩
- 지금
- 번호
- 사물
- 관찰
- 획득
- 획득
- of
- 제공
- 공무원
- 자주
- on
- ONE
- 만
- 열 수
- 오픈 소스
- 선택권
- 옵션
- or
- 기타
- 그렇지 않으면
- 요점
- 출력
- 위에
- 전체
- 포장하는
- 포장
- 서류
- 평행
- 매개 변수
- 매개 변수
- 부품
- 패스
- 특허
- 통로
- 용
- 감지 된
- 수행
- 수행
- 권한
- 플랫폼
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 전철기
- 인기 문서
- 가능한
- 게시하다
- powered
- 선행
- Prepare
- 준비
- 전제 조건
- 제시
- 너무 이른
- 교장
- 인쇄물
- 문제
- 진행
- 방법
- 처리됨
- 처리
- 프로덕트
- 제품 출시
- 링크를
- 프로필
- 프로그램 작성
- 진행
- 속성
- 제공
- 제공
- 제공
- 제공
- 출판
- 목적
- Python
- 파이 토치
- 문제
- 이르기까지
- 빠른
- 차라리
- 읽기
- 준비
- 현실
- 실시간
- 실현
- 받다
- 접수
- 최근에
- 권하다
- 추천
- 감소
- 감소
- 감소
- 참조
- 관계
- 교체
- 대답
- 저장소
- 의뢰
- 요청
- 제품 자료
- 응답
- 응답
- 응답
- 결과
- return
- 반품
- 직위별
- 루틴
- 달리기
- 달리는
- 실행
- 런타임
- 현자
- 같은
- 만족도
- 규모
- 학교
- 과학
- SDK
- 원활한
- 둘째
- 섹션
- 참조
- 보내다
- 전송
- 서브
- 서비스
- 서비스
- 피복재
- 세트
- 설정
- 몇몇의
- 짧은
- 영상을
- 표시
- 보여
- 표시
- 쇼
- 기호
- 단순, 간단, 편리
- 스냅 사진
- 단편
- 해결책
- 솔루션
- 곧
- 출처
- 소스 코드
- Speaker
- 전문가
- 전문
- 스페셜티
- 명세서
- 지정
- 시작
- Status
- 단계
- 단계
- 중지
- 저장
- 저장
- 저장
- 전략들
- 흐름
- 스트리밍
- 스트리밍
- 스트리밍 서비스
- 성공
- 성공한
- 성공적으로
- 이러한
- SUPPORT
- 지원
- 지원
- 테이블
- 받아
- 태스크
- 팀
- 기술
- 테크니컬
- Technology
- 이 템플릿
- 본문
- 보다
- 그
- XNUMXD덴탈의
- 그들의
- 그들
- 그때
- 그곳에.
- 그것에 의하여
- 따라서
- Bowman의
- 그들
- 이
- 그래도?
- 생각
- 처리량
- 시간
- 시대
- 에
- 토큰
- 토큰
- 검색을
- Train
- 번역
- 참된
- 선회
- 두
- 유형
- 유형
- 일반적으로
- 이해
- 불필요한
- 까지
- 용법
- 사용
- 유스 케이스
- 익숙한
- 사용자
- 사용자 경험
- 사용
- 유효한
- 가치
- 마케팅은:
- 변수
- 여러
- 변화
- 거대한
- 버전
- 를 통해
- 관측
- 온라인
- 방문
- 음성
- 기다리다
- 기다리는
- 필요
- we
- 웹
- 웹 서비스
- 잘
- 했다
- 언제
- 어느
- 동안
- 모든
- 누구의
- 의지
- 과
- 이내
- 없이
- 일
- 노동자
- 근로자
- 워크플로우
- 워크 플로우
- 일하는
- 일
- 겠지
- 쓰다
- 쓴
- 년
- 자신의
- 너의
- 제퍼 넷