Amazon SageMaker에서 실시간 모델 배포 시작하기

아마존 세이지 메이커 모든 개발자와 데이터 과학자에게 기계 학습(ML) 모델을 대규모로 신속하게 구축, 교육 및 배포할 수 있는 기능을 제공하는 완전 관리형 서비스입니다. ML은 추론을 통해 구현됩니다. SageMaker는 네 가지 추론 옵션을 제공합니다.

1. 실시간 추론
2. 서버리스 추론
3. 비동기 추론
4. 일괄 변환

이 네 가지 옵션은 크게 온라인 추론 옵션과 배치 추론 옵션으로 분류할 수 있습니다. 온라인 추론에서는 요청이 도착하자마자 처리될 것으로 예상되며 소비 애플리케이션은 각 요청이 처리된 후 응답을 기대합니다. 이는 동기식(실시간 추론, 서버리스) 또는 비동기식(비동기 추론)으로 발생할 수 있습니다. 동기 패턴에서는 소비 애플리케이션이 차단되고 응답을 받을 때까지 진행할 수 없습니다. 이러한 워크로드는 온라인 신용 카드 사기 탐지와 같은 실시간 애플리케이션인 경우가 많으며 응답은 밀리초에서 초 단위로 예상되고 요청 페이로드는 작습니다(몇 MB). 비동기식 패턴에서는 애플리케이션 환경이 차단되지 않으며(예: 모바일 앱을 통해 보험 청구 제출) 일반적으로 더 큰 페이로드 크기 및/또는 더 긴 처리 시간이 필요합니다. 오프라인 추론에서는 추론 요청의 집합(배치)이 함께 처리되고 전체 배치가 처리된 후에만 응답이 제공됩니다. 일반적으로 이러한 워크로드는 대기 시간에 민감하지 않고 대용량(수 GB)의 데이터를 포함하며 정기적으로 예약됩니다(예: 하루가 끝날 때 보안 카메라 영상에서 객체 감지를 실행하거나 퇴근 시간에 급여 데이터를 처리). 달의 끝).

맨뼈에서, SageMaker 실시간 추론 모델, 작업 중인 프레임워크/컨테이너, 배포된 엔드포인트를 지원하는 인프라/인스턴스로 구성됩니다. 이 게시물에서는 단일 모델 엔드포인트를 생성하고 호출하는 방법을 살펴보겠습니다.

모델 배포 옵션 선택

올바른 추론 유형을 선택하는 것은 어려울 수 있으며 다음의 간단한 가이드가 도움이 될 수 있습니다. 이는 엄격한 순서도가 아니므로 다른 옵션이 자신에게 더 적합하다고 생각되면 자유롭게 해당 옵션을 사용하세요. 특히 실시간 추론은 낮고 일관된 대기 시간(밀리초 또는 초 단위)과 처리량에 민감한 워크로드가 있는 경우 모델을 호스팅하기 위한 훌륭한 옵션입니다. 구성하는 동안 엔드포인트 뒤에 있는 인스턴스 유형과 개수를 제어할 수 있습니다. 자동 확장 트래픽을 처리하는 정책입니다. 엔드포인트를 생성하는 데 사용할 수 있는 다른 두 가지 SageMaker 추론 옵션이 있습니다. 비동기 추론은 페이로드 크기가 크고 대기 시간 대역폭이 실시간에 가까운 경우입니다. 이는 특히 전처리 시간이 더 긴 NLP 및 Computer Vision 모델의 경우 좋은 옵션입니다. 서버리스 추론은 트래픽이 간헐적이고 인프라 확장을 관리하고 싶지 않을 때 유용한 옵션입니다. 엔드포인트를 생성하는 방법은 선택한 추론 유형에 관계없이 동일하게 유지됩니다. 이 게시물에서는 실시간 인스턴스 기반 엔드포인트를 만드는 데 중점을 두겠지만 사용 사례에 따라 다른 추론 옵션 중 하나에 쉽게 적용할 수 있습니다. 마지막으로 일괄 추론은 오프라인에서 이루어지므로 추론하려는 데이터 세트를 제공하면 이를 실행해 드립니다. 이는 마찬가지로 인스턴스 기반이므로 워크로드에 가장 적합한 인스턴스를 선택할 수 있습니다. 실행 중인 엔드포인트가 없으므로 작업 기간에 대해서만 비용을 지불합니다. 기가바이트 단위의 데이터를 처리하는 데 적합하며 작업 기간은 며칠이 걸릴 수 있습니다. 구조화된 데이터 작업을 더 쉽게 해주는 기능과 구조화된 데이터를 자동으로 배포하는 최적화 기능이 내장되어 있습니다. 몇 가지 사용 사례로는 성향 모델링, 예측 유지 관리, 이탈 예측 등이 ​​있습니다. 이 모든 작업은 특정 이벤트에 반응할 필요가 없기 때문에 오프라인에서 대량으로 수행될 수 있습니다.

SageMaker 엔드포인트에서 모델 호스팅

핵심적으로 SageMaker 실시간 엔드포인트는 엔드포인트를 지원하기 위해 선택한 모델과 인프라로 구성됩니다. SageMaker는 컨테이너를 사용하여 모델을 호스팅합니다. 즉, 제공하는 각 모델에 사용하는 프레임워크에 대한 환경을 적절하게 설정하는 컨테이너가 필요합니다. 예를 들어 Sklearn 모델로 작업하는 경우 Sklearn을 올바르게 설정하는 컨테이너 내의 모델 스크립트/데이터를 전달해야 합니다. 다행히 SageMaker는 다음을 제공합니다. 관리되는 이미지 TensorFlow, PyTorch, Sklearn 및 HuggingFace와 같은 널리 사용되는 프레임워크용입니다. 고급 수준을 사용하여 이러한 이미지를 검색하고 활용할 수 있습니다. SageMaker Python SDK 모델 스크립트와 데이터를 이러한 컨테이너에 삽입합니다. SageMaker에 지원되는 컨테이너가 없는 경우 다음을 수행할 수도 있습니다. 나만의 컨테이너 구축 사용자 정의 이미지를 푸시하여 모델에 필요한 종속성을 설치합니다.

SageMaker는 훈련된 모델과 사전 훈련된 모델을 모두 지원합니다. 이전 단락에서 모델 스크립트/데이터에 관해 이야기할 때 이 문제를 언급했습니다. 컨테이너에 스크립트를 마운트하거나 사전 학습된 모델 아티팩트가 있는 경우(예: `모델.joblib` SKLearn의 경우), 이를 이미지와 함께 SageMaker에 제공할 수 있습니다. SageMaker 추론을 이해하기 위해 엔드포인트 생성 과정에서 생성하게 될 세 가지 주요 엔터티가 있습니다.

1. SageMaker 모델 엔터티 – 여기에서는 훈련된 모델 데이터/모델 스크립트와 작업 중인 이미지(AWS 소유 또는 직접 구축)를 전달할 수 있습니다.
2. 엔드포인트 구성 생성 – 여기에서 인프라를 정의합니다. 즉, 인스턴스 유형, 개수 등을 선택합니다.
3. 엔드포인트 생성 – 응답을 얻기 위해 호출하는 모델을 호스팅하는 REST 엔드포인트입니다. 관리형 SageMaker 이미지와 사용자 지정 구축 이미지를 활용하여 엔드포인트를 배포하는 방법을 살펴보겠습니다.

실시간 엔드포인트 요구 사항

1. 엔드포인트를 생성하기 전에 호스팅하려는 모델 유형을 이해해야 합니다. TensorFlow, PyTorch 또는 MXNet과 같은 프레임워크 모델인 경우 다음 중 하나를 활용할 수 있습니다. 사전 빌드된 프레임워크 이미지.
   사용자 지정 모델이거나 SageMaker가 추론을 위해 실행할 컨테이너를 생성하는 데 완전한 유연성을 원하는 경우 자체 컨테이너를 구축할 수 있습니다.

SageMaker 엔드 포인트 ~로 구성되어 있습니다 세이지메이커 모델 와 엔드포인트 구성.
Boto3를 사용하는 경우 두 개체를 모두 생성합니다. 그렇지 않고 SageMaker Python SDK를 활용하는 경우 다음을 사용할 때 엔드포인트 구성이 자동으로 생성됩니다. .deploy(..) 기능.

SageMaker 엔터티:

• 세이지메이커 모델:
  • 추론 이미지의 세부 정보, 모델 아티팩트의 위치가 포함되어 있습니다. 아마존 단순 스토리지 서비스(Amazon S3), 네트워크 구성 및 AWS 자격 증명 및 액세스 관리 (IAM) 엔드포인트에서 사용할 역할입니다.
    • SageMaker에서는 모델 아티팩트를 압축해야 합니다. .tar.gz 파일. SageMaker는 이를 자동으로 추출합니다. .tar.gz 파일에 /opt/ml/model/ 컨테이너의 디렉터리입니다. TensorFlow, PyTorch 또는 MXNet과 같은 프레임워크 컨테이너 중 하나를 활용하는 경우 컨테이너는 TAR 구조가 다음과 같을 것으로 예상합니다.
      • TensorFlow
        

        model.tar.gz/
        |--[model_version_number]/
        |--variables
        |--saved_model.pb
        code/
        |--inference.py
        |--requirements.txt

      • 파이 토치
        

        model.tar.gz/
        |- model.pth
        |- code/
        |- inference.py
        |- requirements.txt # only for versions 1.3.1 and higher

      • MX 넷
        

        model.tar.gz/
        |- model-symbol.json
        |- model-shapes.json
        |- model-0000.params
        |- code/
            |- inference.py
            |- requirements.txt # only for versions 1.6.0 and higher

      • 스클런
        

        model.tar.gz/
        |- model.joblib
        | code/ 
        |- inference.py

    • 프레임워크 이미지를 활용할 때 자체적인 사전 및 사후 처리를 구현할 수 있는 사용자 정의 진입점 스크립트를 제공할 수 있습니다. 우리의 경우 추론 스크립트는 /code 디렉터리 아래의 model.tar.gz에 패키지되어 있습니다.

• • 엔드포인트 구성
    • SageMaker 모델을 엔드포인트에 배포하는 데 필요한 인프라 정보가 포함되어 있습니다.
    • 예를 들어, 우리가 생성한 SageMaker 모델은 인스턴스 유형 및 초기 인스턴스 수와 함께 여기에 지정됩니다.

프레임워크 및 BYOC

• • SageMaker 이미지 검색
    • 이 부분은 항상 필요한 것은 아니며 추정기를 통해 SageMaker Python SDK에 의해 추상화됩니다. 그러나 SageMaker 관리형 이미지를 검색하여 확장하려는 경우 SDK를 통해 사용 가능한 이미지를 얻을 수 있습니다. 다음은 추론을 위해 TF 2.2 이미지를 검색하는 예입니다.

      import sagemaker
      tf_image = sagemaker.image_uris.retreive(framework="tensorflow", region="us-east-1",
      image_scope = "inference", version = "2.2", instance_type = "ml.c5.xlarge)
      print(tf_image)

  • 프레임 워크
    • TensorFlow, PyTorch 또는 MXNet과 같은 프레임워크 모델을 배포하려는 경우 모델 아티팩트만 있으면 됩니다.
    • 모델 아티팩트에서 직접 모델을 배포하는 방법에 대한 설명서를 참조하세요. TensorFlow, 파이 토치및 MX 넷.

• • 1P와 BYOC 중에서 선택
    • SageMaker SDK는 이전 프레임워크 섹션에서 본 것처럼 이미지 처리도 추상화합니다. 선택한 버전을 기반으로 이미지를 자동으로 선택하는 Sklearn, TensorFlow 및 PyTorch용 기성 추정기가 있습니다. 그런 다음 다음을 통해 훈련/추론 스크립트를 전달할 수 있습니다. 스크립트 모드 이러한 추정기에 포함됩니다.

      from sagemaker.pytorch import PyTorch #PyTorch Estimator within SageMaker SDK
      estimator_parameters = {"entry_point": "train_deploy_pytorch_without_dependencies.py",
      "source_dir": "pytorch_script","instance_type": train_instance_type,
      "instance_count": 1,"hyperparameters": hyperparameters,
      "role": role,"base_job_name": "pytorch-model","framework_version": "1.5",
      "py_version": "py3",}
      
      ## Model Training
      estimator = PyTorch(**estimator_parameters)estimator.fit(inputs)
      
      ## Deploy Trained model
      pytorch_predictor = estimator.deploy(initial_instance_count=1, instance_type="ml.m5.xlarge", endpoint_name=pytorch_endpoint_name)

    • SageMaker에서는 모든 패키지와 이미지를 지원하지 않으며, 이 경우 다음을 수행해야 합니다. 자신의 컨테이너 가져오기(BYOC). 이는 모델 제공에 적합한 환경을 설정하는 Dockerfile을 구축하는 것을 의미합니다. 이에 대한 예로 Spacy NLP 모듈이 있으며 이 프레임워크에는 관리형 SageMaker 컨테이너가 없습니다. 따라서 Spacy를 설치하는 Dockerfile을 제공해야 합니다. 컨테이너 내에 모델 추론 스크립트도 탑재합니다. 대부분의 예에서 일관성을 유지하므로 자체 컨테이너 가져오기 형식으로 제공하는 구성 요소에 대해 빠르게 논의해 보겠습니다.
      • "nginx.conf" nginx 프런트엔드에 대한 구성 파일입니다. 이러한 부분을 조정하려는 경우가 아니면 이 파일을 편집할 필요가 없습니다.
      • "예측기.py" Flask 웹 서버와 애플리케이션의 모델 코드를 실제로 구현하는 프로그램입니다. 컨테이너에 이 파일에서 호출할 수 있는 추가 Python 파일이나 함수가 있을 수 있습니다.
      • "제공하다" 호스팅을 위해 컨테이너가 시작될 때 시작되는 프로그램입니다. Predictor.py에 정의된 Flask 앱의 여러 인스턴스를 실행하는 gunicorn 서버를 시작하기만 하면 됩니다. nginx.conf와 마찬가지로 수행하려는 추가 조정이 없으면 이 파일을 편집할 필요가 없습니다.
      • "기차" 훈련을 위해 컨테이너가 실행될 때 호출되는 프로그램입니다. 훈련 알고리즘을 구현하기 위해 이 프로그램을 수정합니다. Spacy와 같은 사전 훈련된 모델이나 프레임워크를 가져오는 경우에는 이 파일이 필요하지 않습니다.
      • "wsgi.py" Flask 앱을 ​​호출하는 데 사용되는 작은 래퍼입니다. Predictor.py 파일의 이름을 변경하지 않는 한 이 파일을 있는 그대로 사용할 수 있습니다. 이 경우 여기에서 매핑이 제대로 되었는지 확인하세요.

• • 사용자 지정 추론 스크립트
    • SageMaker 프레임워크 컨테이너는 사용자 지정 진입점 script/inference.py를 사용하여 요청 및 모델 로드의 사전/사후 처리를 처리할 수 있는 유연성을 제공합니다.
    • 사용자 정의 inference.py 스크립트 생성에 대한 설명서를 참조하세요. TensorFlow, 파이 토치 와 MX 넷.
  • 맞춤 컨테이너

SageMaker 엔드포인트와 상호 작용할 수 있는 다양한 방법

SageMaker를 프로그래밍 방식으로 사용하여 배포된 모델을 호출하여 추론을 얻을 수 있는 다양한 옵션이 있습니다. 그만큼 AWS 명령줄 인터페이스(AWS CLI), REST API, AWS 클라우드 포메이션, AWS 클라우드 개발 키트(AWS CDK) 및 AWS SDK는 AWS에서 제공하고 다른 AWS 서비스에서 널리 지원하는 일반적인 도구입니다. SageMaker의 경우 SageMaker Python SDK도 있습니다. 이제 SageMaker 엔드포인트를 생성, 호출 및 관리하는 다양한 옵션을 비교해 보겠습니다.

이외에도 세이지메이커 CLI, SDK를 통해 SageMaker의 엔드포인트와 프로그래밍 방식으로 상호 작용할 수 있는 두 가지 방법이 있습니다. 다음과 같은 몇 가지 차이점을 살펴보겠습니다. SageMaker Python SDK 와 Boto3 파이썬 SDK:

1. 상위 수준 SageMaker “Python” SDK – 이 SDK는 Python을 사용하여 프로그래밍 방식으로 SageMaker API를 호출하기 위해 특별히 고안된 상위 수준 추상화를 제공하는 오픈 소스 라이브러리입니다. 이 SDK의 좋은 점은 Sagemaker API를 호출하기가 매우 쉽고, API를 동기/비동기 모드(폴링을 방지하는 데 도움이 됨) 호출과 같은 많은 무거운 작업이 이미 수행되었으며, 요청/응답 스키마가 더 간단하고, 코드가 훨씬 적다는 것입니다. 더 간단한 코드. SageMaker Python SDK는 SageMaker 작업을 위한 여러 가지 상위 수준 추상화를 제공합니다. 이 패키지는 SageMaker의 다양한 ML 프로세스를 단순화하기 위한 것입니다.
2. 하위 수준 AWS SDK(Boto3 SDK) – 이 SDK는 사용자가 지원되는 프로그래밍 언어 중에서 선택하고 모든 AWS 서비스를 프로그래밍 방식으로 호출할 수 있도록 하여 하위 수준에서 작동합니다. 이는 SageMaker에만 국한된 것이 아니라 모든 AWS 서비스에 일반적으로 사용될 수 있습니다. 하위 수준 AWS SDK는 .NET, Python, Java, Node.js 등과 같은 다양한 프로그래밍 언어로 사용할 수 있습니다. 널리 사용되는 SDK 중 하나는 ML을 위한 데이터 과학자 커뮤니티에서 널리 사용되는 boto3 Python SDK입니다. 이 SDK의 좋은 점은 매우 가볍고 기본적으로 설치되어 사용할 수 있다는 것입니다. AWS 람다 실행 시간. 또한 이 SDK를 사용하여 SageMaker 외부의 모든 AWS 서비스와 상호 작용할 수 있습니다.

두 SDK 모두 동일한 작업에 사용할 수 있지만 어떤 경우에는 다른 SDK보다 하나를 더 사용하는 것이 더 직관적입니다. SageMaker Python SDK는 손쉬운 테스트를 위해 권장되는 반면 AWS SDK/Boto3는 성능을 더 효과적으로 제어하기 위한 프로덕션 사용 사례에 권장됩니다. 예를 들어 SageMaker 서비스는 Sklearn, PyTorch 및 TensorFlow와 같은 널리 사용되는 프레임워크에 대해 사전 구축 및 유지 관리되는 이미지를 제공합니다. SageMaker SDK를 사용하여 딥 러닝 이미지를 검색하고 다음을 사용하여 모델을 교육하는 것이 특히 유용할 수 있습니다. 추정기, 간단한 API 호출을 사용하여 모델을 쉽게 배포할 수 있습니다. 이를 실제로 보여주는 예를 찾을 수 있습니다. 여기에서 지금 확인해 보세요..

반면에 사전 훈련된 모델이나 사용 중인 다른 프레임워크가 있는 경우도 있습니다. 이를 위해서는 더 많은 사용자 정의가 필요하며 SageMaker SDK가 항상 이를 제공하는 것은 아닙니다. 엔드포인트를 배포하기 위해 실행해야 하는 세 가지 중요한 단계와 해당 boto3 API 호출이 있습니다. 모델 생성, 끝점 구성 생성및 엔드포인트 생성. 처음 두 엔터티는 지원되는 프레임워크를 사용하여 SageMaker SDK로 추상화되었지만 Boto3 SDK를 통해 해당 세부 정보를 볼 수 있습니다. Boto3 SDK를 사용하여 엔드포인트를 생성하고 관리하는 단계를 보여주는 광범위한 예를 찾을 수 있습니다. 여기에서 지금 확인해 보세요..

SageMaker 호스팅 고려 사항

SageMaker 실시간 추론에는 고려할 수 있는 두 가지 주요 최적화, 즉 1/ 성능 최적화 및 2/ 비용 최적화가 있습니다. 먼저 살펴 보겠습니다. 성능 최적화, 지연 시간에 민감한 워크로드를 처리할 때 1밀리초가 중요합니다. 대기 시간과 처리량을 최적화하기 위해 조정할 수 있는 다양한 손잡이가 있습니다. 인스턴스 수준에서 다음을 사용할 수 있습니다. 추론 추천자, 내장된 로드 테스트 도구를 사용하여 워크로드에 적합한 인스턴스 유형과 개수를 선택하는 데 도움을 줍니다. 적절한 컴퓨팅 조합을 활용하면 성능과 비용 모두에 도움이 됩니다. 컨테이너 및 프레임워크 수준에서 조정할 수도 있습니다.
스스로에게 물어볼 질문은 다음과 같습니다.

1. 어떤 프레임워크를 사용하고 있나요?
2. 컨테이너 내에서 조정할 수 있는 환경 변수가 있나요?

그 예로는 최대화를 들 수 있습니다. SageMaker 컨테이너를 사용한 TensorFlow 성능. 컨테이너 수준 최적화의 또 다른 예는 다음과 같습니다. gRPC 활용 엔드포인트 뒤의 REST가 아닌 마지막으로 스크립트 수준에서 최적화할 수도 있습니다. 추론 코드가 특정 블록에서 추가 시간이 걸리나요? 스크립트의 모든 줄에 타이밍을 맞추면 코드 내의 병목 현상을 포착하는 데 도움이 됩니다.

보는 방법은 3가지가 있습니다 활용도 향상 실시간 엔드포인트:

1. 다중 모델 엔드포인트(MME)
   • 단일 엔드포인트 뒤에서 수천 개의 모델을 호스팅할 수 있습니다. 이는 각 모델에 대한 전용 엔드포인트가 필요하지 않은 사용 사례에 적합합니다. MME는 모델의 크기와 대기 시간이 비슷하고 동일한 ML 프레임워크에 속할 때 가장 잘 작동합니다. 이는 일반적으로 동일한 모델을 항상 호출할 필요가 없을 때 사용할 수 있습니다. 해당 모델을 SageMaker 엔드포인트에 동적으로 로드하여 요청을 처리할 수 있습니다.. MME가 실제로 작동하는 모습을 보여주는 예를 찾을 수 있습니다. 여기에서 지금 확인해 보세요.. MME에서 모델 호스팅에 대한 다양한 주의 사항과 모범 사례에 대해 자세히 알아보려면 해당 게시물을 참조하세요. 여기에서 지금 확인해 보세요..
2. 다중 컨테이너 엔드포인트(MCE)
   • 여러 컨테이너를 호스팅하기 위해 여러 엔드포인트를 활용하는 대신 단일 엔드포인트에서 최대 15개의 컨테이너를 호스팅할 수 있습니다. 이러한 컨테이너 각각은 직접 호출될 수 있습니다. 따라서 단일 엔드포인트에서 서로 다른 프레임워크의 서로 다른 모델을 호스팅하는 것을 볼 수 있습니다. 이 옵션은 컨테이너가 유사한 사용법 및 성능 특성을 나타낼 때 가장 적합합니다. MCE를 보여주는 예를 찾을 수 있습니다 여기에서 지금 확인해 보세요.. MCE에서 모델 호스팅에 대한 다양한 주의 사항과 모범 사례에 대해 자세히 알아보려면 게시물을 참조하세요. 여기에서 지금 확인해 보세요..
3. 직렬 추론 파이프라인(SIP)
   • 추론 논리에 여러 단계의 파이프라인이 있는 경우 SIP(직렬 추론 파이프라인)를 활용할 수 있습니다. SIP를 사용하면 단일 엔드포인트 뒤에서 2~15개의 컨테이너를 함께 연결할 수 있습니다. SIP는 전처리 및 후처리 단계가 있을 때 잘 작동합니다. 직렬 추론 파이프라인의 설계 패턴에 대해 자세히 알아보려면 해당 게시물을 참조하세요. 여기에서 지금 확인해 보세요..

명심해야 할 두 번째 주요 최적화는 비용. 실시간 추론은 SageMaker 엔드포인트 생성의 세 가지 옵션 중 하나입니다. SageMaker 엔드포인트는 삭제되지 않는 한 항상 실행됩니다. 따라서 엔드포인트의 활용도를 향상시켜 결과적으로 비용 이점을 제공하는 방법을 모색해야 합니다.

SageMaker는 또한 다음을 제공합니다. 저축 계획. Savings Plans는 비용을 최대 64%까지 줄일 수 있습니다. 이는 일관된 사용량($/시간)에 대한 1년 또는 3년 기간 약정입니다. 이것 좀 봐 링크 자세한 내용은. 그리고 이것을 보세요 링크 Amazon SageMaker에서 추론 비용을 최적화하는 것이 가장 좋습니다.

결론

이 게시물에서는 SageMaker의 다양한 모델 호스팅 옵션 중에서 선택할 수 있는 몇 가지 모범 사례를 보여 주었습니다. SageMaker 엔드포인트 요구 사항에 대해 논의하고 프레임워크와 BYOC 요구 사항 및 기능을 비교했습니다. 또한 실시간 엔드포인트를 활용하여 프로덕션에서 ML 모델을 호스팅할 수 있는 다양한 방법에 대해서도 이야기했습니다. 비용 효과적인 방법으로, 그리고 고성능이 있습니다.

해당 항목을 참조하세요. GitHub 저장소 그리고 예제를 시험해 보세요.

저자 소개

라구 라메샤 Amazon SageMaker 서비스 팀의 ML 솔루션 설계자입니다. 그는 고객이 ML 프로덕션 워크로드를 대규모로 SageMaker로 구축, 배포 및 마이그레이션하도록 돕는 데 중점을 두고 있습니다. 그는 기계 학습, AI 및 컴퓨터 비전 영역을 전문으로 하며 UT Dallas에서 컴퓨터 과학 석사 학위를 취득했습니다. 여가 시간에는 여행과 사진 촬영을 즐깁니다.

램 베기라주 SageMaker 서비스 팀의 ML 설계자입니다. 그는 고객이 Amazon SageMaker에서 AI/ML 솔루션을 구축하고 최적화하도록 돕는 데 중점을 두고 있습니다. 여가 시간에는 여행과 글쓰기를 좋아합니다.

마크 카프 SageMaker 서비스 팀의 ML 설계자입니다. 그는 고객이 규모에 맞게 ML 워크로드를 설계, 배포 및 관리하도록 돕는 데 중점을 둡니다. 여가 시간에는 여행과 새로운 장소 탐색을 즐깁니다.

다왈 파텔 AWS의 수석 기계 학습 설계자입니다. 그는 분산 컴퓨팅 및 인공 지능과 관련된 문제에 대해 대기업에서 중견 스타트업에 이르는 다양한 조직과 협력했습니다. 그는 NLP 및 컴퓨터 비전 도메인을 포함한 딥 러닝에 중점을 둡니다. 그는 고객이 Amazon SageMaker에서 고성능 모델 추론을 달성하도록 돕습니다.

사우라브 트리칸데 Amazon SageMaker Inference의 수석 제품 관리자입니다. 그는 고객과 함께 일하는 데 열정적이며 기계 학습의 민주화라는 목표에 동기를 부여합니다. 그는 복잡한 ML 애플리케이션, 다중 테넌트 ML 모델 배포, 비용 최적화 및 딥 러닝 모델 배포의 접근성 향상과 관련된 핵심 과제에 중점을 둡니다. 여가 시간에 Saurabh는 하이킹, 혁신적인 기술 학습, TechCrunch 팔로우, 가족과 함께 시간 보내기를 즐깁니다.