오늘날 대다수의 고객은 LLM(대형 언어 모델)에 흥미를 갖고 있으며 생성 AI가 비즈니스를 어떻게 변화시킬 수 있는지 생각하고 있습니다. 그러나 이러한 솔루션과 모델을 일상적인 비즈니스 운영에 적용하는 것은 쉬운 일이 아닙니다. 이 게시물에서는 FMOps(기본 모델 운영)로 이어지는 MLOps 원칙을 사용하여 생성적 AI 애플리케이션을 운영화하는 방법에 대해 논의합니다. 또한 텍스트-텍스트 애플리케이션 및 FMOps의 하위 집합인 LLM 작업(LLMOps)의 가장 일반적인 생성 AI 사용 사례에 대해 자세히 살펴봅니다. 다음 그림은 우리가 논의하는 주제를 보여줍니다.
특히 MLOps 원칙을 간략하게 소개하고 프로세스, 인력, 모델 선택 및 평가, 데이터 개인 정보 보호, 모델 배포와 관련하여 FMOps 및 LLMOps와 비교한 주요 차이점에 중점을 둡니다. 이는 즉시 사용하거나 처음부터 기초 모델을 생성하거나 미세 조정하는 고객에게 적용됩니다. 우리의 접근 방식은 오픈 소스 모델과 독점 모델 모두에 동일하게 적용됩니다.
ML 운영 요약
게시물에 정의된 대로 Amazon SageMaker를 사용하는 기업을 위한 MLOps 기반 로드맵ML 및 운영(MLOps)은 기계 학습(ML) 솔루션을 효율적으로 생산하기 위한 사람, 프로세스, 기술의 조합입니다. 이를 달성하려면 다음 그림에 설명된 것처럼 팀과 페르소나의 조합이 협업해야 합니다.
해당 팀은 다음과 같습니다.
- 고급 분석팀(데이터 레이크 및 데이터 메시) – 데이터 엔지니어는 여러 소스의 데이터를 준비 및 수집하고, ETL(추출, 변환 및 로드) 파이프라인을 구축하여 데이터를 선별 및 분류하고, ML 사용 사례에 필요한 기록 데이터를 준비하는 일을 담당합니다. 이러한 데이터 소유자는 여러 사업부 또는 팀에 데이터에 대한 액세스를 제공하는 데 중점을 둡니다.
- 데이터 사이언스 팀 – 데이터 과학자는 노트북에서 작동하는 사전 정의된 핵심성과지표(KPI)를 기반으로 최고의 모델을 만드는 데 집중해야 합니다. 연구 단계가 완료된 후 데이터 과학자는 ML 엔지니어와 협력하여 CI/CD 파이프라인을 사용하여 모델을 구축(ML 파이프라인)하고 프로덕션에 배포하기 위한 자동화를 생성해야 합니다.
- 사업팀 – 제품 소유자는 모델 성능을 평가하는 데 사용할 비즈니스 사례, 요구 사항 및 KPI를 정의할 책임이 있습니다. ML 소비자는 추론 결과(예측)를 사용하여 의사결정을 내리는 기타 비즈니스 이해관계자입니다.
- 플랫폼팀 – 설계자는 비즈니스의 전반적인 클라우드 아키텍처와 다양한 서비스가 서로 연결되는 방식을 담당합니다. 보안 SME는 비즈니스 보안 정책 및 요구 사항을 기반으로 아키텍처를 검토합니다. MLOps 엔지니어는 데이터 과학자와 ML 엔지니어가 ML 사용 사례를 생산할 수 있도록 안전한 환경을 제공하는 일을 담당합니다. 특히 비즈니스 및 보안 요구 사항을 기반으로 CI/CD 파이프라인, 사용자 및 서비스 역할, 컨테이너 생성, 모델 사용, 테스트 및 배포 방법론을 표준화하는 일을 담당합니다.
- 위험 및 규정 준수 팀 – 보다 제한적인 환경의 경우 감사자는 데이터, 코드 및 모델 아티팩트를 평가하고 비즈니스가 데이터 개인 정보 보호와 같은 규정을 준수하는지 확인할 책임이 있습니다.
비즈니스의 규모 조정 및 MLOps 성숙도에 따라 동일한 사람이 여러 페르소나를 다룰 수 있습니다.
이러한 페르소나는 다음 그림에 설명된 것처럼 다양한 프로세스를 수행하기 위한 전용 환경이 필요합니다.
환경은 다음과 같습니다.
- 플랫폼 관리 – 플랫폼 관리 환경은 플랫폼 팀이 AWS 계정을 생성하고 올바른 사용자와 데이터를 연결하기 위해 액세스할 수 있는 장소입니다.
- Data – 데이터 레이크 또는 데이터 메시라고도 하는 데이터 계층은 데이터 엔지니어나 소유자, 비즈니스 이해관계자가 데이터를 준비하고, 상호 작용하고, 시각화하는 데 사용하는 환경입니다.
- 실험 – 데이터 과학자는 샌드박스 또는 실험 환경을 사용하여 새로운 라이브러리 및 ML 기술을 테스트하여 개념 증명이 비즈니스 문제를 해결할 수 있음을 증명합니다.
- 모델 구축, 모델 테스트, 모델 배포 – 모델 구축, 테스트 및 배포 환경은 데이터 과학자와 ML 엔지니어가 협력하여 연구를 자동화하고 프로덕션으로 이동하는 MLOps의 계층입니다.
- ML 거버넌스 – 퍼즐의 마지막 조각은 모든 모델 및 코드 아티팩트가 해당 페르소나에 의해 저장, 검토 및 감사되는 ML 거버넌스 환경입니다.
다음 다이어그램은 이미 설명된 참조 아키텍처를 보여줍니다. Amazon SageMaker를 사용하는 기업을 위한 MLOps 기반 로드맵.
각 사업부에는 중앙 집중식 또는 분산형 데이터 레이크 또는 데이터에서 데이터를 검색하는 ML 사용 사례를 생산하기 위한 자체 개발(자동화된 모델 교육 및 구축), 사전 프로덕션(자동 테스트) 및 프로덕션(모델 배포 및 제공) 계정 세트가 있습니다. 각각 메쉬. 생성된 모든 모델과 코드 자동화는 모델 레지스트리 기능을 사용하여 중앙 집중식 도구 계정에 저장됩니다. 이러한 모든 계정의 인프라 코드는 플랫폼 팀이 모든 새 팀의 MLOps 플랫폼 온보딩을 위해 추상화, 템플릿화, 유지 관리 및 재사용할 수 있는 공유 서비스 계정(고급 분석 거버넌스 계정)에서 버전이 관리됩니다.
생성적 AI 정의 및 MLOps와의 차이점
기존 ML에서는 이전에 사람, 프로세스, 기술을 조합하여 ML 사용 사례를 상품화하는 데 도움이 될 수 있습니다. 그러나 생성 AI에서는 사용 사례의 특성상 해당 기능의 확장이나 새로운 기능이 필요합니다. 이러한 새로운 개념 중 하나가 기초 모델(FM)입니다. 다음 그림에 설명된 것처럼 다양한 다른 AI 모델을 생성하는 데 사용할 수 있기 때문에 이러한 이름이 붙었습니다.
FM은 테라바이트급 데이터를 기반으로 학습되었으며, 생성 AI 사용 사례의 세 가지 주요 범주를 기반으로 차선책을 예측할 수 있는 수천억 개의 매개변수를 보유하고 있습니다.
- 텍스트-텍스트 – FM(LLM)은 레이블이 지정되지 않은 데이터(예: 자유 텍스트)를 기반으로 교육되었으며 다음으로 가장 적합한 단어 또는 단어 순서(단락 또는 긴 에세이)를 예측할 수 있습니다. 주요 사용 사례는 인간과 유사한 챗봇, 요약 또는 프로그래밍 코드와 같은 기타 콘텐츠 생성에 관한 것입니다.
- 텍스트를 이미지로 – 레이블이 지정된 데이터(예: 쌍) 는 최적의 픽셀 조합을 예측할 수 있는 FM을 훈련하는 데 사용되었습니다. 사용 사례로는 의류 디자인 생성 또는 가상의 개인화된 이미지 등이 있습니다.
- 텍스트를 오디오 또는 비디오로 변환 – 라벨이 있는 데이터와 라벨이 없는 데이터 모두 FM 훈련에 사용할 수 있습니다. 주요 생성 AI 사용 사례 중 하나는 음악 작곡입니다.
이러한 생성적 AI 사용 사례를 생산하려면 MLOps 도메인을 빌려서 다음을 포함하도록 확장해야 합니다.
- FM 운영(FMOps) – 이를 통해 모든 사용 사례 유형을 포함하여 생성적 AI 솔루션을 생산할 수 있습니다.
- LLM 작업(LLMOps) – 이는 텍스트-텍스트와 같은 LLM 기반 솔루션 생산에 초점을 맞춘 FMOps의 하위 집합입니다.
다음 그림은 이러한 사용 사례의 중복을 보여줍니다.
기존 ML 및 MLOps와 비교하여 FMOps 및 LLMOps는 다음 섹션에서 다루는 XNUMX가지 주요 범주(사람 및 프로세스, FM 선택 및 적응, FM 평가 및 모니터링, 데이터 개인 정보 보호 및 모델 배포, 기술 요구 사항)를 기반으로 연기됩니다. 모니터링에 대해서는 별도의 포스팅으로 다루겠습니다.
생성 AI 사용자 유형별 운영 여정
프로세스 설명을 단순화하려면 다음 그림과 같이 주요 생성 AI 사용자 유형을 분류해야 합니다.
사용자 유형은 다음과 같습니다.
- 공급 업체 – FM을 처음부터 구축하여 다른 사용자(미세 조정자 및 소비자)에게 제품으로 제공하는 사용자. 이들은 심층적인 엔드투엔드 ML 및 자연어 처리(NLP) 전문 지식과 데이터 과학 기술, 대규모 데이터 라벨러 및 편집팀을 보유하고 있습니다.
- 미세 조정기 – 사용자 정의 요구 사항에 맞게 공급자로부터 FM을 재교육(미세 조정)하는 사용자입니다. 이들은 소비자가 사용할 서비스로 모델 배포를 조정합니다. 이러한 사용자에게는 강력한 엔드 투 엔드 ML 및 데이터 과학 전문 지식과 모델 배포 및 추론에 대한 지식이 필요합니다. 신속한 엔지니어링을 포함하여 튜닝을 위한 강력한 도메인 지식도 필요합니다.
- 소비자 – 원하는 작업을 완료하기 위해 텍스트 메시지 또는 시각적 인터페이스를 통해 공급자 또는 미세 조정자의 생성 AI 서비스와 상호 작용하는 사용자. ML 전문 지식은 필요하지 않지만 대부분 서비스 기능을 이해하고 있는 애플리케이션 개발자 또는 최종 사용자가 필요합니다. 더 나은 결과를 위해서는 신속한 엔지니어링만이 필요합니다.
정의 및 필요한 ML 전문 지식에 따라 MLOps는 주로 공급자와 미세 조정자에게 필요한 반면, 소비자는 DevOps 및 AppDev와 같은 애플리케이션 생산 원칙을 사용하여 생성 AI 애플리케이션을 만들 수 있습니다. 또한, 우리는 공급자가 특정 업종(예: 금융 부문)을 기반으로 사용 사례를 지원하기 위해 미세 조정자가 되거나 소비자가 보다 정확한 결과를 얻기 위해 미세 조정자가 되는 사용자 유형 간의 움직임을 관찰했습니다. 하지만 사용자 유형별 주요 프로세스를 살펴보겠습니다.
소비자의 여정
다음 그림은 소비자 여정을 보여줍니다.
앞서 언급한 바와 같이 소비자는 FM을 선택, 테스트 및 사용해야 하며, FM이라고도 알려진 특정 입력을 제공하여 FM과 상호 작용해야 합니다. 프롬프트. 컴퓨터 프로그래밍과 AI의 맥락에서 프롬프트는 응답을 생성하기 위해 모델이나 시스템에 제공되는 입력을 의미합니다. 이는 시스템이 출력을 처리하고 생성하는 데 사용하는 텍스트, 명령 또는 질문의 형태일 수 있습니다. FM에 의해 생성된 출력은 모델의 향후 응답을 향상시키기 위해 이러한 출력을 평가할 수 있어야 하는 최종 사용자가 활용할 수 있습니다.
이러한 기본적인 프로세스 외에도 우리는 소비자가 미세 조정자가 제공하는 기능을 활용하여 모델을 미세 조정하려는 욕구를 표현하는 것을 확인했습니다. 예를 들어 이미지를 생성하는 웹사이트를 생각해 보세요. 여기에서 최종 사용자는 개인 계정을 설정하고 개인 사진을 업로드한 후 해당 이미지와 관련된 콘텐츠를 생성할 수 있습니다(예: 칼을 휘두르는 오토바이를 타고 있거나 이국적인 위치에 있는 최종 사용자를 묘사하는 이미지 생성). 이 시나리오에서 소비자가 설계한 생성적 AI 애플리케이션은 API를 통해 미세 조정기 백엔드와 상호 작용하여 이 기능을 최종 사용자에게 제공해야 합니다.
그러나 이에 대해 자세히 알아보기 전에 먼저 다음 그림과 같이 모델 선택, 테스트, 사용, 입력 및 출력 상호 작용, 등급 지정 과정에 집중해 보겠습니다.
1단계. 최고의 FM 기능 이해
사용 사례, 사용 가능한 데이터, 규정 등에 따라 기초 모델을 선택할 때 고려해야 할 많은 차원이 있습니다. 포괄적이지는 않지만 좋은 체크리스트는 다음과 같습니다.
- 독점 또는 오픈 소스 FM – 독점 모델은 재정적 비용이 드는 경우가 많지만 일반적으로 더 나은 성능(생성된 텍스트 또는 이미지의 품질 측면에서)을 제공하며 최적의 성능과 안정성을 보장하는 모델 제공업체로 구성된 전담 팀에서 개발 및 유지 관리하는 경우가 많습니다. 반면에, 무료라는 점 외에도 접근성과 유연성이라는 추가 이점을 제공하는 오픈 소스 모델이 채택되는 경우도 있습니다(예: 모든 오픈 소스 모델은 미세 조정이 가능함). 독점 모델의 예로는 Anthropic의 Claude 모델이 있으며, 고성능 오픈 소스 모델의 예로는 40년 2023월 기준 Falcon-XNUMXB가 있습니다.
- 상업 라이센스 – FM을 결정할 때 라이센스 고려 사항이 중요합니다. 일부 모델은 오픈 소스이지만 라이선스 제한이나 조건으로 인해 상업적 목적으로 사용할 수 없다는 점에 유의하는 것이 중요합니다. 차이점은 미묘할 수 있습니다. 새로 출시된 xgen-7b-8k-베이스 예를 들어, 모델은 오픈 소스이고 상업적으로 사용 가능하지만(Apache-2.0 라이센스), 모델의 명령이 미세 조정된 버전입니다. xgen-7b-8k-inst 연구 목적으로만 공개됩니다. 상업용 애플리케이션을 위해 FM을 선택할 때 라이센스 계약을 확인하고 제한 사항을 이해하며 프로젝트의 의도된 용도와 일치하는지 확인하는 것이 중요합니다.
- 파라미터 – 신경망의 가중치와 편향으로 구성된 매개변수의 개수도 중요한 요소입니다. 매개변수가 많을수록 데이터에서 더 복잡한 패턴과 상관 관계를 포착할 수 있기 때문에 일반적으로 더 복잡하고 잠재적으로 강력한 모델을 의미합니다. 그러나 단점은 더 많은 계산 리소스가 필요하므로 실행 비용이 더 많이 든다는 것입니다. 또한 특히 미세 조정 시 좋은 성능을 보이는 오픈 소스 공간(7억~40억 개의 모델 범위)에서 더 작은 모델을 지향하는 경향이 있습니다.
- 속도 – 모델의 속도는 크기에 따라 영향을 받습니다. 모델이 클수록 계산 복잡성이 증가하여 데이터를 더 느리게 처리하는 경향이 있습니다(대기 시간이 길어짐). 따라서 특히 실시간 또는 거의 실시간에 가까운 응답을 요구하는 채팅 봇과 같은 애플리케이션에서는 예측력이 높은 모델(종종 더 큰 모델)에 대한 요구 사항과 속도에 대한 실제 요구 사항 사이의 균형을 맞추는 것이 중요합니다.
- 컨텍스트 창 크기(토큰 수) – 프롬프트당 입력 또는 출력할 수 있는 최대 토큰 수로 정의되는 컨텍스트 창은 모델이 한 번에 고려할 수 있는 컨텍스트의 양을 결정하는 데 중요합니다(토큰은 대략 영어의 경우 0.75 단어로 변환됨). 더 큰 컨텍스트 창이 있는 모델은 더 긴 텍스트 시퀀스를 이해하고 생성할 수 있으므로 더 긴 대화나 문서와 관련된 작업에 유용할 수 있습니다.
- 훈련 데이터세트 – FM이 어떤 종류의 데이터를 학습했는지 이해하는 것도 중요합니다. 일부 모델은 인터넷 데이터, 코딩 스크립트, 지침 또는 사람의 피드백과 같은 다양한 텍스트 데이터 세트에 대해 교육을 받을 수 있습니다. 다른 사람들은 텍스트와 이미지 데이터의 조합과 같은 다중 모드 데이터 세트에 대해 교육을 받을 수도 있습니다. 이는 다양한 작업에 대한 모델의 적합성에 영향을 미칠 수 있습니다. 또한 조직은 모델이 훈련된 정확한 소스에 따라 저작권 문제가 있을 수 있으므로 훈련 데이터 세트를 면밀히 검사하는 것이 필수입니다.
- 품질 – FM의 품질은 유형(독점 소스와 오픈 소스), 규모, 교육 대상에 따라 달라질 수 있습니다. 품질은 상황에 따라 달라집니다. 즉, 한 응용 프로그램에서 고품질로 간주되는 것이 다른 응용 프로그램에서는 그렇지 않을 수도 있습니다. 예를 들어, 인터넷 데이터에 대해 훈련된 모델은 대화 텍스트 생성에 있어서는 고품질로 간주될 수 있지만 기술 또는 전문 작업에서는 품질이 덜하다고 간주될 수 있습니다.
- 미세 조정 가능 – 모델 가중치 또는 레이어를 조정하여 FM을 미세 조정하는 기능이 중요한 요소가 될 수 있습니다. 미세 조정을 통해 모델이 애플리케이션의 특정 상황에 더 잘 적응할 수 있어 현재 진행 중인 특정 작업의 성능이 향상됩니다. 그러나 미세 조정에는 추가 계산 리소스와 기술 전문 지식이 필요하며 모든 모델이 이 기능을 지원하는 것은 아닙니다. 오픈 소스 모델은 일반적으로 모델 아티팩트를 다운로드할 수 있고 사용자가 원하는 대로 확장하고 사용할 수 있기 때문에 항상 미세 조정이 가능합니다. 독점 모델은 때때로 미세 조정 옵션을 제공할 수도 있습니다.
- 기존 고객 기술 – FM 선택은 고객이나 개발팀의 기술과 친숙도에도 영향을 받을 수 있습니다. 조직의 팀에 AI/ML 전문가가 없으면 API 서비스가 더 적합할 수 있습니다. 또한 팀이 특정 FM에 대한 광범위한 경험을 갖고 있다면 새로운 FM을 배우고 적응하기 위해 시간과 자원을 투자하는 것보다 계속 사용하는 것이 더 효율적일 수 있습니다.
다음은 독점 모델과 오픈 소스 모델에 대한 두 가지 후보 목록의 예입니다. 사용 가능한 옵션에 대한 빠른 개요를 얻기 위해 특정 요구 사항에 따라 유사한 테이블을 컴파일할 수 있습니다. 해당 모델의 성능과 매개변수는 빠르게 변하고 읽을 때 구식이 될 수 있으며, 지원되는 언어와 같은 다른 기능은 특정 고객에게 중요할 수 있습니다.
다음은 AWS에서 사용할 수 있는 주목할만한 독점 FM의 예입니다(2023년 XNUMX월).
다음은 AWS에서 사용할 수 있는 주목할만한 오픈 소스 FM의 예입니다(2023년 XNUMX월).
10~20개의 잠재적인 후보 모델에 대한 개요를 작성한 후에는 이 최종 후보 목록을 더욱 구체화해야 합니다. 이 섹션에서는 다음 라운드의 후보로 XNUMX~XNUMX개의 실행 가능한 최종 모델을 생성하는 신속한 메커니즘을 제안합니다.
다음 다이어그램은 초기 후보자 등록 프로세스를 보여줍니다.
일반적으로 AI 모델이 사용자 입력을 이해하고 처리할 수 있는 고품질 프롬프트를 만드는 전문가인 프롬프트 엔지니어는 모델에서 동일한 작업(예: 요약)을 수행하기 위해 다양한 방법을 실험합니다. 이러한 프롬프트는 즉석에서 생성되지 않고 프롬프트 카탈로그에서 체계적으로 추출되는 것이 좋습니다. 이 프롬프트 카탈로그는 복제를 방지하고, 버전 제어를 활성화하고, 팀 내에서 프롬프트를 공유하여 다양한 개발 단계에서 다양한 프롬프트 테스터 간의 일관성을 보장하기 위한 프롬프트를 저장하는 중앙 위치입니다. 이에 대해서는 다음 섹션에서 소개합니다. 이 프롬프트 카탈로그는 기능 저장소의 Git 저장소와 유사합니다. 잠재적으로 프롬프트 엔지니어와 동일한 사람일 수 있는 생성 AI 개발자는 출력을 평가하여 개발하려는 생성 AI 애플리케이션에 적합한지 결정해야 합니다.
2단계. 상위 FM 테스트 및 평가
후보 목록이 약 XNUMX개의 FM으로 축소된 후 FM의 기능과 사용 사례에 대한 적합성을 추가로 테스트하기 위한 평가 단계를 권장합니다. 평가 데이터의 가용성과 성격에 따라 다음 그림과 같이 다양한 방법을 제안합니다.
먼저 사용할 방법은 테스트 데이터에 레이블을 지정했는지 여부에 따라 다릅니다.
레이블이 지정된 데이터가 있는 경우 이를 사용하여 기존 ML 모델과 마찬가지로 모델 평가를 수행할 수 있습니다(일부 샘플을 입력하고 출력을 레이블과 비교). 테스트 데이터에 개별 레이블(예: 긍정적, 부정적 또는 중립적 감정 분석)이 있는지 또는 구조화되지 않은 텍스트(예: 요약)인지 여부에 따라 다양한 평가 방법을 제안합니다.
- 정확도 지표 – 개별 출력(예: 감정 분석)의 경우 정밀도, 재현율, F1 점수와 같은 표준 정확도 측정항목을 사용할 수 있습니다.
- 유사성 측정항목 – 출력이 구조화되지 않은 경우(예: 요약) ROUGE 및 코사인 유사성과 같은 유사성 메트릭을 제안합니다.
일부 사용 사례에서는 하나의 정확한 답을 얻을 수 없습니다(예: "5살 딸을 위한 짧은 동화 만들기"). 이러한 경우에는 레이블이 지정된 테스트 데이터가 없기 때문에 모델을 평가하기가 더 어려워집니다. 우리는 모델에 대한 인적 검토와 자동화된 평가의 중요성에 따라 두 가지 접근 방식을 제안합니다.
- 인간 참여 루프(HIL) – 이 경우 프롬프트 테스터 팀이 모델의 응답을 검토합니다. 애플리케이션의 중요성에 따라 프롬프트 테스터는 모델 출력의 100%를 검토할 수도 있고 샘플만 검토할 수도 있습니다.
- LLM 기반 평가 – 이 시나리오에서는 프롬프트 테스터가 LLM으로 대체됩니다. 이상적으로는 테스트 중인 테스터보다 더 강력하고(비록 느리고 가장 비용이 많이 들지만) LLM이 좋습니다. LLM은 모델에서 생성된 모든 응답을 검토하고 점수를 매깁니다. 이 방법을 사용하면 품질이 낮아질 수 있지만 모델 성능에 대한 좋은 초기 측정값을 제공할 수 있는 더 저렴하고 빠른 평가 옵션입니다.
예를 들어 입력 쿼리, LLM 응답 및 지침이 포함된 LLM에 대한 다음 예시 프롬프트를 사용할 수 있습니다. “위에 표시된 사용자 질문에 대한 응답으로 AI 보조자의 성능에 대한 피드백을 요청하고 싶습니다. . 어시스턴트 응답의 유용성, 관련성, 정확성, 세부정보 수준을 평가해 주세요. 보조자는 1부터 10까지의 전체 점수를 받게 되며, 점수가 높을수록 전반적인 성과가 더 우수함을 의미합니다.”
이 프롬프트는 평가를 위해 다른 LLM(EvalLLM)으로 전송됩니다. 다음은 Falcon-40B 모델의 응답이 EvalLLM(이 경우 Claude)에 의해 평가된 예입니다. 우리는 "수에즈 운하가 건설된 적이 없다면 어떨까요?"라는 질문을 사용합니다. 응답은 다음과 같습니다.
질문: 수에즈 운하가 건설된 적이 없다면 어떻게 될까요?
팔콘-40b-지시
수에즈 운하가 건설되지 않았다면 선박은 지중해와 홍해 사이를 항해하기 위해 아프리카를 여행해야 했을 것입니다. 이로 인해 항해에 상당한 시간과 거리가 추가되어 효율성이 떨어지고 비용이 더 많이 듭니다. 게다가 수에즈 운하가 없었다면 중동과 북아프리카의 많은 국가들은 나머지 세계와 훨씬 덜 연결되어 경제 및 문화 발전을 저해했을 것입니다.
검토(점수: 9/10)
어시스턴트의 응답은 관련성이 높고 정확하며 상세합니다. 수에즈 운하가 존재하지 않는다는 사용자의 가상 질문에 대한 탁월한 답변을 제공합니다. 조수는 해상 여행에 미치는 영향과 중동 및 북아프리카에 미치는 경제적, 문화적 영향을 정확하게 지적합니다. 그러나 보다 포괄적인 대응을 위해 지정학적 영향이나 글로벌 무역 패턴에 미치는 영향을 더 자세히 설명할 수도 있었습니다.
다음 그림은 엔드투엔드 평가 프로세스의 예를 보여줍니다.
이 예를 기반으로 평가를 수행하려면 프롬프트 카탈로그에 저장하는 예제 프롬프트와 특정 애플리케이션을 기반으로 레이블이 지정되거나 레이블이 지정되지 않은 평가 데이터 세트를 제공해야 합니다. 예를 들어 레이블이 지정된 평가 데이터 세트를 사용하면 "2023년 영국 총리의 전체 이름을 알려주세요"와 같은 프롬프트(입력 및 쿼리)와 "Rishi Sunak"과 같은 출력 및 답변을 제공할 수 있습니다. 레이블이 지정되지 않은 데이터세트를 사용하면 "소매 웹사이트용 소스 코드 생성"과 같은 질문이나 지침만 제공됩니다. 프롬프트 카탈로그와 평가 데이터 세트의 조합을 평가 프롬프트 카탈로그. 프롬프트 카탈로그와 평가 프롬프트 카탈로그를 구별하는 이유는 후자가 프롬프트 카탈로그에 포함된 일반적인 프롬프트 및 지침(예: 질문 응답) 대신 특정 사용 사례 전용이기 때문입니다.
이 평가 프롬프트 카탈로그를 사용하여 다음 단계는 평가 프롬프트를 상위 FM에 제공하는 것입니다. 결과는 프롬프트, 각 FM의 출력, 점수(존재하는 경우)와 함께 레이블이 지정된 출력을 포함하는 평가 결과 데이터세트입니다. 레이블이 지정되지 않은 평가 프롬프트 카탈로그의 경우 HIL 또는 LLM이 결과를 검토하고 점수와 피드백을 제공하는 추가 단계가 있습니다(앞에서 설명한 대로). 최종 결과는 모든 출력의 점수를 결합하고(평균 정밀도 또는 인간 평가 계산) 사용자가 모델의 품질을 벤치마킹할 수 있도록 하는 집계 결과입니다.
평가 결과가 수집된 후 여러 차원을 기반으로 모델을 선택할 것을 제안합니다. 이는 일반적으로 정밀도, 속도 및 비용과 같은 요소로 귀결됩니다. 다음 그림은 예를 보여줍니다.
각 모델은 이러한 차원에 따라 강점과 특정 장단점을 갖습니다. 사용 사례에 따라 이러한 차원에 다양한 우선순위를 할당해야 합니다. 이전 예에서 우리는 비용을 가장 중요한 요소로 우선순위를 정했고 그 다음으로 정밀도, 속도 순으로 선택했습니다. FM1만큼 느리고 효율적이지는 않지만 여전히 충분히 효과적이며 호스트 비용이 훨씬 저렴합니다. 결과적으로 FM2를 최고의 선택으로 선택할 수 있습니다.
3단계. 생성적 AI 애플리케이션 백엔드 및 프런트엔드 개발
이 시점에서 생성 AI 개발자는 신속한 엔지니어 및 테스터의 도움을 받아 특정 애플리케이션에 적합한 FM을 선택했습니다. 다음 단계는 생성 AI 애플리케이션 개발을 시작하는 것입니다. 다음 그림과 같이 생성적 AI 애플리케이션의 개발을 백엔드와 프런트엔드의 두 계층으로 분리했습니다.
백엔드에서 생성 AI 개발자는 선택한 FM을 솔루션에 통합하고 프롬프트 엔지니어와 협력하여 최종 사용자 입력을 적절한 FM 프롬프트로 변환하는 자동화를 만듭니다. 프롬프트 테스터는 자동 또는 수동(HIL 또는 LLM) 테스트를 위해 프롬프트 카탈로그에 필요한 항목을 생성합니다. 그런 다음 생성 AI 개발자는 최종 출력을 제공하기 위해 신속한 연결 및 응용 메커니즘을 만듭니다. 이러한 맥락에서 프롬프트 체인은 보다 동적이고 상황에 맞는 LLM 애플리케이션을 만드는 기술입니다. 복잡한 작업을 더 작고 관리하기 쉬운 일련의 하위 작업으로 나누는 방식으로 작동합니다. 예를 들어, LLM에게 "영국 총리는 어디에서 태어났으며 그곳은 런던에서 얼마나 멀리 떨어져 있습니까?"라는 질문을 하면 작업은 개별 프롬프트로 분류될 수 있으며, 여기서 답변을 기반으로 프롬프트가 구축될 수 있습니다. '영국 총리는 누구인가', '그들의 출생지는 어디인가', '그 곳은 런던에서 얼마나 떨어져 있는가? 특정 입력 및 출력 품질을 보장하기 위해 생성 AI 개발자는 최종 사용자 입력 및 애플리케이션 출력을 모니터링하고 필터링하는 메커니즘도 만들어야 합니다. 예를 들어, LLM 애플리케이션이 유해한 요청과 응답을 피해야 하는 경우 입력 및 출력에 독성 감지기를 적용하고 이를 필터링할 수 있습니다. 마지막으로 좋은 예와 나쁜 예가 포함된 평가 프롬프트 카탈로그의 확대를 지원하는 평가 메커니즘을 제공해야 합니다. 이러한 메커니즘에 대한 보다 자세한 설명은 향후 게시물에서 소개될 예정입니다.
생성 AI 최종 사용자에게 기능을 제공하려면 백엔드와 상호 작용하는 프런트엔드 웹 사이트의 개발이 필요합니다. 따라서 DevOps 및 AppDev(클라우드의 애플리케이션 개발자) 페르소나는 입력/출력 및 평가 기능을 구현하기 위해 모범 개발 사례를 따라야 합니다.
이러한 기본 기능 외에도 프런트엔드와 백엔드에는 개인 사용자 계정 생성, 데이터 업로드, 블랙박스로 미세 조정 시작, 기본 FM 대신 개인화 모델 사용 기능이 통합되어야 합니다. 생성적 AI 애플리케이션의 생산은 일반 애플리케이션과 유사합니다. 다음 그림은 아키텍처의 예를 보여줍니다.
이 아키텍처에서는 생성적 AI 개발자, 프롬프트 엔지니어, DevOps 또는 AppDev가 전용 코드 저장소를 사용하여 CI/CD를 통해 개발 환경(이전 그림의 생성적 AI 앱 개발)에 배포하고 애플리케이션을 병합하여 수동으로 애플리케이션을 생성하고 테스트합니다. 개발 지점. 이 단계에서 생성 AI 개발자는 FM 미세 조정 제공업체에서 제공한 API를 호출하여 해당 FM을 사용하게 됩니다. 그런 다음 애플리케이션을 광범위하게 테스트하려면 코드를 테스트 분기로 승격해야 하며, 그러면 CI/CD를 통해 사전 프로덕션 환경(생성 AI 앱 사전 프로덕션)으로의 배포가 트리거됩니다. 이러한 환경에서 프롬프트 테스터는 많은 양의 프롬프트 조합을 시도하고 결과를 검토해야 합니다. 향후 테스트 프로세스를 자동화하려면 프롬프트, 출력 및 검토의 조합을 평가 프롬프트 카탈로그로 이동해야 합니다. 이 광범위한 테스트 후 마지막 단계는 메인 브랜치(생성 AI 앱 제품)와 병합하여 CI/CD를 통해 생성 AI 애플리케이션을 프로덕션으로 승격시키는 것입니다. 프롬프트 카탈로그, 평가 데이터 및 결과, 최종 사용자 데이터 및 메타데이터, 미세 조정된 모델 메타데이터를 포함한 모든 데이터는 데이터 레이크 또는 데이터 메시 계층에 저장되어야 합니다. CI/CD 파이프라인 및 리포지토리는 별도의 도구 계정(MLOps에 대해 설명된 계정과 유사)에 저장해야 합니다.
공급자의 여정
FM 제공업체는 딥러닝 모델과 같은 FM을 교육해야 합니다. 이들에게는 엔드투엔드 MLOps 수명주기 및 인프라가 필요합니다. 기록 데이터 준비, 모델 평가 및 모니터링에는 추가가 필요합니다. 다음 그림은 이들의 여정을 보여줍니다.
클래식 ML에서는 기록 데이터가 ETL 파이프라인을 통해 실제 정보를 제공하여 생성되는 경우가 가장 많습니다. 예를 들어 이탈 예측 사용 사례에서 자동화는 고객의 새로운 상태를 기반으로 데이터베이스 테이블을 자동으로 이탈/탈퇴하지 않도록 업데이트합니다. FM의 경우에는 수십억 개의 레이블이 지정되거나 레이블이 지정되지 않은 데이터 포인트가 필요합니다. 텍스트를 이미지로 변환하는 사용 사례에서는 데이터 라벨러 팀이 라벨을 지정해야 합니다. 수동으로 쌍을 이룹니다. 이는 많은 인적 자원이 필요한 비용이 많이 드는 작업입니다. Amazon SageMaker Ground Truth Plus 이 활동을 수행할 라벨러 팀을 제공할 수 있습니다. 일부 사용 사례의 경우 이 프로세스는 예를 들어 CLIP과 유사한 모델을 사용하여 부분적으로 자동화될 수도 있습니다. 텍스트 대 텍스트와 같은 LLM의 경우 데이터에 레이블이 지정되지 않습니다. 그러나 기존의 라벨이 없는 과거 데이터 형식을 따라 준비하고 따라야 합니다. 따라서 필요한 데이터 준비를 수행하고 일관성을 보장하려면 데이터 편집자가 필요합니다.
기록 데이터가 준비되면 다음 단계는 모델의 교육 및 생산입니다. 소비자에 대해 설명한 것과 동일한 평가 기술을 사용할 수 있습니다.
파인튜너의 여정
미세 조정자는 기존 FM을 특정 상황에 맞게 조정하는 것을 목표로 합니다. 예를 들어 FM 모델은 범용 텍스트를 요약할 수 있지만 재무 보고서는 정확하게 요약할 수 없거나 일반적이지 않은 프로그래밍 언어에 대한 소스 코드를 생성할 수 없습니다. 이러한 경우 미세 조정자는 데이터에 레이블을 지정하고, 훈련 작업을 실행하여 모델을 미세 조정하고, 모델을 배포하고, 소비자 프로세스를 기반으로 테스트하고, 모델을 모니터링해야 합니다. 다음 다이어그램은 이 프로세스를 보여줍니다.
현재로서는 두 가지 미세 조정 메커니즘이 있습니다.
- 미세 조정 – 훈련 작업은 FM 및 레이블이 지정된 데이터를 사용하여 딥 러닝 모델 계층의 가중치와 편향을 다시 계산합니다. 이 프로세스는 계산 집약적일 수 있으며 대표적인 양의 데이터가 필요하지만 정확한 결과를 생성할 수 있습니다.
- 매개변수 효율적인 미세 조정(PEFT) – 연구자들은 모든 가중치와 편향을 다시 계산하는 대신 딥러닝 모델에 작은 레이어를 추가하면 만족스러운 결과를 얻을 수 있음을 보여주었습니다(예: 로라). PEFT는 심층적인 미세 조정 및 더 적은 입력 데이터를 사용하는 훈련 작업보다 낮은 계산 능력을 필요로 합니다. 단점은 정확도가 낮아질 수 있다는 것입니다.
다음 다이어그램은 이러한 메커니즘을 보여줍니다.
이제 두 가지 주요 미세 조정 방법을 정의했으므로 다음 단계는 오픈 소스 및 독점 FM을 배포하고 사용할 수 있는 방법을 결정하는 것입니다.
오픈 소스 FM을 사용하면 미세 조정자는 예를 들어 다음을 사용하여 웹에서 모델 아티팩트와 소스 코드를 다운로드할 수 있습니다. 허깅페이스 모델 허브. 이를 통해 모델을 심층적으로 미세 조정하고, 로컬 모델 레지스트리에 저장하고, 아마존 세이지 메이커 끝점. 이 프로세스에는 인터넷 연결이 필요합니다. 보다 안전한 환경(예: 금융 부문 고객)을 지원하려면 온프레미스에서 모델을 다운로드하고 필요한 모든 보안 검사를 실행한 후 AWS 계정의 로컬 버킷에 업로드하면 됩니다. 그런 다음 미세 조정자는 인터넷 연결 없이 로컬 버킷의 FM을 사용합니다. 이렇게 하면 데이터 개인정보 보호가 보장되고 데이터가 인터넷을 통해 이동하지 않습니다. 다음 다이어그램에서는 이 방법을 보여줍니다.
독점 FM의 경우 미세 조정자가 모델 아티팩트나 소스 코드에 액세스할 수 없기 때문에 배포 프로세스가 다릅니다. 모델은 독점 FM 공급자 AWS 계정 및 모델 레지스트리에 저장됩니다. 이러한 모델을 SageMaker 엔드포인트에 배포하기 위해 미세 조정자는 엔드포인트에 직접 배포될 모델 패키지만 요청할 수 있습니다. 이 프로세스에서는 독점 FM 제공업체의 계정에서 고객 데이터를 사용해야 하며, 이는 미세 조정을 수행하기 위해 원격 계정에서 사용되는 고객 중요 데이터와 여러 고객 간에 공유되는 모델 레지스트리에서 호스팅되는 모델에 관한 의문을 제기합니다. . 이는 독점 FM 제공업체가 이러한 모델을 제공해야 하는 경우 더욱 어려워지는 다중 테넌시 문제로 이어집니다. 미세 조정자가 사용하는 경우 아마존 기반암, 이러한 문제는 해결됩니다. 데이터는 인터넷을 통해 이동하지 않으며 FM 제공업체는 미세 조정자의 데이터에 액세스할 수 없습니다. 수천 명의 고객이 개인화된 이미지를 업로드할 웹 사이트에서 앞서 제시한 예와 같이 미세 조정자가 여러 고객의 모델을 제공하려는 경우 오픈 소스 모델에도 동일한 문제가 발생합니다. 그러나 이러한 시나리오는 미세 조정자만 포함되므로 제어 가능한 것으로 간주될 수 있습니다. 다음 다이어그램에서는 이 방법을 보여줍니다.
기술적인 관점에서 미세 조정자가 지원해야 하는 아키텍처는 MLOps의 아키텍처와 유사합니다(다음 그림 참조). 미세 조정은 개발 단계에서 다음과 같은 ML 파이프라인을 생성하여 수행해야 합니다. Amazon SageMaker 파이프 라인; 전처리, 미세 조정(훈련 작업) 및 후처리를 수행합니다. 오픈 소스 FM의 경우 미세 조정된 모델을 로컬 모델 레지스트리로 보냅니다(그렇지 않으면 새 모델이 독점 FM 제공 환경에 저장됩니다). 그런 다음 사전 제작 단계에서 소비자 시나리오에 대해 설명한 대로 모델을 테스트해야 합니다. 마지막으로 모델은 프로덕션에서 제공되고 모니터링됩니다. 현재(미세 조정된) FM에는 GPU 인스턴스 엔드포인트가 필요합니다. 세부 조정된 각 모델을 별도의 엔드포인트에 배포해야 하는 경우 수백 개의 모델이 있는 경우 비용이 증가할 수 있습니다. 따라서 다중 모델 엔드포인트를 사용하고 다중 테넌시 문제를 해결해야 합니다.
미세 조정자는 특정 상황에 따라 FM 모델을 조정하여 비즈니스 목적에 맞게 사용합니다. 즉, 생성적 AI 애플리케이션 개발, 데이터 레이크 및 데이터 메시, MLOps를 포함하여 이전 섹션에서 설명한 것처럼 대부분의 경우 미세 조정자는 모든 계층을 지원하는 데 필요한 소비자이기도 합니다.
다음 그림은 미세 조정자가 생성 AI 최종 사용자에게 제공하는 데 필요한 전체 FM 미세 조정 수명 주기를 보여줍니다.
다음 그림은 주요 단계를 보여줍니다.
주요 단계는 다음과 같습니다.
- 최종 사용자는 개인 계정을 만들고 개인 데이터를 업로드합니다.
- 데이터는 데이터 레이크에 저장되며 FM이 기대하는 형식을 따르도록 전처리됩니다.
- 이는 모델을 모델 레지스트리에 추가하는 미세 조정 ML 파이프라인을 트리거합니다.
- 그런 다음 모델은 최소한의 테스트를 통해 프로덕션에 배포되거나 모델이 HIL 및 수동 승인 게이트를 통해 광범위한 테스트를 진행합니다.
- 최종 사용자가 미세 조정된 모델을 사용할 수 있습니다.
이 인프라는 기업이 아닌 고객에게는 복잡하기 때문에 AWS는 이러한 아키텍처를 생성하고 미세 조정된 FM을 프로덕션에 더 가깝게 가져오는 노력을 덜어주기 위해 Amazon Bedrock을 출시했습니다.
FMOps 및 LLMOps 페르소나와 프로세스 차별화 요소
이전 사용자 유형 여정(소비자, 생산자, 미세 조정자)을 기반으로 다음 그림과 같이 특정 기술을 갖춘 새로운 페르소나가 필요합니다.
새로운 페르소나는 다음과 같습니다.
- 데이터 라벨러 및 편집자 – 이러한 사용자는 다음과 같은 데이터에 라벨을 붙입니다. 무료 텍스트와 같이 레이블이 지정되지 않은 데이터를 쌍으로 연결하거나 준비하고 고급 분석 팀과 데이터 레이크 환경을 확장합니다.
- 미세 조정기 – 이러한 사용자는 FM에 대한 깊은 지식을 갖고 있으며 이를 조정하는 방법을 알고 있어 기존 ML에 중점을 두는 데이터 과학 팀을 확장합니다.
- 생성적 AI 개발자 – FM 선택, 프롬프트 및 애플리케이션 연결, 입력 및 출력 필터링에 대한 깊은 지식을 갖추고 있습니다. 그들은 생성적 AI 애플리케이션 팀이라는 새로운 팀에 속해 있습니다.
- 신속한 엔지니어 – 이러한 사용자는 솔루션을 상황에 맞게 조정하고 프롬프트 카탈로그의 초기 버전을 테스트하고 생성하기 위해 입력 및 출력 프롬프트를 디자인합니다. 그들의 팀은 생성 AI 응용 팀입니다.
- 프롬프트 테스터 – 생성적 AI 솔루션(백엔드 및 프런트엔드)을 대규모로 테스트하고 결과를 제공하여 즉각적인 카탈로그 및 평가 데이터 세트를 강화합니다. 그들의 팀은 생성 AI 응용 팀입니다.
- AppDev 및 DevOps – 생성 AI 애플리케이션의 프런트 엔드(예: 웹 사이트)를 개발합니다. 그들의 팀은 생성 AI 응용 팀입니다.
- 생성 AI 최종 사용자 – 이러한 사용자는 생성 AI 애플리케이션을 블랙박스로 사용하고, 데이터를 공유하고, 출력 품질을 평가합니다.
생성 AI를 통합하기 위한 MLOps 프로세스 맵의 확장 버전은 다음 그림으로 설명할 수 있습니다.
새로운 애플리케이션 계층은 생성적 AI 개발자, 프롬프트 엔지니어, 테스터, AppDev가 생성적 AI 애플리케이션의 백엔드와 프런트엔드를 생성한 환경입니다. 생성적 AI 최종 사용자는 인터넷(예: 웹 UI)을 통해 생성적 AI 애플리케이션 프런트 엔드와 상호 작용합니다. 반면에 데이터 라벨러와 편집자는 데이터 레이크나 데이터 메시의 백엔드에 액세스하지 않고 데이터를 사전 처리해야 합니다. 따라서 데이터와 안전하게 상호작용하기 위해서는 에디터가 포함된 웹 UI(웹사이트)가 필요합니다. SageMaker Ground Truth는 이 기능을 기본적으로 제공합니다.
결론
MLOps는 ML 모델을 효율적으로 생산하는 데 도움이 됩니다. 그러나 생성적 AI 애플리케이션을 운영하려면 FMOps 및 LLMOps로 이어지는 추가 기술, 프로세스 및 기술이 필요합니다. 이 게시물에서는 FMOps 및 LLMOps의 주요 개념을 정의하고 사람, 프로세스, 기술, FM 모델 선택 및 평가 측면에서 MLOps 기능과 비교한 주요 차이점을 설명했습니다. 또한 생성적 AI 개발자의 사고 과정과 생성적 AI 애플리케이션의 개발 수명주기를 설명했습니다.
앞으로는 논의한 도메인별 솔루션 제공에 중점을 두고 FM 모니터링(독성, 편견, 환각 등)과 타사 또는 개인 데이터 소스 아키텍처 패턴을 통합하는 방법에 대한 자세한 내용을 제공할 것입니다. RAG(Retrieval Augmented Generation)를 FMOps/LLMOps로 변환합니다.
자세한 내용은 다음을 참조하십시오. Amazon SageMaker를 사용하는 기업을 위한 MLOps 기반 로드맵 엔드투엔드 솔루션을 사용해 보세요. Amazon SageMaker JumpStart 사전 훈련된 모델로 MLOps 사례 구현.
의견이나 질문이 있으면 의견란에 남겨주세요.
저자에 관하여
소크라티스 카르타키스 박사 Amazon Web Services의 수석 기계 학습 및 운영 전문가 솔루션 설계자입니다. Sokratis는 기업 고객이 AWS 서비스를 활용하고 운영 모델(예: MLOps 기반)과 모범 개발 사례를 활용하는 혁신 로드맵을 형성하여 기계 학습(ML) 솔루션을 산업화할 수 있도록 지원하는 데 중점을 두고 있습니다. 그는 에너지, 소매, 건강, 금융/은행, 모터스포츠 등의 영역에서 혁신적인 엔드 투 엔드 생산 수준 ML 및 사물 인터넷(IoT) 솔루션을 발명, 설계, 선도 및 구현하는 데 15년 이상을 보냈습니다. 소크라티스는 여가 시간을 가족, 친구들과 함께 보내거나 오토바이를 타는 것을 좋아합니다.
하이코 핫츠 자연어 처리, 대규모 언어 모델 및 생성 AI에 특별히 중점을 둔 AI 및 기계 학습을 위한 수석 솔루션 설계자입니다. 이 직책을 맡기 전에 그는 Amazon EU 고객 서비스의 데이터 과학 책임자였습니다. Heiko는 고객이 AWS에서 AI/ML 여정을 성공적으로 수행할 수 있도록 돕고 있으며 보험, 금융 서비스, 미디어 및 엔터테인먼트, 의료, 유틸리티, 제조 등 다양한 산업 분야의 조직과 협력해 왔습니다. 여가 시간에 Heiko는 가능한 한 많이 여행합니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 자동차 / EV, 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 차트프라임. ChartPrime으로 트레이딩 게임을 향상시키십시오. 여기에서 액세스하십시오.
- BlockOffsets. 환경 오프셋 소유권 현대화. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/fmops-llmops-operationalize-generative-ai-and-differences-with-mlops/
- :있다
- :이다
- :아니
- :어디
- $UP
- 1
- 10
- 100
- 2023
- 23
- 7
- 75
- a
- 능력
- 할 수 있는
- 소개
- 위의
- 추상
- ACCESS
- 얻기 쉬운
- 액세스
- 계정
- 계정
- 정확한
- 정확히
- 달성
- 행위
- 활동
- 각색하다
- 적응
- 더하다
- 첨가
- 또한
- 추가
- 또한
- 추가
- 추가
- 관리
- 양자
- 많은
- 아프리카
- 후
- 협약
- AI
- AI 및 머신 러닝
- 인공 지능 보조원
- AI 모델
- AI 서비스
- 인공 지능 사용 사례
- AI / ML
- 겨냥
- 정렬
- All
- 수
- 수
- 따라
- 이미
- 또한
- 이기는하지만
- 항상
- 아마존
- 아마존 세이지 메이커
- Amazon SageMaker 점프스타트
- Amazon Web Services
- 중
- 양
- an
- 분석
- 분석
- 및
- 인프라
- 다른
- 답변
- 답변
- 어떤
- API를
- API
- 앱
- 어플리케이션
- 애플리케이션 개발
- 어플리케이션
- 신청
- 접근
- 구혼
- 적당한
- 승인
- 대략
- 건축가
- 건축
- 아키텍처
- 있군요
- 약
- AS
- 평가
- 조수
- At
- 감사
- 감사
- 증강 된
- 자동화
- 자동화
- Automatic
- 자동적으로
- 자동화
- 유효성
- 가능
- 평균
- 피하기
- AWS
- 백엔드
- 나쁜
- 잔액
- 기반으로
- 기본
- BE
- 때문에
- 가
- 된다
- 된
- 전에
- 존재
- 기준
- 혜택
- BEST
- 더 나은
- 사이에
- 바이어스
- 편견
- 억원
- 수십억
- 검정
- 타고난
- 빌다
- 두
- 봇
- 보물상자
- 박스
- 지사
- 파괴
- 간단히
- 가져
- 부서진
- 빌드
- 건물
- 내장
- 사업
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- 계산하다
- 전화
- 라는
- 부름
- CAN
- 후보자
- 후보자
- 기능
- 능력
- 포착
- 케이스
- 가지 경우
- 목록
- 카테고리
- 중심적인
- 중앙
- 어떤
- 도전
- 과제
- 도전
- 이전 단계로 돌아가기
- 잡담
- 저렴
- 확인하는 것이 좋다.
- 선택
- 선택
- 고전적인
- 면밀히
- 자세히
- 의류
- 클라우드
- 암호
- 코딩
- 협력
- 결합
- 조합
- 결합
- 왔다
- 댓글
- 상업
- 상업적으로
- 공통의
- 비교
- 비교
- 완전한
- 완성
- 복잡한
- 복잡성
- compliance
- 준수
- 구성
- 포괄적 인
- 계산력
- 컴퓨터
- 집중
- 개념
- 개념
- 우려 사항
- 조건
- 행위
- 실시
- 연결
- 연결
- 따라서
- 고려
- 고려 사항
- 고려
- 소비
- 소비자
- 소비자
- 소비
- 컨테이너
- 이 포함되어 있습니다
- 함유량
- 콘텐츠 제작
- 문맥
- 계속
- 제어
- 이야기 잘하는
- 대화
- 저작권
- 동
- 비용
- 값 비싼
- 비용
- 수
- 국가
- 엄호
- 적용
- 만들
- 만든
- 생성
- 만들기
- 창조
- 임계
- 결정적인
- 문화적인
- Current
- 관습
- 고객
- 고객 데이터
- 고객 센터
- 고객
- 데이터
- 데이터 레이크
- 데이터 점수
- 데이터 준비
- 데이터 프라이버시
- 데이터 과학
- 데이터베이스
- 데이터 세트
- 분산 된
- 결정
- 결정
- 전용
- 깊은
- 심해 잠수
- 깊은 학습
- 한정된
- 정의
- 정의
- 정의
- 배달하다
- 동굴
- 수요
- 의존
- 따라
- 묘사하는
- 배포
- 배포
- 배치
- 전개
- 설명
- 기술 된
- 설명
- 디자인
- 설계
- 설계
- 욕구
- 원하는
- 상세한
- 세부설명
- 결정
- 결정
- 데브
- 개발
- 개발
- 개발자
- 개발자
- 개발
- 개발
- 개발팀
- 차이
- 다른
- 구별 짓다
- 치수
- 직접
- 토론
- 논의 된
- 표시된
- 거리
- 잠수
- 몇몇의
- do
- 서류
- 하지 않습니다
- 도메인
- 도메인
- 말라
- 아래 (down)
- 다운로드
- 드라이브
- 두
- 동적
- e
- 마다
- 이전
- 동쪽
- 쉽게
- 간결한
- 편집자
- 유효한
- 효율적인
- 효율적으로
- 노력
- 중
- 정교한
- 선출 된
- 가능
- 가능
- end
- 끝으로 종료
- 종점
- 에너지
- 기사
- 엔지니어링
- 엔지니어
- 영어
- 강화
- 확인
- 보장
- Enterprise
- 기업
- 엔터테인먼트
- 환경
- 환경
- 균일하게
- 특히
- 필수
- 등
- EU
- 평가
- 평가
- 평가
- 조차
- 모든
- 예
- 예
- 우수한
- 흥분한
- 운동
- 현존하는
- 존재
- 이국적인
- ~을 기대하는
- 비싼
- 경험
- 실험
- 전문적 지식
- 전문가
- 착취
- 확장
- 연장
- 확장자
- 광대 한
- 광범위한 경험
- 널리
- 추출물
- f1
- 페이스메이크업
- 인자
- 요인
- 정통
- 가족
- 멀리
- 빠른
- 특색
- 피드백
- 먹이
- 그림
- 필터링
- 필터링
- 최후의
- 최종적으로
- 금융
- 재무 보고서
- 금융 부문
- 금융 서비스
- 먼저,
- 맞게
- 유연성
- 융통성있는
- 초점
- 집중
- 집중
- 초점
- 따라
- 다음에
- 수행원
- 다음
- 럭셔리
- 소비자 용
- 형태
- 체재
- Foundation
- 사
- 무료
- 친구
- 에
- 앞
- 프론트 엔드
- 프런트 엔드
- 가득 찬
- 기능
- 기본적인
- 추가
- 게다가
- 미래
- 게이츠
- 계량기
- 일반
- 범용
- 일반적으로
- 생성
- 생성
- 생성
- 생성
- 세대
- 생성적인
- 제너레이티브 AI
- 지정 학적
- 얻을
- 힘내
- 주어진
- 제공
- 글로벌
- 세계 무역
- 좋은
- 통치
- GPU
- 육로
- 했다
- 손
- 마구
- 있다
- 데
- he
- 머리
- 건강
- 건강 관리
- 도움
- 도움이
- 여기에서 지금 확인해 보세요.
- 높은
- 높은 품질의
- 더 높은
- 고도로
- 그의
- 역사적인
- 보유
- 주인
- 호스팅
- 방법
- How To
- 그러나
- HTML
- HTTPS
- 사람의
- 수백
- i
- 이상적으로
- if
- 설명하다
- 영상
- 형상
- 상상의
- 영향
- 구현
- 구현
- 의미
- 중요성
- 중대한
- 개선
- in
- 포함
- 포함
- 포함
- 통합
- 증가
- 증가
- 표시
- 표시
- 개인
- 산업
- 영향
- 영향을받은
- 인프라
- 처음에는
- 혁신적인
- 입력
- 입력
- 예
- 를 받아야 하는 미국 여행자
- 명령
- 보험
- 통합
- 예정된
- 상호 작용하는
- 상호 작용
- 상호 작용
- 인터렉티브
- 인터페이스
- 인터넷
- 인터넷 연결
- 사물의 인터넷
- 으로
- 소개
- 투자
- 참여
- 참여
- IOT
- IT
- 그
- 일
- 여행
- Journeys
- 7월
- 다만
- 키
- 핵심 요소
- 종류
- 알아
- 지식
- 알려진
- 라벨
- 레이블
- 소금물
- 언어
- 넓은
- 큰
- 성
- 숨어 있음
- 층
- 레이어
- 지도
- 오퍼
- 배우다
- 배우기
- 휴가
- 빌려주 다
- 적게
- 레벨
- 레버리지
- 도서관
- 특허
- Licensing
- wifecycwe
- 처럼
- 좋아하는
- 한계
- LINK
- LLM
- 하중
- 지방의
- 위치한
- 위치
- 런던
- 긴
- 이상
- 절감
- 기계
- 기계 학습
- 만든
- 본관
- 유지하다
- 과반수
- 유튜브 영상을 만드는 것은
- 다루기 쉬운
- 필수
- 조작
- 수동으로
- 제조
- .
- 지도
- 거대한
- 만기
- 최고
- XNUMX월..
- me
- 의미
- 방법
- 기구
- 메커니즘
- 미디어
- 지중해
- 말하는
- 합병
- 조화
- 메타 데이터
- 방법
- 방법론
- 방법
- 통계
- 중간
- 중동
- 수도
- 최저한의
- ML
- MLOps
- 모델
- 모델
- 모니터
- 모니터링
- 모니터링
- 배우기
- 보다 효율적으로
- 가장
- 대개
- 모터 스포츠
- 움직임
- 움직이는
- 운동
- 많은
- 여러
- 음악
- 절대로 필요한 것
- my
- name
- 자연의
- 자연 언어 처리
- 자연
- 이동
- 필요한
- 필요
- 필요
- 요구
- 부정
- 네트워크
- 신경망
- 중립의
- 못
- 신제품
- 새로운
- 다음 것
- nlp
- 아니
- 표준
- North
- 주목할 만한
- 번호
- 관찰
- of
- 제공
- 제공
- 자주
- on
- 온 보딩
- ONE
- 사람
- 만
- 열 수
- 오픈 소스
- 운영
- 행정부
- 최적의
- 선택권
- 옵션
- or
- 조직
- 조직
- 기타
- 기타
- 그렇지 않으면
- 우리의
- 아웃
- 결과
- 출력
- 위에
- 전체
- 개요
- 자신의
- 소유자
- 소유자
- 꾸러미
- 쌍
- 매개 변수
- 패턴
- 사람들
- 용
- 수행
- 성능
- 실행할 수 있는
- 혹시
- 사람
- 확인
- 맞춤형 교육 플랫폼
- 관점
- 상
- 사진
- 조각
- 관로
- 장소
- 플랫폼
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 부디
- 포인트 적립
- 전철기
- 정책
- 긍정적인
- 소유
- 가능한
- 게시하다
- 게시물
- 가능성
- 잠재적으로
- 힘
- 강한
- 실용적인
- 사례
- Precision
- 예측
- 예측
- 예측
- 준비
- Prepare
- 준비
- 준비
- 제시
- 너무 이른
- 이전에
- 청춘
- 국무 총리
- 원칙
- 이전에
- 우선 순위
- 개인 정보 보호
- 사설
- 문제
- 방법
- 프로세스
- 처리
- 생산
- 제작자
- 프로덕트
- 생산
- 프로그램 작성
- 프로젝트
- 홍보
- 증명
- 개념 증명
- 제안
- 소유권
- 증명
- 제공
- 제공
- 공급자
- 제공
- 제공
- 제공
- 목적
- 목적
- 밀어
- 짜내다
- 품질
- 문제
- 문의
- 빠른
- 제기
- 범위
- 이르기까지
- 빠르게
- 율
- 차라리
- 평가
- 읽기
- 실시간
- 이유
- 받다
- 권하다
- 빨간색
- 감소
- 수정하다
- 에 관한
- 레지스트리
- 레지스트리
- 규정
- 관련
- 출시
- 관련성
- 관련된
- 신뢰성
- 유적
- 먼
- 대체
- 신고
- 저장소
- 대표
- 대리인
- 의뢰
- 요청
- 필수
- 요구조건 니즈
- 필요
- 연구
- 연구원
- 제품 자료
- 각기
- 응답
- 응답
- 책임
- REST
- 제한
- 제한적
- 결과
- 결과
- 소매
- 재사용
- 리뷰
- 검토
- 승마
- 연락해주세요
- 로드맵
- 직위별
- 역할
- 거칠게
- 반올림
- 달리기
- 달리는
- 현자
- 같은
- 모래 상자
- 규모
- 스케일링
- 대본
- 시나리오
- 과학
- 과학자
- 점수
- 할퀴다
- 스크립트
- 바다
- 섹션
- 섹션
- 부문
- 안전해야합니다.
- 안전하게
- 보안
- 보안 정책
- 참조
- 모색
- 선택된
- 선택
- 선택
- 전송
- 연장자
- 전송
- 감정
- 별도의
- 순서
- 연속
- 서브
- 서비스
- 서비스
- 피복재
- 세트
- 몇몇의
- 성형
- 공유
- 공유
- 배송
- 짧은
- 영상을
- 표시
- 쇼
- 측면
- 상당한
- 크게
- 비슷한
- 단순화
- 크기
- 기술
- 작은
- 작은
- 중소기업
- So
- 해결책
- 솔루션
- 풀다
- 일부
- 출처
- 소스 코드
- 지우면 좋을거같음 . SM
- 스페이스 버튼
- 특별한
- 전문가
- 전문
- 구체적인
- 구체적으로
- 속도
- 지출
- 지출
- 단계
- 단계
- 이해 관계자
- 표준
- 표준화
- 스타트
- Status
- 단계
- 단계
- 저장
- 저장
- 저장
- 이야기
- 강점
- 강한
- 그후
- 성공한
- 이러한
- 제안
- 적당
- 적당한
- 요약
- 개요
- SUPPORT
- 지원
- 가정
- 확인
- SWIFT
- 체계
- 테이블
- 받아
- 태스크
- 작업
- 팀
- 팀
- 테크니컬
- 기법
- 기술
- Technology
- 조건
- test
- 테스트
- 테스터
- 지원
- 보다
- 그
- XNUMXD덴탈의
- 미래
- 소스
- 영국
- 세계
- 그들의
- 그들
- 그들 자신
- 그때
- 그곳에.
- 따라서
- Bowman의
- 그들
- 일
- 사고력
- 타사
- 이
- 그
- 그래도?
- 생각
- 수천
- 세
- 시간
- 에
- 함께
- 토큰
- 토큰
- 상단
- 이상의 주제
- 에 대한
- 교환
- 전통적인
- Train
- 훈련 된
- 트레이닝
- 변환
- 변환
- 여행
- 여행기
- 경향
- 트리거
- 참된
- 진실
- 시도
- 두
- 유형
- 유형
- 일반적으로
- ui
- Uk
- 이해
- 이해
- 단위
- 단위
- 업데이트
- 업로드
- us
- 쓸 수 있는
- 용법
- 사용
- 유스 케이스
- 익숙한
- 사용자
- 사용자
- 사용
- 사용
- 유용
- 사용
- 여러
- 확인
- 버전
- 대
- 수직선
- 를 통해
- 존립 할 수있는
- 시각화
- vs
- 필요
- 였다
- we
- 웹
- 웹 서비스
- 웹 사이트
- 잘
- 뭐
- 언제
- 이므로
- 여부
- 어느
- 동안
- 누구
- 넓은
- 넓은 범위
- 의지
- 창
- 창
- 과
- 이내
- 없이
- 워드
- 말
- 작업
- 협력
- 일
- 일하는
- 일
- 세계
- 겠지
- 년
- 수율
- 자신의
- 너의
- 제퍼 넷