아마존 세이지 메이커 엔드 투 엔드 ML 워크로드를 제공하는 포괄적인 서비스 집합을 제공하는 완전 관리형 기계 학습(ML) 플랫폼입니다. 처럼 AWS에서 모범 사례로 권장, 고객은 별도의 계정을 사용하여 사용자의 정책 관리를 단순화하고 워크로드 및 계정별로 리소스를 격리했습니다. 그러나 더 많은 사용자와 팀이 클라우드에서 ML 플랫폼을 사용하면 다중 계정 확장 환경에서 대규모 ML 워크로드를 모니터링하기가 더 어려워집니다. 더 나은 관찰 가능성을 위해 고객은 교차 계정 리소스 사용을 모니터링하고 ML 거버넌스 및 관리 요구 사항에 필수적인 작업 시작 및 실행 상태와 같은 활동을 추적하는 솔루션을 찾고 있습니다.
Processing, Training, Hosting과 같은 SageMaker 서비스는 실행 중인 인스턴스에서 메트릭과 로그를 수집하여 사용자의 아마존 클라우드 워치 계정. 다른 계정에서 이러한 작업의 세부 정보를 보려면 각 계정에 로그인하여 해당 작업을 찾고 상태를 확인해야 합니다. 이 교차 계정 및 다중 작업 정보를 쉽게 표시할 수 있는 단일 창은 없습니다. 또한 클라우드 관리 팀은 개인에게 다양한 SageMaker 워크로드 계정에 대한 액세스를 제공해야 하므로 클라우드 플랫폼 팀에 추가적인 관리 오버헤드가 추가됩니다.
이 게시물에서는 여러 계정에서 SageMaker 사용자 활동 및 리소스를 모니터링하기 위한 중앙 집중식 보기를 제공하는 교차 계정 관찰 가능성 대시보드를 제시합니다. 이를 통해 최종 사용자와 클라우드 관리 팀은 실행 중인 ML 워크로드를 효율적으로 모니터링하고, 이러한 워크로드의 상태를 확인하고, 특정 시점에서 다양한 계정 활동을 추적할 수 있습니다. 이 대시보드를 사용하면 작업 로그의 세부 정보를 찾기 위해 SageMaker 콘솔에서 탐색하고 각 작업을 클릭할 필요가 없습니다. 대신 실행 중인 작업 및 작업 상태를 쉽게 보고, 작업 문제를 해결하고, 공유 계정에서 작업 실패, 사용률이 낮은 리소스 등과 같은 문제가 식별되면 경고를 설정할 수 있습니다. 또한 이 중앙 집중식 모니터링 대시보드에 대한 액세스를 제어하거나 감사 및 관리 요구 사항을 위해 관련 기관과 대시보드를 공유할 수 있습니다.
솔루션 개요
이 솔루션은 다중 계정 환경에서 SageMaker 작업 및 활동을 중앙 집중식으로 모니터링할 수 있도록 설계되었습니다. 솔루션은 다음에 의존하지 않도록 설계되었습니다. AWS 조직, 하지만 조직이나 조직에서 쉽게 채택할 수 있습니다. AWS 관제탑 환경. 이 솔루션은 운영 팀이 단일 창에서 여러 워크로드 계정에 분산된 모든 SageMaker 워크로드를 높은 수준에서 볼 수 있도록 도와줍니다. 활성화하는 옵션도 있습니다. CloudWatch 교차 계정 관찰 가능성 SageMaker 워크로드 계정 전체에서 중앙 모니터링 계정의 지표, 로그 및 추적과 같은 모니터링 원격 분석에 대한 액세스를 제공합니다. 다음 스크린샷에는 예제 대시보드가 나와 있습니다.
다음 다이어그램은 이 중앙 집중식 대시보드 솔루션의 아키텍처를 보여줍니다.
SageMaker는 아마존 이벤트 브리지, SageMaker에서 상태 변경 이벤트를 모니터링합니다. EventBridge를 사용하면 SageMaker를 자동화하고 교육 작업 상태 변경 또는 엔드포인트 상태 변경과 같은 이벤트에 자동으로 응답할 수 있습니다. SageMaker의 이벤트는 거의 실시간으로 EventBridge에 전달됩니다. EventBridge에서 모니터링하는 SageMaker 이벤트에 대한 자세한 내용은 다음을 참조하십시오. Amazon EventBridge로 Amazon SageMaker 자동화. SageMaker 기본 이벤트 외에도 AWS 클라우드 트레일 API 호출 시 이벤트를 게시하고 EventBridge로 스트리밍하여 많은 다운스트림 자동화 또는 모니터링 사용 사례에서 활용할 수 있습니다. 당사 솔루션에서는 워크로드 계정의 EventBridge 규칙을 사용하여 중앙 집중식 모니터링을 위해 SageMaker 서비스 이벤트 및 API 이벤트를 모니터링 계정의 이벤트 버스로 스트리밍합니다.
중앙 집중식 모니터링 계정에서 이벤트는 EventBridge 규칙에 의해 캡처되고 추가로 다른 대상으로 처리됩니다.
- 다음에 사용할 CloudWatch 로그 그룹:
- 감사 및 아카이브 목적. 자세한 내용은 다음을 참조하십시오. Amazon CloudWatch Logs 사용 설명서.
- 로그 데이터 분석 CloudWatch 로그 인사이트 쿼리. CloudWatch Logs Insights를 사용하면 CloudWatch Logs에서 로그 데이터를 대화식으로 검색하고 분석할 수 있습니다. 쿼리를 수행하여 운영 문제에 보다 효율적이고 효과적으로 대응할 수 있습니다. 문제가 발생하면 CloudWatch Logs Insights를 사용하여 잠재적인 원인을 식별하고 배포된 수정 사항을 검증할 수 있습니다.
- CloudWatch 대시보드에서 상위 수준 작업을 위한 CloudWatch Metrics Insights 쿼리 위젯 지원, 대시보드에 CloudWatch Insights 쿼리 추가, 쿼리 결과 내보내기.
- An AWS 람다 다음 작업을 완료하는 기능:
- 사용자 지정 논리를 수행하여 SageMaker 서비스 이벤트를 보강합니다. 한 가지 예는 작업 완료 이벤트가 수신될 때 SageMaker 작업 호스트의 사용률 지표에 대한 지표 쿼리를 수행하는 것입니다.
- 다음과 같이 수집된 특정 로그 형식의 메트릭으로 이벤트 정보를 변환합니다. EMF 로그. 자세한 내용은 다음을 참조하십시오. 로그에 측정항목 포함.
이 게시물의 예는 기본 CloudWatch 교차 계정 관찰 가능성 교차 계정 메트릭, 로그 및 추적 액세스를 달성하는 기능. 아키텍처 다이어그램 하단에 표시된 대로 이 기능과 통합되어 교차 계정 지표 및 로그를 활성화합니다. 이를 사용하려면 모니터링 계정과 원본 워크로드 계정 모두에 필요한 권한과 리소스를 만들어야 합니다.
조직에서 관리하는 AWS 계정 또는 독립 실행형 계정에 이 솔루션을 사용할 수 있습니다. 다음 섹션에서는 각 시나리오의 단계를 설명합니다. 각 시나리오 내에서 단계는 서로 다른 AWS 계정에서 수행됩니다. 편의를 위해 단계를 수행할 계정 유형이 각 단계 시작 부분에 강조 표시됩니다.
사전 조건
이 절차를 시작하기 전에 다음에서 소스 코드를 복제하십시오. GitHub 레포 현지 환경에서 또는 AWS 클라우드9. 또한 다음이 필요합니다.
조직 환경에서 솔루션 배포
모니터링 계정과 모든 SageMaker 워크로드 계정이 모두 동일한 조직에 있는 경우 소스 워크로드 계정의 필수 인프라는 다음을 통해 자동으로 생성됩니다. AWS 클라우드 포메이션 조직의 마스터 계정에서 StackSet. 따라서 원본 워크로드 계정에 대한 수동 인프라 배포가 필요하지 않습니다. 새 계정이 생성되거나 기존 계정이 대상 조직 단위(OU)로 이동되면 소스 워크로드 인프라 스택이 자동으로 배포되고 중앙 집중식 모니터링 범위에 포함됩니다.
모니터링 계정 리소스 설정
나중에 설정 스크립트의 입력으로 사용할 모니터링 계정 리소스를 설정하려면 다음 AWS 계정 정보를 수집해야 합니다.
입력 | 상품 설명 | 예 |
홈 지역 | 워크로드가 실행되는 리전입니다. | ap-southeast-2 |
모니터링 계정 AWS CLI 프로필 이름 | 에서 프로필 이름을 찾을 수 있습니다. ~/.aws/config . 이것은 선택 사항입니다. 제공되지 않으면 체인의 기본 AWS 자격 증명을 사용합니다. |
. |
SageMaker 워크로드 OU 경로 | SageMaker 워크로드 계정이 있는 OU 경로입니다. 유지 / 경로의 끝에서. |
o-1a2b3c4d5e/r-saaa/ou-saaa-1a2b3c4d/ |
OU 경로를 검색하려면 조직 콘솔로 이동하여 아래에서 AWS 계정, OU 경로를 구성하기 위한 정보를 찾으십시오. 다음 예에서 해당 OU 경로는 o-ye3wn3kyh6/r-taql/ou-taql-wu7296by/
.
이 정보를 검색한 후 다음 명령을 실행하여 모니터링 계정에 필요한 리소스를 배포합니다.
배포에서 다음 출력을 얻을 수 있습니다. 마스터 계정 스택을 배포할 때 다음 단계에서 사용할 출력을 기록해 둡니다.
마스터 계정 리소스 설정
나중에 설정 스크립트의 입력으로 사용하는 마스터 계정 리소스를 설정하려면 다음 AWS 계정 정보를 수집해야 합니다.
입력 | 상품 설명 | 예 |
홈 지역 | 워크로드가 실행되는 리전입니다. 모니터링 스택과 동일해야 합니다. | ap-southeast-2 |
마스터 계정 AWS CLI 프로필 이름 | 에서 프로필 이름을 찾을 수 있습니다. ~/.aws/config . 이것은 선택 사항입니다. 제공되지 않으면 체인의 기본 AWS 자격 증명을 사용합니다. |
. |
SageMaker 워크로드 OU ID | 여기서는 경로가 아닌 OU ID만 사용합니다. | ou-saaa-1a2b3c4d |
모니터링 계정 ID | 모니터링 스택이 배포되는 계정 ID입니다. | . |
모니터링 계정 역할 이름 | 에 대한 출력 MonitoringAccountRoleName 이전 단계에서. |
. |
모니터링 계정 이벤트 버스 ARN | 에 대한 출력 MonitoringAccountEventbusARN 이전 단계에서. |
. |
모니터링 계정 싱크 식별자 | 출력 MonitoringAccountSinkIdentifier 이전 단계에서. |
. |
다음 명령을 실행하여 마스터 계정 리소스를 배포할 수 있습니다.
비조직 환경에서 솔루션 배포
환경에서 조직을 사용하지 않는 경우 모니터링 계정 인프라 스택은 유사한 방식으로 배포되지만 몇 가지 변경 사항이 있습니다. 그러나 워크로드 인프라 스택은 각 워크로드 계정에 수동으로 배포해야 합니다. 따라서 이 방법은 계정 수가 제한된 환경에 적합합니다. 대규모 환경의 경우 조직 사용을 고려하는 것이 좋습니다.
모니터링 계정 리소스 설정
나중에 설정 스크립트의 입력으로 사용할 모니터링 계정 리소스를 설정하려면 다음 AWS 계정 정보를 수집해야 합니다.
입력 | 상품 설명 | 예 |
홈 지역 | 워크로드가 실행되는 리전입니다. | ap-southeast-2 |
SageMaker 워크로드 계정 목록 | SageMaker 워크로드를 실행하고 쉼표로 구분된 모니터링 계정으로 이벤트를 스트리밍하는 계정 목록입니다. | 111111111111,222222222222 |
모니터링 계정 AWS CLI 프로필 이름 | 에서 프로필 이름을 찾을 수 있습니다. ~/.aws/config . 이것은 선택 사항입니다. 제공되지 않으면 체인의 기본 AWS 자격 증명을 사용합니다. |
. |
필요한 정보를 수집한 후 다음 명령을 실행하여 모니터링 계정 리소스를 배포할 수 있습니다.
배포가 완료되면 다음 출력이 표시됩니다. 마스터 계정 스택을 배포할 때 다음 단계에서 사용할 출력을 기록해 둡니다.
워크로드 계정 모니터링 인프라 설정
나중에 설정 스크립트의 입력으로 사용할 워크로드 계정 모니터링 인프라를 설정하려면 다음 AWS 계정 정보를 수집해야 합니다.
입력 | 상품 설명 | 예 |
홈 지역 | 워크로드가 실행되는 리전입니다. 모니터링 스택과 동일해야 합니다. | ap-southeast-2 |
모니터링 계정 ID | 모니터링 스택이 배포되는 계정 ID입니다. | . |
모니터링 계정 역할 이름 | 에 대한 출력 MonitoringAccountRoleName 이전 단계에서. |
. |
모니터링 계정 이벤트 버스 ARN | 에 대한 출력 MonitoringAccountEventbusARN 이전 단계에서. |
. |
모니터링 계정 싱크 식별자 | 출력 MonitoringAccountSinkIdentifier 이전 단계에서. |
. |
워크로드 계정 AWS CLI 프로필 이름 | 에서 프로필 이름을 찾을 수 있습니다. ~/.aws/config . 이것은 선택 사항입니다. 제공되지 않으면 체인의 기본 AWS 자격 증명을 사용합니다. |
. |
다음 명령을 실행하여 모니터링 계정 리소스를 배포할 수 있습니다.
CloudWatch 대시보드에서 ML 작업 시각화
솔루션이 작동하는지 확인하려면 이전 섹션에서 사용한 워크로드 계정에서 여러 SageMaker 처리 작업 및 SageMaker 교육 작업을 실행해야 합니다. CloudWatch 대시보드는 자체 시나리오에 따라 사용자 지정할 수 있습니다. 샘플 대시보드는 SageMaker 처리 작업 및 SageMaker 교육 작업을 시각화하기 위한 위젯으로 구성됩니다. 워크로드 계정 모니터링을 위한 모든 작업이 이 대시보드에 표시됩니다. 각 작업 유형에는 총 작업 수, 실패한 작업 수 및 각 작업의 세부 정보인 세 가지 위젯이 표시됩니다. 이 예에는 두 개의 워크로드 계정이 있습니다. 이 대시보드를 통해 하나의 워크로드 계정에는 처리 작업과 교육 작업이 모두 있고 다른 워크로드 계정에는 교육 작업만 있음을 쉽게 찾을 수 있습니다. CloudWatch에서 사용하는 기능과 마찬가지로 새로 고침 간격을 설정하고 그래프 유형을 지정하고 확대 또는 축소하거나 CSV 파일에서 로그 다운로드와 같은 작업을 실행할 수 있습니다.
대시 보드 사용자 정의
GitHub 리포지토리에서 제공되는 솔루션에는 SageMaker 교육 작업과 SageMaker 처리 작업 모니터링이 모두 포함됩니다. 배치 변환 작업과 같은 다른 SageMaker 작업을 모니터링하기 위해 더 많은 대시보드를 추가하려는 경우 이 섹션의 지침에 따라 대시보드를 사용자 지정할 수 있습니다. 수정하여 index.py 파일, 대시보드에 표시할 필드를 사용자 정의할 수 있습니다. EventBridge를 통해 CloudWatch에서 캡처한 모든 세부 정보에 액세스할 수 있습니다. Lambda 함수에서 대시보드에 표시하려는 필수 필드를 선택할 수 있습니다. 다음 코드를 참조하십시오.
대시보드 또는 위젯을 사용자 지정하려면 다음에서 소스 코드를 수정할 수 있습니다. 모니터링-계정-infra-stack.ts 파일. 이 파일에서 사용하는 필드 이름은 이름과 같아야 합니다(키는 job_detail
) Lambda 파일에 정의되어 있습니다.
대시보드를 수정한 후 이 솔루션을 처음부터 다시 배포해야 합니다. GitHub 리포지토리에 제공된 Jupyter 노트북을 실행하여 SageMaker 파이프라인을 다시 실행하면 SageMaker 처리 작업이 다시 시작됩니다. 작업이 완료되면 CloudWatch 콘솔로 이동하여 아래에서 대시 보드 탐색 창에서 맞춤형 대시 보드. SageMaker-Monitoring-Dashboard라는 대시보드를 찾을 수 있습니다.
정리
이 사용자 지정 대시보드가 더 이상 필요하지 않은 경우 리소스를 정리할 수 있습니다. 생성된 모든 리소스를 삭제하려면 이 섹션의 코드를 사용하십시오. 조직 환경과 비조직 환경의 정리는 약간 다릅니다.
조직 환경의 경우 다음 코드를 사용합니다.
비조직 환경의 경우 다음 코드를 사용합니다.
또는 모니터링 계정, 워크로드 계정 및 마스터 계정에 로그인하여 CloudFormation 콘솔에서 스택 삭제.
결론
이 게시물에서는 CloudWatch를 사용하여 SageMaker용 중앙 집중식 모니터링 및 보고 솔루션 구현에 대해 논의했습니다. 이 게시물에 설명된 단계별 지침에 따라 실시간으로 여러 계정의 다양한 SageMaker 작업과 관련된 주요 지표를 표시하고 로그를 통합하는 다중 계정 모니터링 대시보드를 생성할 수 있습니다. 이 중앙 집중식 모니터링 대시보드를 사용하면 여러 계정에서 SageMaker 작업 활동에 대한 가시성을 높이고, 문제를 더 빠르게 해결하고, 실시간 데이터를 기반으로 정보에 입각한 결정을 내릴 수 있습니다. 전반적으로 CloudWatch를 사용하여 중앙 집중식 모니터링 및 보고 솔루션을 구현하면 조직이 클라우드 기반 ML 인프라 및 리소스 활용을 관리할 수 있는 효율적인 방법을 제공합니다.
솔루션을 사용해 보고 피드백을 보내주십시오. Amazon SageMaker용 AWS 포럼, 또는 일반적인 AWS 연락처를 통해.
교차 계정 관찰 기능에 대한 자세한 내용은 블로그를 참조하십시오. Amazon CloudWatch 교차 계정 관찰 가능성
저자에 관하여
지에동 호주 시드니에 기반을 둔 AWS 클라우드 설계자입니다. Jie는 자동화에 열정적이며 고객의 생산성 향상을 돕는 솔루션 개발을 좋아합니다. 이벤트 기반 시스템 및 서버리스 프레임워크는 그의 전문 분야입니다. 자신의 시간에 Jie는 스마트 홈을 구축하고 새로운 스마트 홈 기기를 탐색하는 것을 좋아합니다.
멜라니 리, PhD는 호주 시드니에 본사를 둔 AWS의 수석 AI/ML 전문가 TAM입니다. 그녀는 기업 고객이 AWS에서 최신 AI/ML 도구를 사용하여 솔루션을 구축하도록 돕고 모범 사례로 ML 솔루션을 설계하고 구현하는 방법에 대한 지침을 제공합니다. 여가 시간에는 자연을 탐험하고 가족 및 친구들과 시간을 보내는 것을 좋아합니다.
고든 왕, AWS의 선임 AI/ML 전문가 TAM입니다. 그는 여러 산업 분야에서 AI/ML 모범 사례로 전략적 고객을 지원합니다. 그는 컴퓨터 비전, NLP, 생성 AI 및 MLOps에 열정적입니다. 여가 시간에는 달리기와 하이킹을 좋아합니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 자동차 / EV, 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 차트프라임. ChartPrime으로 트레이딩 게임을 향상시키십시오. 여기에서 액세스하십시오.
- BlockOffsets. 환경 오프셋 소유권 현대화. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/build-a-centralized-monitoring-and-reporting-solution-for-amazon-sagemaker-using-amazon-cloudwatch/
- :있다
- :이다
- :아니
- :어디
- $UP
- 100
- 11
- 12
- 17
- 24
- 7
- 8
- 9
- a
- 소개
- ACCESS
- 계정
- 계정
- 달성
- 가로질러
- 행위
- 방과 후 액티비티
- 더하다
- 첨가
- 또한
- 추가
- 또한
- 추가
- 관리자
- 채택
- 후
- 다시
- 반대
- AI
- AI / ML
- 알림
- All
- 수
- 또한
- 아마존
- 아마존 세이지 메이커
- Amazon Web Services
- an
- 분석하다
- 및
- 다른
- API를
- 아키텍처
- 아카이브
- 있군요
- AS
- At
- 감사
- 호주
- 당국
- 자동화
- 자동적으로
- 자동화
- AWS
- 뒤로
- 기반으로
- BE
- 된다
- 처음
- BEST
- 모범 사례
- 더 나은
- 블로그
- 두
- 바닥
- 빌드
- 건물
- 버스
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- 통화
- CAN
- 얻을 수 있습니다
- 캡처
- 가지 경우
- 원인
- 중앙
- 어떤
- 체인
- 도전
- 이전 단계로 돌아가기
- 변경
- 검사
- 왼쪽 메뉴에서
- 클릭
- 클라우드
- 클라우드 플랫폼
- 암호
- 수집
- 완전한
- 완성
- 포괄적 인
- 컴퓨터
- 컴퓨터 비전
- 고려
- 구성
- 콘솔에서
- 연결
- 구축
- 콘택트 렌즈
- 문맥
- 제어
- 편의
- 동
- 만들
- 만든
- 신임장
- Cross
- 관습
- 고객
- 고객
- 맞춤형
- 사용자 정의
- 계기반
- 대시 보드
- 데이터
- 결정
- 태만
- 한정된
- 전달
- 의존
- 배포
- 배포
- 배치
- 전개
- 설계
- 세부 묘사
- 세부설명
- 개발
- 다른
- 논의 된
- 디스플레이
- 표시된
- 디스플레이
- 하지 않습니다
- 말라
- 다운로드
- 지속
- e
- 마다
- 용이하게
- 효과적으로
- 효율적인
- 효율적으로
- 중
- 가능
- 수
- end
- 끝으로 종료
- 종점
- Enterprise
- 환경
- 필수
- 이벤트
- 이벤트
- 예
- 외
- 실행
- 현존하는
- 전문적 지식
- 설명
- 탐험
- 표현
- 실패한
- 실패
- 고장
- 그릇된
- 가족
- 특색
- 피드백
- 를
- 들
- Fields
- 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에
- 필터링
- Find
- 따라
- 수행원
- 럭셔리
- 포럼
- 뼈대
- 친구
- 에
- 충분히
- 기능
- 기능
- 추가
- 게다가
- 가젯
- 생성적인
- 제너레이티브 AI
- 얻을
- GitHub의
- 유리
- Go
- 통치
- 그래프
- 그룹
- 지도
- 있다
- he
- 신장
- 도움
- 도움이
- 그녀의
- 고수준
- 강조
- 그의
- history
- 홈
- 주인
- 호스팅
- 그러나
- HTML
- HTTP
- HTTPS
- ID
- 확인
- 확인
- if
- 이행
- 구현
- 개선
- in
- 포함
- 포함
- 개인
- 산업
- 정보
- 정보
- 인프라
- 입력
- 통찰력
- 를 받아야 하는 미국 여행자
- 명령
- 통합
- 완성
- 으로
- 발행물
- 문제
- IT
- 일
- 작업
- JPG
- 다만
- 유지
- 키
- 키
- 라벨
- 넓은
- 후에
- 시작
- 배우다
- 배우기
- 왼쪽 (left)
- 제한된
- 명부
- 지방의
- 기록
- 논리
- 이상
- 보기
- 찾고
- loves
- 기계
- 기계 학습
- 확인
- 관리
- 관리
- 구축
- 관리팀
- 태도
- 조작
- 수동으로
- .
- 방법
- 메트릭
- 통계
- ML
- MLOps
- 수정
- 모니터
- 모니터링
- 모니터링
- 모니터
- 배우기
- 움직이는
- 여러
- name
- 이름
- 이름
- 출신
- 자연
- 이동
- 카테고리
- 필요한
- 필요
- 요구
- 신제품
- 다음 것
- nlp
- 아니
- 없음
- 수첩
- 번호
- of
- 제공
- on
- ONE
- 만
- 조작
- 운영
- 행정부
- 선택권
- or
- 조직
- 조직
- 조직
- 기타
- 우리의
- 아웃
- 설명
- 출력
- 전체
- 자신의
- 빵
- 매개 변수
- 열렬한
- 통로
- 수행
- 수행
- 실행할 수 있는
- 권한
- 박사 학위
- 관로
- 플랫폼
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 부디
- 전철기
- 정책
- 게시하다
- 가능성
- 사례
- 제시
- 너무 이른
- 순서
- 처리됨
- 처리
- 생산력
- 프로필
- 제공
- 제공
- 제공
- 발행
- 목적
- 푸시
- 쿼리
- 빨리
- 현실
- 실시간
- 실시간 데이터
- 접수
- 추천
- 지방
- 관련
- 관련된
- 통계 보고서
- 필수
- 요구조건 니즈
- 의지
- 제품 자료
- 응답
- 결과
- 연락해주세요
- 직위별
- 통치
- 규칙
- 달리기
- 달리는
- 현자
- 같은
- 스케일링
- 대본
- 시나리오
- 범위
- 할퀴다
- 검색
- 섹션
- 섹션
- 참조
- 보내다
- 연장자
- 별도의
- 서브
- 서버리스
- 서비스
- 서비스
- 세트
- 설치
- 공유
- 공유
- 그녀
- 영상을
- 표시
- 표시
- 쇼
- 비슷한
- 단순화
- 단일
- 약간 다른
- 스마트 한
- 똑똑한 집
- So
- 해결책
- 솔루션
- 출처
- 소스 코드
- 전문가
- 지출
- 전파
- 스택
- 쌓인
- 스택
- 독립
- 시작 중
- 최첨단
- Status
- 단계
- 단계
- 전략의
- 흐름
- 스트림
- 이러한
- 적당한
- 지원
- 지원
- 시드니
- 체계
- 테이블
- 목표
- 목표
- 작업
- 팀
- 팀
- 그
- XNUMXD덴탈의
- 그래프
- 정보
- 소스
- 그들의
- 그들
- 그곳에.
- 따라서
- Bowman의
- 이
- 그
- 세
- 을 통하여
- 시간
- Title
- 에
- 검색을
- 금액
- 더듬다
- 선로
- 트레이닝
- 변환
- 참된
- 시도
- 두
- 유형
- 아래에
- 예기치 않은
- 단위
- us
- 용법
- 사용
- 익숙한
- 사용자
- 사용자
- 사용
- 사용
- 사용
- 유효 기간
- 가치
- 여러
- 를 통해
- 관측
- 가시성
- 시력
- vs
- 필요
- 방법..
- we
- 웹
- 웹 서비스
- 뭐
- 언제
- 어느
- 폭
- 의지
- 과
- 이내
- 작업
- 일
- 자신의
- 너의
- 제퍼 넷
- 줌