Amazon SageMaker adalah platform machine learning (ML) terkelola penuh yang menawarkan serangkaian layanan komprehensif yang melayani beban kerja ML end-to-end. Sebagai direkomendasikan oleh AWS sebagai praktik terbaik, pelanggan telah menggunakan akun terpisah untuk menyederhanakan manajemen kebijakan bagi pengguna dan memisahkan sumber daya berdasarkan beban kerja dan akun. Namun, saat lebih banyak pengguna dan tim menggunakan platform ML di cloud, memantau beban kerja ML yang besar di lingkungan multi-akun yang berskala besar menjadi lebih menantang. Agar dapat diamati dengan lebih baik, pelanggan mencari solusi untuk memantau penggunaan sumber daya lintas akun dan melacak aktivitas, seperti peluncuran pekerjaan dan status yang sedang berjalan, yang penting untuk persyaratan tata kelola dan manajemen ML mereka.
Layanan SageMaker, seperti Pemrosesan, Pelatihan, dan Hosting, mengumpulkan metrik dan log dari instans yang berjalan dan mendorongnya ke pengguna amazoncloudwatch akun. Untuk melihat detail pekerjaan ini di akun yang berbeda, Anda harus masuk ke setiap akun, mencari pekerjaan yang sesuai, dan melihat statusnya. Tidak ada panel kaca tunggal yang dapat dengan mudah menampilkan informasi lintas akun dan multi-pekerjaan ini. Selain itu, tim admin cloud perlu memberikan akses individu ke akun beban kerja SageMaker yang berbeda, yang menambahkan overhead manajemen tambahan untuk tim platform cloud.
Dalam postingan ini, kami menyajikan dasbor observabilitas lintas akun yang menyediakan tampilan terpusat untuk memantau aktivitas dan sumber daya pengguna SageMaker di beberapa akun. Ini memungkinkan pengguna akhir dan tim manajemen cloud untuk secara efisien memantau beban kerja ML apa yang sedang berjalan, melihat status beban kerja ini, dan melacak kembali berbagai aktivitas akun pada titik waktu tertentu. Dengan dasbor ini, Anda tidak perlu menavigasi dari konsol SageMaker dan mengeklik setiap pekerjaan untuk menemukan detail log pekerjaan. Sebagai gantinya, Anda dapat dengan mudah melihat pekerjaan yang sedang berjalan dan status pekerjaan, memecahkan masalah pekerjaan, dan mengatur peringatan ketika masalah teridentifikasi di akun bersama, seperti kegagalan pekerjaan, sumber daya yang kurang dimanfaatkan, dan banyak lagi. Anda juga dapat mengontrol akses ke dasbor pemantauan terpusat ini atau berbagi dasbor dengan otoritas terkait untuk persyaratan audit dan manajemen.
Ikhtisar solusi
Solusi ini dirancang untuk memungkinkan pemantauan tugas dan aktivitas SageMaker secara terpusat di seluruh lingkungan multi-akun. Solusinya dirancang untuk tidak memiliki ketergantungan pada Organisasi AWS, tetapi dapat diadopsi dengan mudah di Organisasi atau Menara Kontrol AWS lingkungan. Solusi ini dapat membantu tim operasi memiliki tampilan tingkat tinggi dari semua beban kerja SageMaker yang tersebar di beberapa akun beban kerja dari satu panel kaca. Ini juga memiliki opsi untuk mengaktifkan Observabilitas lintas akun CloudWatch di seluruh akun beban kerja SageMaker untuk menyediakan akses ke telemetri pemantauan seperti metrik, log, dan pelacakan dari akun pemantauan terpusat. Dasbor contoh ditampilkan di tangkapan layar berikut.
Diagram berikut menunjukkan arsitektur solusi dasbor terpusat ini.
SageMaker memiliki integrasi asli dengan Jembatan Acara Amazon, yang memantau peristiwa perubahan status di SageMaker. EventBridge memungkinkan Anda mengotomatiskan SageMaker dan merespons peristiwa secara otomatis seperti perubahan status pekerjaan pelatihan atau perubahan status titik akhir. Acara dari SageMaker dikirimkan ke EventBridge hampir secara waktu nyata. Untuk informasi selengkapnya tentang peristiwa SageMaker yang dipantau oleh EventBridge, lihat Mengotomatiskan Amazon SageMaker dengan Amazon EventBridge. Selain peristiwa asli SageMaker, AWS CloudTrail memublikasikan peristiwa saat Anda melakukan panggilan API, yang juga dialirkan ke EventBridge sehingga ini dapat digunakan oleh banyak kasus penggunaan otomatisasi atau pemantauan hilir. Dalam solusi kami, kami menggunakan aturan EventBridge di akun beban kerja untuk mengalirkan kejadian layanan SageMaker dan kejadian API ke bus kejadian akun pemantauan untuk pemantauan terpusat.
Di akun pemantauan terpusat, peristiwa ditangkap oleh aturan EventBridge dan diproses lebih lanjut menjadi target yang berbeda:
- Grup log CloudWatch, yang akan digunakan untuk hal berikut:
- Tujuan audit dan pengarsipan. Untuk informasi lebih lanjut, lihat Panduan Pengguna Amazon CloudWatch Logs.
- Menganalisis data log dengan Wawasan CloudWatch Log kueri. CloudWatch Logs Insights memungkinkan Anda mencari dan menganalisis data log secara interaktif di CloudWatch Logs. Anda dapat melakukan kueri untuk membantu Anda merespons masalah operasional dengan lebih efisien dan efektif. Jika terjadi masalah, Anda dapat menggunakan CloudWatch Logs Insights untuk mengidentifikasi potensi penyebab dan memvalidasi perbaikan yang diterapkan.
- Dukungan untuk widget kueri Wawasan Metrik CloudWatch untuk operasi tingkat tinggi di dasbor CloudWatch, menambahkan Kueri Wawasan CloudWatch ke dasbor, dan mengekspor hasil kueri.
- An AWS Lambda berfungsi untuk menyelesaikan tugas-tugas berikut:
- Lakukan logika kustom untuk menambah peristiwa layanan SageMaker. Salah satu contohnya adalah menjalankan kueri metrik pada metrik penggunaan host pekerjaan SageMaker saat peristiwa penyelesaian pekerjaan diterima.
- Mengonversi informasi peristiwa menjadi metrik dalam format log tertentu seperti yang diserap EMF log. Untuk informasi lebih lanjut, lihat Menyematkan metrik dalam log.
Contoh dalam posting ini didukung oleh native Observabilitas lintas akun CloudWatch fitur untuk mencapai metrik lintas akun, log, dan akses pelacakan. Seperti yang ditunjukkan di bagian bawah diagram arsitektur, ini terintegrasi dengan fitur ini untuk mengaktifkan metrik dan log lintas akun. Untuk mengaktifkan ini, izin dan sumber daya yang diperlukan harus dibuat di akun pemantauan dan akun beban kerja sumber.
Anda dapat menggunakan solusi ini untuk akun AWS yang dikelola oleh Organisasi atau akun mandiri. Bagian berikut menjelaskan langkah-langkah untuk setiap skenario. Perhatikan bahwa dalam setiap skenario, langkah-langkah dilakukan di akun AWS yang berbeda. Demi kenyamanan Anda, jenis akun untuk melakukan langkah disorot di awal setiap langkah.
Prasyarat
Sebelum memulai prosedur ini, tiru kode sumber kami dari GitHub repo di lingkungan lokal Anda atau AWS Cloud9. Selain itu, Anda memerlukan yang berikut ini:
Terapkan solusi di lingkungan Organisasi
Jika akun pemantauan dan semua akun beban kerja SageMaker berada di organisasi yang sama, infrastruktur yang diperlukan di akun beban kerja sumber dibuat secara otomatis melalui Formasi AWS Cloud StackSet dari akun manajemen organisasi. Oleh karena itu, penyebaran infrastruktur manual ke akun beban kerja sumber tidak diperlukan. Saat akun baru dibuat atau akun yang sudah ada dipindahkan ke unit organisasi (OU) target, tumpukan infrastruktur beban kerja sumber akan diterapkan secara otomatis dan disertakan dalam cakupan pemantauan terpusat.
Siapkan pemantauan sumber daya akun
Kami perlu mengumpulkan informasi akun AWS berikut untuk menyiapkan sumber daya akun pemantauan, yang kami gunakan sebagai masukan untuk skrip penyiapan nanti.
Memasukkan | Deskripsi Produk | Contoh |
Wilayah Asal | Wilayah tempat beban kerja dijalankan. | ap-southeast-2 |
Memantau akun nama profil AWS CLI | Anda dapat menemukan nama profil dari ~/.aws/config . Ini opsional. Jika tidak disediakan, ini menggunakan kredensial AWS default dari rantai. |
. |
Jalur OU beban kerja SageMaker | Jalur OU yang memiliki akun beban kerja SageMaker. Menjaga / di ujung jalan. |
o-1a2b3c4d5e/r-saaa/ou-saaa-1a2b3c4d/ |
Untuk mengambil jalur OU, Anda dapat membuka konsol Organisasi, dan di bawah akun AWS, temukan informasi untuk membuat jalur OU. Untuk contoh berikut, jalur OU yang sesuai adalah o-ye3wn3kyh6/r-taql/ou-taql-wu7296by/
.
Setelah Anda mengambil informasi ini, jalankan perintah berikut untuk menyebarkan sumber daya yang diperlukan pada akun pemantauan:
Anda bisa mendapatkan output berikut dari deployment. Catat output untuk digunakan pada langkah berikutnya saat menerapkan tumpukan akun manajemen.
Siapkan sumber daya akun pengelolaan
Kami perlu mengumpulkan informasi akun AWS berikut untuk menyiapkan sumber daya akun manajemen, yang kami gunakan sebagai masukan untuk skrip penyiapan nanti.
Memasukkan | Deskripsi Produk | Contoh |
Wilayah Asal | Wilayah tempat beban kerja dijalankan. Ini harus sama dengan tumpukan pemantauan. | ap-southeast-2 |
Akun manajemen nama profil AWS CLI | Anda dapat menemukan nama profil dari ~/.aws/config . Ini opsional. Jika tidak disediakan, ini menggunakan kredensial AWS default dari rantai. |
. |
ID OU beban kerja SageMaker | Di sini kami hanya menggunakan ID OU, bukan jalurnya. | ou-saaa-1a2b3c4d |
Memantau ID akun | ID akun tempat tumpukan pemantauan diterapkan. | . |
Memantau nama peran akun | Keluaran untuk MonitoringAccountRoleName dari langkah sebelumnya. |
. |
Pemantauan akun peristiwa bus ARN | Keluaran untuk MonitoringAccountEventbusARN dari langkah sebelumnya. |
. |
Memantau pengidentifikasi sink akun | Keluaran dari MonitoringAccountSinkIdentifier dari langkah sebelumnya. |
. |
Anda dapat menerapkan sumber daya akun manajemen dengan menjalankan perintah berikut:
Terapkan solusi di lingkungan non-Organisasi
Jika lingkungan Anda tidak menggunakan Organisasi, tumpukan infrastruktur akun pemantauan diterapkan dengan cara yang sama tetapi dengan beberapa perubahan. Namun, tumpukan infrastruktur beban kerja perlu diterapkan secara manual ke setiap akun beban kerja. Oleh karena itu, metode ini cocok untuk lingkungan dengan jumlah akun yang terbatas. Untuk lingkungan yang besar, sebaiknya pertimbangkan untuk menggunakan Organisasi.
Siapkan pemantauan sumber daya akun
Kami perlu mengumpulkan informasi akun AWS berikut untuk menyiapkan sumber daya akun pemantauan, yang kami gunakan sebagai masukan untuk skrip penyiapan nanti.
Memasukkan | Deskripsi Produk | Contoh |
Wilayah Asal | Wilayah tempat beban kerja dijalankan. | ap-southeast-2 |
Daftar akun beban kerja SageMaker | Daftar akun yang menjalankan beban kerja SageMaker dan mengalirkan peristiwa ke akun pemantauan, dipisahkan dengan koma. | 111111111111,222222222222 |
Memantau akun nama profil AWS CLI | Anda dapat menemukan nama profil dari ~/.aws/config . Ini opsional. Jika tidak disediakan, ini menggunakan kredensial AWS default dari rantai. |
. |
Kami dapat menerapkan sumber daya akun pemantauan dengan menjalankan perintah berikut setelah Anda mengumpulkan informasi yang diperlukan:
Kami mendapatkan output berikut saat penerapan selesai. Catat output untuk digunakan pada langkah berikutnya saat menerapkan tumpukan akun manajemen.
Siapkan infrastruktur pemantauan akun beban kerja
Kami perlu mengumpulkan informasi akun AWS berikut untuk menyiapkan infrastruktur pemantauan akun beban kerja, yang kami gunakan sebagai masukan untuk skrip penyiapan nanti.
Memasukkan | Deskripsi Produk | Contoh |
Wilayah Asal | Wilayah tempat beban kerja dijalankan. Ini harus sama dengan tumpukan pemantauan. | ap-southeast-2 |
Memantau ID akun | ID akun tempat tumpukan pemantauan diterapkan. | . |
Memantau nama peran akun | Keluaran untuk MonitoringAccountRoleName dari langkah sebelumnya. |
. |
Pemantauan akun peristiwa bus ARN | Keluaran untuk MonitoringAccountEventbusARN dari langkah sebelumnya. |
. |
Memantau pengidentifikasi sink akun | Keluaran dari MonitoringAccountSinkIdentifier dari langkah sebelumnya. |
. |
Nama profil AWS CLI akun beban kerja | Anda dapat menemukan nama profil dari ~/.aws/config . Ini opsional. Jika tidak disediakan, ini menggunakan kredensial AWS default dari rantai. |
. |
Kami dapat menerapkan sumber daya akun pemantauan dengan menjalankan perintah berikut:
Visualisasikan tugas ML di dasbor CloudWatch
Untuk memeriksa apakah solusi berfungsi, kita perlu menjalankan beberapa tugas pemrosesan SageMaker dan tugas pelatihan SageMaker pada akun beban kerja yang kita gunakan di bagian sebelumnya. Dasbor CloudWatch dapat disesuaikan berdasarkan skenario Anda sendiri. Contoh dasbor kami terdiri dari widget untuk memvisualisasikan tugas Pemrosesan SageMaker dan tugas Pelatihan SageMaker. Semua pekerjaan untuk memantau akun beban kerja ditampilkan di dasbor ini. Di setiap jenis pekerjaan, kami menampilkan tiga widget, yaitu jumlah total pekerjaan, jumlah pekerjaan yang gagal, dan detail setiap pekerjaan. Dalam contoh kami, kami memiliki dua akun beban kerja. Melalui dasbor ini, kami dapat dengan mudah menemukan bahwa satu akun beban kerja memiliki pekerjaan pemrosesan dan pekerjaan pelatihan, dan akun beban kerja lainnya hanya memiliki pekerjaan pelatihan. Seperti fungsi yang kami gunakan di CloudWatch, kami dapat mengatur interval penyegaran, menentukan jenis grafik, dan memperbesar atau memperkecil, atau kami dapat menjalankan tindakan seperti mengunduh log dalam file CSV.
Sesuaikan dasbor Anda
Solusi yang disediakan di repo GitHub mencakup tugas Pelatihan SageMaker dan pemantauan tugas Pemrosesan SageMaker. Jika Anda ingin menambahkan lebih banyak dasbor untuk memantau tugas SageMaker lainnya, seperti tugas transformasi batch, Anda dapat mengikuti petunjuk di bagian ini untuk menyesuaikan dasbor Anda. Dengan memodifikasi file index.py, Anda dapat menyesuaikan bidang yang ingin Anda tampilkan di dasbor. Anda dapat mengakses semua detail yang direkam oleh CloudWatch melalui EventBridge. Di fungsi Lambda, Anda dapat memilih bidang yang diperlukan yang ingin Anda tampilkan di dasbor. Lihat kode berikut:
Untuk menyesuaikan dasbor atau widget, Anda dapat mengubah kode sumber di pemantauan-akun-infra-stack.ts file. Perhatikan bahwa nama bidang yang Anda gunakan dalam file ini harus sama dengan yang (kunci dari job_detail
) ditentukan dalam file Lambda:
Setelah Anda mengubah dasbor, Anda perlu menerapkan ulang solusi ini dari awal. Anda dapat menjalankan notebook Jupyter yang disediakan di repo GitHub untuk menjalankan kembali pipeline SageMaker, yang akan meluncurkan kembali tugas Pemrosesan SageMaker. Saat pekerjaan selesai, Anda dapat pergi ke konsol CloudWatch, dan di bawah Dashboard di panel navigasi, pilih Dasbor Kustom. Anda dapat menemukan dasbor bernama SageMaker-Monitoring-Dashboard.
Membersihkan
Jika Anda tidak lagi memerlukan dasbor khusus ini, Anda dapat membersihkan sumber dayanya. Untuk menghapus semua sumber daya yang dibuat, gunakan kode di bagian ini. Pembersihan sedikit berbeda untuk lingkungan Organisasi vs. lingkungan non-Organisasi.
Untuk lingkungan Organisasi, gunakan kode berikut:
Untuk lingkungan non-Organisasi, gunakan kode berikut:
Atau, Anda dapat masuk ke akun pemantauan, akun beban kerja, dan akun manajemen hapus tumpukan dari konsol CloudFormation.
Kesimpulan
Dalam postingan ini, kami membahas penerapan solusi pemantauan dan pelaporan terpusat untuk SageMaker menggunakan CloudWatch. Dengan mengikuti petunjuk langkah demi langkah yang diuraikan dalam postingan ini, Anda dapat membuat dasbor pemantauan multi-akun yang menampilkan metrik utama dan menggabungkan log yang terkait dengan berbagai pekerjaan SageMaker mereka dari berbagai akun secara real time. Dengan dasbor pemantauan terpusat ini, Anda dapat memiliki visibilitas yang lebih baik ke dalam aktivitas pekerjaan SageMaker di beberapa akun, memecahkan masalah dengan lebih cepat, dan membuat keputusan yang tepat berdasarkan data waktu nyata. Secara keseluruhan, penerapan solusi pemantauan dan pelaporan terpusat menggunakan CloudWatch menawarkan cara yang efisien bagi organisasi untuk mengelola infrastruktur ML berbasis cloud dan pemanfaatan sumber daya.
Silakan coba solusinya dan kirimkan umpan balik kepada kami, baik di forum AWS untuk Amazon SageMaker, atau melalui kontak AWS Anda yang biasa.
Untuk mempelajari lebih lanjut tentang fitur pengamatan lintas akun, silakan merujuk ke blog Observabilitas Lintas Akun Amazon CloudWatch
Tentang Penulis
Ji Dong adalah AWS Cloud Architect yang berbasis di Sydney, Australia. Jie sangat menyukai otomatisasi, dan suka mengembangkan solusi untuk membantu pelanggan meningkatkan produktivitas. Sistem berbasis peristiwa dan kerangka kerja tanpa server adalah keahliannya. Di waktunya sendiri, Jie suka bekerja membangun rumah pintar dan menjelajahi gadget rumah pintar baru.
Melani Li, PhD, adalah TAM Spesialis AI/ML Senior di AWS yang berbasis di Sydney, Australia. Dia membantu pelanggan perusahaan membangun solusi menggunakan alat AI/ML canggih di AWS dan memberikan panduan tentang merancang dan mengimplementasikan solusi ML dengan praktik terbaik. Di waktu luangnya, dia suka menjelajahi alam dan menghabiskan waktu bersama keluarga dan teman.
Gordon Wang, adalah TAM Spesialis AI/ML Senior di AWS. Dia mendukung pelanggan strategis dengan praktik terbaik AI/ML di banyak industri. Dia sangat tertarik dengan visi komputer, NLP, AI Generatif, dan MLOps. Di waktu luangnya, dia suka berlari dan hiking.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Otomotif / EV, Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- ChartPrime. Tingkatkan Game Trading Anda dengan ChartPrime. Akses Di Sini.
- BlockOffset. Modernisasi Kepemilikan Offset Lingkungan. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/build-a-centralized-monitoring-and-reporting-solution-for-amazon-sagemaker-using-amazon-cloudwatch/
- :memiliki
- :adalah
- :bukan
- :Di mana
- $NAIK
- 100
- 11
- 12
- 17
- 24
- 7
- 8
- 9
- a
- Tentang Kami
- mengakses
- Akun
- Akun
- Mencapai
- di seluruh
- tindakan
- kegiatan
- menambahkan
- menambahkan
- tambahan
- Tambahan
- Selain itu
- Menambahkan
- admin
- diadopsi
- Setelah
- lagi
- terhadap
- AI
- AI / ML
- Alerts
- Semua
- memungkinkan
- juga
- Amazon
- Amazon SageMaker
- Amazon Web Services
- an
- menganalisa
- dan
- Lain
- api
- arsitektur
- arsip
- ADALAH
- AS
- At
- audit
- Australia
- Pihak berwenang
- mengotomatisasikan
- secara otomatis
- Otomatisasi
- AWS
- kembali
- berdasarkan
- BE
- menjadi
- Awal
- TERBAIK
- Praktik Terbaik
- Lebih baik
- Blog
- kedua
- Bawah
- membangun
- Bangunan
- bis
- tapi
- by
- Panggilan
- CAN
- Bisa Dapatkan
- ditangkap
- kasus
- penyebab
- terpusat
- tertentu
- rantai
- menantang
- perubahan
- Perubahan
- memeriksa
- Pilih
- Klik
- awan
- Platform Cloud
- kode
- mengumpulkan
- lengkap
- penyelesaian
- luas
- komputer
- Visi Komputer
- Mempertimbangkan
- terdiri
- konsul
- Konsolidasi
- membangun
- kontak
- konteks
- kontrol
- kenyamanan
- Sesuai
- membuat
- dibuat
- Surat kepercayaan
- Cross
- adat
- pelanggan
- pelanggan
- disesuaikan
- menyesuaikan
- dasbor
- dasbor
- data
- keputusan
- Default
- didefinisikan
- disampaikan
- Ketergantungan
- menyebarkan
- dikerahkan
- penggelaran
- penyebaran
- dirancang
- rinci
- rincian
- mengembangkan
- berbeda
- dibahas
- Display
- ditampilkan
- menampilkan
- Tidak
- Dont
- Download
- lamanya
- e
- setiap
- mudah
- efektif
- efisien
- efisien
- antara
- aktif
- memungkinkan
- akhir
- ujung ke ujung
- Titik akhir
- Enterprise
- Lingkungan Hidup
- penting
- Acara
- peristiwa
- contoh
- Kecuali
- menjalankan
- ada
- keahlian
- Menjelaskan
- menyelidiki
- ekspresi
- Gagal
- kegagalan
- Kegagalan
- palsu
- keluarga
- Fitur
- umpan balik
- beberapa
- bidang
- Fields
- File
- menyaring
- Menemukan
- mengikuti
- berikut
- Untuk
- forum
- Kerangka
- teman
- dari
- sepenuhnya
- fungsi
- fungsi
- lebih lanjut
- Selanjutnya
- gadget
- generatif
- AI generatif
- mendapatkan
- GitHub
- kaca
- Go
- pemerintahan
- grafik
- Kelompok
- bimbingan
- Memiliki
- he
- tinggi
- membantu
- membantu
- dia
- tingkat tinggi
- Disorot
- -nya
- sejarah
- Beranda
- tuan rumah
- tuan
- Namun
- HTML
- http
- HTTPS
- ID
- diidentifikasi
- mengenali
- if
- implementasi
- mengimplementasikan
- memperbaiki
- in
- termasuk
- termasuk
- individu
- industri
- informasi
- informasi
- Infrastruktur
- input
- wawasan
- sebagai gantinya
- instruksi
- Terintegrasi
- integrasi
- ke
- isu
- masalah
- IT
- Pekerjaan
- Jobs
- jpg
- hanya
- Menjaga
- kunci
- kunci-kunci
- label
- besar
- kemudian
- jalankan
- BELAJAR
- pengetahuan
- meninggalkan
- Terbatas
- Daftar
- lokal
- mencatat
- logika
- lagi
- melihat
- mencari
- mencintai
- mesin
- Mesin belajar
- membuat
- mengelola
- berhasil
- pengelolaan
- Tim manajemen
- cara
- panduan
- manual
- banyak
- metode
- metrik
- Metrik
- ML
- MLOps
- memodifikasi
- Memantau
- dipantau
- pemantauan
- monitor
- lebih
- terharu
- beberapa
- nama
- Bernama
- nama
- asli
- Alam
- Arahkan
- Navigasi
- perlu
- Perlu
- kebutuhan
- New
- berikutnya
- nLP
- tidak
- None
- buku catatan
- jumlah
- of
- Penawaran
- on
- ONE
- hanya
- operasi
- operasional
- Operasi
- pilihan
- or
- organisasi
- organisatoris
- organisasi
- Lainnya
- kami
- di luar
- diuraikan
- keluaran
- secara keseluruhan
- sendiri
- pane
- parameter
- bergairah
- path
- Melakukan
- dilakukan
- melakukan
- Izin
- phd
- pipa saluran
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- silahkan
- poin
- kebijaksanaan
- Pos
- potensi
- praktek
- menyajikan
- sebelumnya
- Prosedur
- Diproses
- pengolahan
- produktifitas
- Profil
- memberikan
- disediakan
- menyediakan
- Terbit
- tujuan
- Dorong
- query
- segera
- nyata
- real-time
- data waktu nyata
- diterima
- direkomendasikan
- wilayah
- terkait
- relevan
- Pelaporan
- wajib
- Persyaratan
- sumber
- Sumber
- Menanggapi
- Hasil
- benar
- Peran
- Aturan
- aturan
- Run
- berjalan
- pembuat bijak
- sama
- skala
- skenario
- skenario
- cakupan
- menggaruk
- Pencarian
- Bagian
- bagian
- melihat
- mengirim
- senior
- terpisah
- melayani
- Tanpa Server
- layanan
- Layanan
- set
- penyiapan
- Share
- berbagi
- dia
- harus
- Menunjukkan
- ditunjukkan
- Pertunjukkan
- mirip
- menyederhanakan
- tunggal
- sedikit berbeda
- pintar
- Rumah Pintar
- So
- larutan
- Solusi
- sumber
- kode sumber
- spesialis
- menghabiskan
- penyebaran
- tumpukan
- ditumpuk
- Tumpukan
- standalone
- Mulai
- state-of-the-art
- Status
- Langkah
- Tangga
- Strategis
- aliran
- stream
- seperti itu
- cocok
- Didukung
- Mendukung
- sydney
- sistem
- tabel
- target
- target
- tugas
- tim
- tim
- bahwa
- Grafik
- Grafik
- informasi
- Sumber
- mereka
- Mereka
- Sana.
- karena itu
- Ini
- ini
- itu
- tiga
- Melalui
- waktu
- Judul
- untuk
- alat
- Total
- Jejak
- jalur
- Pelatihan
- Mengubah
- benar
- mencoba
- dua
- mengetik
- bawah
- Tiba-tiba
- satuan
- us
- penggunaan
- menggunakan
- bekas
- Pengguna
- Pengguna
- kegunaan
- menggunakan
- dimanfaatkan
- MENGESAHKAN
- nilai
- berbagai
- melalui
- View
- jarak penglihatan
- penglihatan
- vs
- ingin
- Cara..
- we
- jaringan
- layanan web
- Apa
- ketika
- yang
- lebar
- akan
- dengan
- dalam
- Kerja
- bekerja
- Kamu
- Anda
- zephyrnet.dll
- zoom