Pembelajaran mesin (ML) merevolusi solusi di seluruh industri dan mendorong bentuk wawasan dan kecerdasan baru dari data. Banyak algoritma ML berlatih pada kumpulan data besar, menggeneralisasi pola yang ditemukan dalam data dan menyimpulkan hasil dari pola tersebut saat catatan baru yang tidak terlihat diproses. Biasanya, jika kumpulan data atau model terlalu besar untuk dilatih pada satu instans, pelatihan terdistribusi memungkinkan beberapa instance dalam sebuah cluster untuk digunakan dan mendistribusikan data atau partisi model ke seluruh instance tersebut selama proses pelatihan. Dukungan asli untuk pelatihan terdistribusi ditawarkan melalui Amazon SageMaker SDK, bersama dengan contoh buku catatan dalam kerangka populer.
Namun, terkadang karena peraturan keamanan dan privasi di dalam atau antar organisasi, data didesentralisasikan ke beberapa akun atau di Wilayah yang berbeda dan tidak dapat dipusatkan ke dalam satu akun atau antar Wilayah. Dalam hal ini, pembelajaran gabungan (FL) harus dipertimbangkan untuk mendapatkan model yang digeneralisasikan pada keseluruhan data.
Dalam postingan ini, kami membahas cara menerapkan pembelajaran gabungan di Amazon SageMaker untuk menjalankan ML dengan data pelatihan terdesentralisasi.
Apa itu pembelajaran gabungan?
Pembelajaran gabungan adalah pendekatan ML yang memungkinkan beberapa sesi pelatihan terpisah berjalan secara paralel untuk melintasi batas-batas yang luas, misalnya secara geografis, dan menggabungkan hasilnya untuk membangun model umum (model global) dalam prosesnya. Lebih khusus lagi, setiap sesi pelatihan menggunakan kumpulan datanya sendiri dan mendapatkan model lokalnya sendiri. Model lokal dalam sesi pelatihan yang berbeda akan digabungkan (misalnya, agregasi bobot model) menjadi model global selama proses pelatihan. Pendekatan ini berbeda dengan teknik ML terpusat yang menggabungkan kumpulan data untuk satu sesi pelatihan.
Pembelajaran gabungan vs. pelatihan terdistribusi di cloud
Ketika kedua pendekatan ini berjalan di cloud, pelatihan terdistribusi terjadi di satu Wilayah pada satu akun, dan data pelatihan dimulai dengan sesi pelatihan atau tugas terpusat. Selama proses pelatihan terdistribusi, kumpulan data dipecah menjadi subkumpulan yang lebih kecil dan, bergantung pada strateginya (paralelisme data atau paralelisme model), subkumpulan tersebut dikirim ke node pelatihan yang berbeda atau melalui node dalam kluster pelatihan, yang berarti data individual tidak harus dikirim ke node pelatihan yang berbeda. tinggal di satu node cluster.
Sebaliknya, dengan pembelajaran gabungan, pelatihan biasanya dilakukan di beberapa akun terpisah atau antar Wilayah. Setiap akun atau Wilayah memiliki contoh pelatihannya sendiri. Data pelatihan didesentralisasi di seluruh akun atau Wilayah dari awal hingga akhir, dan data individual hanya dibaca oleh sesi pelatihan atau tugas masing-masing antar akun atau Wilayah yang berbeda selama proses pembelajaran gabungan.
Kerangka pembelajaran federasi bunga
Beberapa kerangka kerja sumber terbuka tersedia untuk pembelajaran gabungan, seperti TAKDIR, Bunga, PySyft, OpenFL, FedML, NVFlare, dan Federasi Tensorflow. Saat memilih kerangka FL, kami biasanya mempertimbangkan dukungannya untuk kategori model, kerangka ML, dan perangkat atau sistem operasi. Kita juga perlu mempertimbangkan ekstensibilitas dan ukuran paket kerangka FL agar dapat menjalankannya di cloud secara efisien. Dalam postingan ini, kami memilih kerangka kerja yang mudah diperluas, disesuaikan, dan ringan, Flower, untuk melakukan implementasi FL menggunakan SageMaker.
Flower adalah kerangka FL komprehensif yang membedakan dirinya dari kerangka kerja yang ada dengan menawarkan fasilitas baru untuk menjalankan eksperimen FL skala besar, dan memungkinkan skenario perangkat FL yang sangat heterogen. FL memecahkan tantangan terkait privasi data dan skalabilitas dalam skenario di mana berbagi data tidak mungkin dilakukan.
Prinsip desain dan implementasi Flower FL
Flower FL dirancang tanpa bahasa dan tanpa kerangka kerja ML, dapat diperluas sepenuhnya, dan dapat menggabungkan algoritme yang muncul, strategi pelatihan, dan protokol komunikasi. Flower bersumber terbuka di bawah Lisensi Apache 2.0.
Arsitektur konseptual implementasi FL dijelaskan dalam makalah ini Bunga: Kerangka Pembelajaran Federasi yang bersahabat dan disorot pada gambar berikut.
Dalam arsitektur ini, klien edge tinggal di perangkat edge nyata dan berkomunikasi dengan server melalui RPC. Klien virtual, di sisi lain, menggunakan hampir nol sumber daya saat tidak aktif dan hanya memuat model dan data ke dalam memori saat klien dipilih untuk pelatihan atau evaluasi.
Server Flower membangun strategi dan konfigurasi untuk dikirim ke klien Flower. Ini membuat serial kamus konfigurasi ini (atau konfigurasi dikt singkatnya) ke representasi ProtoBuf, memindahkannya ke klien menggunakan gRPC, lalu membatalkan serialisasinya kembali ke kamus Python.
Strategi Bunga FL
Flower memungkinkan penyesuaian proses pembelajaran melalui abstraksi strategi. Strategi ini mendefinisikan seluruh proses federasi yang menentukan inisialisasi parameter (apakah itu diinisialisasi server atau klien), jumlah minimum klien yang tersedia yang diperlukan untuk menginisialisasi proses, bobot kontribusi klien, serta detail pelatihan dan evaluasi.
Flower memiliki implementasi ekstensif algoritma rata-rata FL dan tumpukan komunikasi yang kuat. Untuk daftar penerapan algoritma rata-rata dan makalah penelitian terkait, lihat tabel berikut, dari Bunga: Kerangka Pembelajaran Federasi yang bersahabat.
Pembelajaran gabungan dengan SageMaker: Arsitektur solusi
Arsitektur pembelajaran gabungan menggunakan SageMaker dengan kerangka Flower diimplementasikan pada aliran gRPC (fondasi) dua arah. gRPC mendefinisikan jenis pesan yang dipertukarkan dan menggunakan kompiler untuk kemudian menghasilkan implementasi yang efisien untuk Python, namun gRPC juga dapat menghasilkan implementasi untuk bahasa lain, seperti Java atau C++.
Klien Flower menerima instruksi (pesan) sebagai array byte mentah melalui jaringan. Kemudian klien melakukan deserialisasi dan menjalankan instruksi (pelatihan data lokal). Hasilnya (parameter model dan bobot) kemudian diserialkan dan dikomunikasikan kembali ke server.
Arsitektur server/klien untuk Flower FL ditentukan di SageMaker menggunakan instance notebook di akun berbeda di Wilayah yang sama dengan server Flower dan klien Flower. Strategi pelatihan dan evaluasi ditentukan di server serta parameter global, kemudian konfigurasi diserialkan dan dikirim ke klien melalui peering VPC.
Klien instans notebook memulai tugas pelatihan SageMaker yang menjalankan skrip khusus untuk memicu pembuatan instance klien Flower, yang melakukan deserialisasi dan membaca konfigurasi server, memicu tugas pelatihan, dan mengirimkan respons parameter.
Langkah terakhir terjadi di server ketika evaluasi parameter agregat baru dipicu setelah selesainya jumlah proses dan klien yang ditentukan pada strategi server. Evaluasi dilakukan pada kumpulan data pengujian yang hanya ada di server, dan metrik akurasi baru yang ditingkatkan dihasilkan.
Diagram berikut menggambarkan arsitektur pengaturan FL pada SageMaker dengan paket Flower.
Menerapkan pembelajaran gabungan menggunakan SageMaker
SageMaker adalah layanan ML yang dikelola sepenuhnya. Dengan SageMaker, ilmuwan dan pengembang data dapat dengan cepat membangun dan melatih model ML, lalu menerapkannya ke dalam lingkungan host yang siap produksi.
Dalam postingan ini, kami mendemonstrasikan cara menggunakan platform ML terkelola untuk menyediakan lingkungan pengalaman notebook dan melakukan pembelajaran gabungan di seluruh akun AWS, menggunakan tugas pelatihan SageMaker. Data pelatihan mentah tidak pernah meninggalkan akun pemilik data tersebut dan hanya bobot turunan yang dikirim melalui koneksi yang di-peering.
Kami menyoroti komponen inti berikut dalam posting ini:
- jaringan โ SageMaker memungkinkan pengaturan cepat konfigurasi jaringan default sekaligus memungkinkan Anda menyesuaikan jaringan sepenuhnya tergantung pada kebutuhan organisasi Anda. Kami menggunakan a Konfigurasi peering VPC dalam Wilayah dalam contoh ini.
- Pengaturan akses lintas akun โ Untuk memungkinkan pengguna di akun server memulai pekerjaan pelatihan model di akun klien, kami mendelegasikan akses di seluruh akun menggunakan Identitas AWS dan Manajemen Akses (IAM) peran. Dengan cara ini, pengguna di akun server tidak perlu keluar dari akun dan masuk ke akun klien untuk melakukan tindakan di SageMaker. Pengaturan ini hanya untuk tujuan memulai pekerjaan pelatihan SageMaker, dan tidak memiliki izin akses atau berbagi data lintas akun.
- Menerapkan kode klien pembelajaran gabungan di akun klien dan kode server di akun server โ Kami menerapkan kode klien pembelajaran gabungan di akun klien dengan menggunakan paket Flower dan pelatihan yang dikelola SageMaker. Sedangkan kode server kami implementasikan pada akun server dengan menggunakan paket Flower.
Siapkan peering VPC
Koneksi peering VPC adalah koneksi jaringan antara dua VPC yang memungkinkan Anda merutekan lalu lintas di antara keduanya menggunakan alamat IPv4 pribadi atau alamat IPv6. Instance di VPC mana pun dapat berkomunikasi satu sama lain seolah-olah berada dalam jaringan yang sama.
Untuk menyiapkan koneksi peering VPC, pertama-tama buatlah permintaan untuk melakukan peering dengan VPC lain. Anda dapat meminta koneksi peering VPC dengan VPC lain di akun yang sama, atau dalam kasus penggunaan kami, terhubung dengan VPC di akun AWS yang berbeda. Untuk mengaktifkan permintaan tersebut, pemilik VPC harus menerima permintaan tersebut. Untuk detail lebih lanjut tentang peering VPC, lihat Buat koneksi peering VPC.
Luncurkan instans notebook SageMaker di VPC
Instance notebook SageMaker menyediakan aplikasi notebook Jupyter melalui ML yang terkelola sepenuhnya Cloud komputasi elastis Amazon (Amazon EC2) misalnya. Notebook SageMaker Jupyter digunakan untuk melakukan eksplorasi data tingkat lanjut, membuat tugas pelatihan, menerapkan model ke hosting SageMaker, dan menguji atau memvalidasi model Anda.
Mesin virtual notebook memiliki beragam konfigurasi jaringan yang tersedia untuknya. Dalam pengaturan ini, kami menjalankan instance notebook dalam subnet pribadi VPC dan tidak memiliki akses internet langsung.
Konfigurasikan pengaturan akses lintas akun
Pengaturan akses lintas akun mencakup dua langkah untuk mendelegasikan akses dari akun server ke akun klien dengan menggunakan IAM role:
- Buat peran IAM di akun klien.
- Berikan akses ke peran di akun server.
Untuk mengetahui langkah-langkah mendetail dalam menyiapkan skenario serupa, lihat Delegasikan akses di seluruh akun AWS menggunakan IAM role.
Di akun klien, kami membuat peran IAM yang disebut FL-kickoff-client-job
dengan kebijakan FL-sagemaker-actions
melekat pada peran tersebut. Itu FL-sagemaker-actions
kebijakan memiliki konten JSON sebagai berikut:
Kami kemudian mengubah kebijakan kepercayaan dalam hubungan kepercayaan FL-kickoff-client-job
wewenang:
Di akun server, izin ditambahkan ke pengguna yang sudah ada (misalnya, developer
) untuk memungkinkan peralihan ke FL-kickoff-client-job
peran dalam akun klien. Untuk melakukan ini, kami membuat kebijakan inline yang disebut FL-allow-kickoff-client-job
dan melampirkannya ke pengguna. Berikut ini adalah konten kebijakan JSON:
Contoh kumpulan data dan persiapan data
Dalam posting ini, kami menggunakan file kumpulan data yang dikurasi untuk deteksi penipuan dalam data penyedia Medicare yang dirilis oleh Pusat Layanan Medicare & Medicaid (CMS). Data dibagi menjadi kumpulan data pelatihan dan kumpulan data pengujian. Karena sebagian besar datanya bukan penipuan, kami mengajukan permohonan HALUS untuk menyeimbangkan kumpulan data pelatihan, dan selanjutnya membagi kumpulan data pelatihan menjadi bagian pelatihan dan validasi. Data pelatihan dan validasi diunggah ke an Layanan Penyimpanan Sederhana Amazon (Amazon S3) untuk pelatihan model di akun klien, dan kumpulan data pengujian digunakan di akun server untuk tujuan pengujian saja. Detail kode penyiapan datanya adalah sebagai berikut buku catatan.
Dengan SageMaker gambar Docker yang dibuat sebelumnya untuk kerangka scikit-learn dan proses pelatihan yang dikelola SageMaker, kami melatih model regresi logistik pada kumpulan data ini menggunakan pembelajaran gabungan.
Menerapkan klien pembelajaran gabungan di akun klien
Dalam contoh notebook SageMaker akun klien, kami menyiapkan a klien.py naskah dan a utils.py naskah. NS client.py
file berisi kode untuk klien, dan utils.py
File berisi kode untuk beberapa fungsi utilitas yang akan diperlukan untuk pelatihan kita. Kami menggunakan paket scikit-learn untuk membangun model regresi logistik.
In client.py
, kami mendefinisikan klien Flower. Klien berasal dari kelas fl.client.NumPyClient. Ini perlu mendefinisikan tiga metode berikut:
- dapatkan_parameter โ Ini mengembalikan parameter model lokal saat ini. Fungsi utilitas
get_model_parameters
akan melakukan ini. - cocok โ Ini menentukan langkah-langkah untuk melatih model pada data pelatihan di akun klien. Ia juga menerima parameter model global dan informasi konfigurasi lainnya dari server. Kami memperbarui parameter model lokal menggunakan parameter global yang diterima dan terus melatihnya pada kumpulan data di akun klien. Metode ini juga mengirimkan parameter model lokal setelah pelatihan, ukuran set pelatihan, dan kamus yang mengkomunikasikan nilai arbitrer kembali ke server.
- mengevaluasi โ Ini mengevaluasi parameter yang disediakan menggunakan data validasi di akun klien. Ini mengembalikan kerugian bersama dengan detail lainnya seperti ukuran set validasi dan akurasi kembali ke server.
Berikut ini cuplikan kode untuk definisi klien Flower:
Kami kemudian menggunakan SageMaker mode skrip untuk menyiapkan sisanya client.py
mengajukan. Hal ini termasuk menentukan parameter yang akan diteruskan ke pelatihan SageMaker, memuat data pelatihan dan validasi, menginisialisasi dan melatih model pada klien, menyiapkan klien Flower untuk berkomunikasi dengan server, dan terakhir menyimpan model yang dilatih.
utils.py
mencakup beberapa fungsi utilitas yang dipanggil client.py
:
- dapatkan_model_parameter โ Ini mengembalikan scikit-learn Regresi logistik parameter model.
- set_model_params โ Ini menetapkan parameter model.
- set_initial_params โ Ini menginisialisasi parameter model sebagai nol. Hal ini diperlukan karena server meminta parameter model awal dari klien saat peluncuran. Namun, dalam kerangka scikit-learn,
LogisticRegression
parameter model tidak diinisialisasi sampaimodel.fit()
disebut. - memuat_data โ Ini memuat data pelatihan dan pengujian.
- simpan_model โ Ini menghemat model sebagai a
.joblib
file.
Karena Flower bukan paket yang terinstal di dalamnya Kontainer Docker scikit-learn SageMaker yang dibuat sebelumnya, kami daftar flwr==1.3.0
dalam requirements.txt
file.
Kami meletakkan ketiga file (client.py
, utils.py
, dan requirements.txt
) di bawah folder dan tar zip. File .tar.gz (bernama source.tar.gz
dalam postingan ini) kemudian diunggah ke bucket S3 di akun klien.
Menerapkan server pembelajaran gabungan di akun server
Di akun server, kami menyiapkan kode pada notebook Jupyter. Ini mencakup dua bagian: server pertama-tama mengambil peran untuk memulai tugas pelatihan di akun klien, kemudian server menggabungkan model menggunakan Flower.
Ambil peran untuk menjalankan tugas pelatihan di akun klien
Kami menggunakan SDK Boto3 Python untuk menyiapkan Layanan Token Keamanan AWS (AWS STS) klien untuk mengasumsikan FL-kickoff-client-job
peran dan menyiapkan klien SageMaker untuk menjalankan tugas pelatihan di akun klien dengan menggunakan proses pelatihan terkelola SageMaker:
Dengan menggunakan peran yang diasumsikan, kami membuat pekerjaan pelatihan SageMaker di akun klien. Pekerjaan pelatihan menggunakan kerangka scikit-learn bawaan SageMaker. Perhatikan bahwa semua bucket S3 dan IAM role SageMaker dalam cuplikan kode berikut terkait dengan akun klien:
Gabungkan model lokal menjadi model global menggunakan Flower
Kami menyiapkan kode untuk menggabungkan model di server. Hal ini termasuk menentukan strategi federasi dan parameter inisialisasinya. Kami menggunakan fungsi utilitas di utils.py
skrip yang dijelaskan sebelumnya untuk menginisialisasi dan mengatur parameter model. Flower memungkinkan Anda menentukan fungsi panggilan balik Anda sendiri untuk menyesuaikan strategi yang ada. Kami menggunakan Rata-Rata Fed strategi dengan panggilan balik khusus untuk evaluasi dan konfigurasi kecocokan. Lihat kode berikut:
Dua fungsi berikut disebutkan dalam cuplikan kode sebelumnya:
- fit_round โ Digunakan untuk mengirim nomor bulat ke klien. Kami meneruskan panggilan balik ini sebagai
on_fit_config_fn
parameter strategi. Kami melakukan ini hanya untuk mendemonstrasikan penggunaanon_fit_config_fn
parameter. - dapatkan_evaluasi_fn โ Ini digunakan untuk evaluasi model di server.
Untuk tujuan demo, kami menggunakan kumpulan data pengujian yang kami sisihkan dalam persiapan data untuk mengevaluasi model yang digabungkan dari akun klien dan mengomunikasikan hasilnya kembali ke klien. Namun, perlu diperhatikan bahwa di hampir semua kasus penggunaan nyata, data yang digunakan di akun server tidak dipisahkan dari kumpulan data yang digunakan di akun klien.
Setelah proses pembelajaran gabungan selesai, a model.tar.gz
File disimpan oleh SageMaker sebagai artefak model dalam bucket S3 di akun klien. Sementara itu, a model.joblib
file disimpan pada instance notebook SageMaker di akun server. Terakhir, kami menggunakan kumpulan data pengujian untuk menguji model akhir (model.joblib
) di server. Output pengujian model akhir adalah sebagai berikut:
Membersihkan
Setelah Anda selesai, bersihkan sumber daya di akun server dan akun klien untuk menghindari biaya tambahan:
- Hentikan instans notebook SageMaker.
- Hapus koneksi peering VPC dan VPC terkait.
- Kosongkan dan hapus bucket S3 yang Anda buat untuk penyimpanan data.
Kesimpulan
Dalam postingan ini, kami membahas cara mengimplementasikan pembelajaran gabungan di SageMaker dengan menggunakan paket Flower. Kami menunjukkan cara mengonfigurasi peering VPC, menyiapkan akses lintas akun, dan mengimplementasikan klien dan server FL. Postingan ini berguna bagi mereka yang perlu melatih model ML di SageMaker menggunakan data terdesentralisasi di seluruh akun dengan pembagian data terbatas. Karena FL dalam postingan ini diimplementasikan menggunakan SageMaker, perlu dicatat bahwa lebih banyak fitur di SageMaker yang dapat dimasukkan ke dalam proses.
Menerapkan pembelajaran gabungan di SageMaker dapat memanfaatkan semua fitur lanjutan yang disediakan SageMaker melalui siklus hidup ML. Ada cara lain untuk mencapai atau menerapkan pembelajaran gabungan di AWS Cloud, seperti menggunakan instans EC2 atau di edge. Untuk rincian tentang pendekatan alternatif ini, lihat Pembelajaran Federasi di AWS dengan FedML dan Menerapkan Pembelajaran Federasi untuk ML di Edge.
Tentang penulis
Sherly Ding adalah arsitek solusi spesialis AI/ML senior di Amazon Web Services (AWS). Dia memiliki pengalaman luas dalam pembelajaran mesin dengan gelar PhD di bidang ilmu komputer. Dia terutama bekerja dengan pelanggan sektor publik dalam berbagai tantangan bisnis terkait AI/ML, membantu mereka mempercepat perjalanan pembelajaran mesin mereka di AWS Cloud. Saat tidak membantu pelanggan, dia menikmati aktivitas di luar ruangan.
Lorea Arrizabalaga adalah Arsitek Solusi yang selaras dengan Sektor Publik Inggris Raya, di mana dia membantu pelanggan merancang solusi ML dengan Amazon SageMaker. Dia juga merupakan bagian dari Komunitas Lapangan Teknis yang didedikasikan untuk akselerasi perangkat keras dan membantu pengujian dan pembandingan beban kerja AWS Inferentia dan AWS Trainium.
Ben Snive adalah Arsitek Solusi Spesialis Utama Senior Sektor Publik AWS. Dia bekerja dengan pelanggan pemerintah, nirlaba, dan pendidikan pada proyek big data, analitis, dan AI/ML, membantu mereka membangun solusi menggunakan AWS.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Otomotif / EV, Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- ChartPrime. Tingkatkan Game Trading Anda dengan ChartPrime. Akses Di Sini.
- BlockOffset. Modernisasi Kepemilikan Offset Lingkungan. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/machine-learning-with-decentralized-training-data-using-federated-learning-on-amazon-sagemaker/
- :memiliki
- :adalah
- :bukan
- :Di mana
- $NAIK
- 1
- 10
- 100
- 11
- 12
- 15%
- 24
- 25
- 500
- 7
- a
- Tentang Kami
- mempercepat
- Setuju
- mengakses
- Akun
- Akun
- ketepatan
- Mencapai
- di seluruh
- Tindakan
- tindakan
- kegiatan
- menambahkan
- Tambahan
- alamat
- maju
- Keuntungan
- Setelah
- agregat
- pengumpulan
- AI / ML
- algoritma
- selaras
- Semua
- mengizinkan
- Membiarkan
- memungkinkan
- sepanjang
- juga
- alternatif
- Amazon
- Amazon EC2
- Amazon SageMaker
- Amazon Web Services
- Layanan Web Amazon (AWS)
- an
- Analytical
- dan
- Lain
- Apa pun
- Apache
- aplikasi
- Mendaftar
- pendekatan
- pendekatan
- arsitektur
- ADALAH
- AS
- terkait
- menganggap
- diasumsikan
- mengasumsikan
- At
- melampirkan
- tersedia
- rata-rata
- menghindari
- AWS
- Inferensi AWS
- kembali
- Saldo
- BE
- karena
- sebelum
- Awal
- makhluk
- benchmarking
- antara
- Besar
- Big data
- kedua
- batas-batas
- Terbawa
- membangun
- membangun
- built-in
- bisnis
- tapi
- by
- C + +
- bernama
- CAN
- kasus
- kasus
- Kategori
- terpusat
- tantangan
- beban
- Pilih
- memilih
- kelas
- klien
- klien
- Penyelesaian
- awan
- Kelompok
- cm
- kode
- menyampaikan
- berkomunikasi
- Komunikasi
- masyarakat
- penyelesaian
- komponen
- luas
- menghitung
- komputer
- Komputer Ilmu
- konseptual
- kondisi
- konfigurasi
- Terhubung
- terhubung
- koneksi
- Koneksi
- Mempertimbangkan
- dianggap
- memakan
- mengandung
- Konten
- terus
- kontras
- kontribusi
- Core
- Sesuai
- membuat
- dibuat
- Surat kepercayaan
- terbaru
- adat
- pelanggan
- disesuaikan
- kustomisasi
- menyesuaikan
- data
- akses data
- Persiapan data
- privasi data
- berbagi data
- penyimpanan data
- kumpulan data
- Terdesentralisasi
- dedicated
- Default
- menetapkan
- didefinisikan
- Mendefinisikan
- mendefinisikan
- definisi
- Derajat
- demo
- mendemonstrasikan
- Tergantung
- menyebarkan
- Berasal
- dijelaskan
- Mendesain
- terperinci
- rincian
- Deteksi
- pengembang
- alat
- Devices
- berbeda
- langsung
- membahas
- mendistribusikan
- didistribusikan
- pelatihan terdistribusi
- do
- Buruh pelabuhan
- Tidak
- dilakukan
- Dont
- penggerak
- dua
- selama
- setiap
- Terdahulu
- mudah
- Tepi
- Pendidikan
- efek
- efisien
- efisien
- antara
- muncul
- memungkinkan
- akhir
- Seluruh
- Lingkungan Hidup
- mengevaluasi
- evaluasi
- contoh
- dipertukarkan
- ada
- pengalaman
- eksperimen
- eksplorasi
- luas
- Pengalaman yang luas
- fasilitas
- Fitur
- Federasi
- beberapa
- bidang
- Angka
- File
- File
- terakhir
- Akhirnya
- menemukan
- Pertama
- cocok
- berikut
- berikut
- Untuk
- bentuk
- Prinsip Dasar
- Kerangka
- kerangka
- penipuan
- deteksi penipuan
- ramah
- dari
- sepenuhnya
- fungsi
- fungsi
- lebih lanjut
- menghasilkan
- mendapatkan
- Aksi
- Go
- Pemerintah
- tangan
- Terjadi
- Perangkat keras
- Memiliki
- he
- membantu
- membantu
- Menyoroti
- Disorot
- host
- tuan
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- Namun
- HTML
- http
- HTTPS
- identitas
- if
- menggambarkan
- gambar
- melaksanakan
- implementasi
- diimplementasikan
- ditingkatkan
- in
- non-aktif
- memasukkan
- termasuk
- menggabungkan
- sendiri-sendiri
- industri
- informasi
- mulanya
- wawasan
- diinstal
- contoh
- instruksi
- Intelijen
- Antarmuka
- Internet
- Akses internet
- ke
- IT
- NYA
- Diri
- Jawa
- Pekerjaan
- Jobs
- perjalanan
- jpg
- json
- l2
- Bahasa
- besar
- besar-besaran
- Terakhir
- jalankan
- pengetahuan
- Lisensi
- siklus hidup
- ringan
- Daftar
- hidup
- memuat
- pemuatan
- beban
- lokal
- lepas
- Lot
- mesin
- Mesin belajar
- terutama
- Mayoritas
- berhasil
- banyak
- cara
- Sementara itu
- Mengobati
- Memori
- tersebut
- pesan
- metode
- metode
- Metrik
- minimum
- ML
- model
- model
- memodifikasi
- lebih
- beberapa
- harus
- Bernama
- asli
- perlu
- Perlu
- dibutuhkan
- kebutuhan
- jaringan
- jaringan
- tak pernah
- New
- baru saja
- berikutnya
- simpul
- node
- nirlaba
- buku catatan
- mencatat
- jumlah
- of
- ditawarkan
- menawarkan
- on
- ONE
- hanya
- open source
- operasi
- or
- urutan
- organisasi
- Lainnya
- kami
- di luar
- keluaran
- lebih
- sendiri
- pemilik
- memiliki
- paket
- kertas
- dokumen
- Paralel
- parameter
- parameter
- bagian
- bagian
- lulus
- Lulus
- pola
- buah pir
- Melakukan
- izin
- Izin
- phd
- Tempat
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- kebijaksanaan
- Populer
- mungkin
- Pos
- persiapan
- Mempersiapkan
- Utama
- prinsip-prinsip
- pribadi
- swasta
- proses
- Diproses
- Diproduksi
- memprojeksikan
- protokol
- memberikan
- disediakan
- menyediakan
- publik
- tujuan
- menempatkan
- Ular sanca
- Cepat
- segera
- Mentah
- Baca
- nyata
- menerima
- diterima
- menerima
- arsip
- wilayah
- daerah
- peraturan
- terkait
- Hubungan
- dirilis
- perwakilan
- permintaan
- wajib
- Persyaratan
- penelitian
- sumber
- Sumber
- itu
- tanggapan
- ISTIRAHAT
- terbatas
- mengakibatkan
- Hasil
- kembali
- Pengembalian
- Merevolusi
- kuat
- Peran
- peran
- akar
- bulat
- putaran
- Rute
- Run
- berjalan
- berjalan
- pembuat bijak
- sama
- penghematan
- Skalabilitas
- skenario
- skenario
- Ilmu
- ilmuwan
- scikit-belajar
- SDK
- sektor
- keamanan
- token keamanan
- melihat
- terpilih
- DIRI
- mengirim
- mengirimkan
- senior
- mengirim
- terpisah
- layanan
- Layanan
- Sidang
- sesi
- set
- set
- pengaturan
- pengaturan
- penyiapan
- berbagi
- dia
- Pendek
- harus
- menunjukkan
- menandatangani
- mirip
- Sederhana
- hanya
- tunggal
- Ukuran
- lebih kecil
- potongan
- So
- larutan
- Solusi
- Memecahkan
- beberapa
- spesialis
- Secara khusus
- membagi
- tumpukan
- berdiri
- awal
- Mulai
- dimulai
- Pernyataan
- tinggal
- Langkah
- Tangga
- penyimpanan
- strategi
- Penyelarasan
- stream
- subnet
- subnet
- seperti itu
- mendukung
- sistem
- tabel
- Mengambil
- Dibutuhkan
- Teknis
- teknik
- tensorflow
- uji
- pengujian
- bahwa
- Grafik
- Inggris
- mereka
- Mereka
- kemudian
- Sana.
- Ini
- mereka
- ini
- itu
- tiga
- Melalui
- untuk
- bersama
- token
- terlalu
- puncak
- lalu lintas
- Pelatihan VE
- terlatih
- Pelatihan
- memicu
- dipicu
- Kepercayaan
- dua
- jenis
- Uk
- bawah
- sampai
- Memperbarui
- upload
- atas
- menggunakan
- gunakan case
- bekas
- Pengguna
- kegunaan
- menggunakan
- biasanya
- kegunaan
- MENGESAHKAN
- pengesahan
- Nilai - Nilai
- variasi
- berbagai
- versi
- melalui
- maya
- vs
- berjalan
- Cara..
- cara
- we
- jaringan
- layanan web
- berat
- BAIK
- ketika
- apakah
- yang
- sementara
- SIAPA
- seluruh
- akan
- dengan
- dalam
- bekerja
- bernilai
- Kamu
- Anda
- zephyrnet.dll
- nol
- Zip