Postingan ini telah ditulis bekerja sama dengan Ankur Goyal dan Karthikeyan Chokappa dari bisnis Cloud & Digital PwC Australia.
Kecerdasan buatan (AI) dan pembelajaran mesin (ML) menjadi bagian integral dari sistem dan proses, memungkinkan pengambilan keputusan secara real-time, sehingga mendorong peningkatan kinerja atas dan bawah di seluruh organisasi. Namun, menerapkan model ML ke dalam produksi dalam skala besar merupakan suatu tantangan dan memerlukan serangkaian praktik terbaik. Banyak bisnis sudah memiliki ilmuwan data dan teknisi ML yang dapat membuat model tercanggih, namun membawa model ke tahap produksi dan mempertahankan model dalam skala besar masih menjadi sebuah tantangan. Alur kerja manual membatasi operasi siklus hidup ML sehingga memperlambat proses pengembangan, meningkatkan biaya, dan menurunkan kualitas produk akhir.
Operasi pembelajaran mesin (MLOps) menerapkan prinsip DevOps pada sistem ML. Sama seperti DevOps yang menggabungkan pengembangan dan operasi untuk rekayasa perangkat lunak, MLOps menggabungkan rekayasa ML dan operasi TI. Dengan pesatnya pertumbuhan sistem ML dan dalam konteks rekayasa ML, MLOps memberikan kemampuan yang diperlukan untuk menangani kompleksitas unik penerapan praktis sistem ML. Secara keseluruhan, kasus penggunaan ML memerlukan solusi terintegrasi yang tersedia untuk melakukan industrialisasi dan menyederhanakan proses yang menggunakan model ML mulai dari pengembangan hingga penerapan produksi dalam skala besar menggunakan MLOps.
Untuk mengatasi tantangan pelanggan ini, PwC Australia mengembangkan Machine Learning Ops Accelerator sebagai serangkaian proses standar dan kemampuan teknologi untuk meningkatkan operasionalisasi model AI/ML yang memungkinkan kolaborasi lintas fungsi antar tim di seluruh siklus operasi ML. Akselerator Operasi Pembelajaran Mesin PwC, yang dibangun di atas layanan asli AWS, memberikan solusi sesuai tujuan yang mudah diintegrasikan ke dalam kasus penggunaan ML dengan mudah bagi pelanggan di semua industri. Dalam postingan ini, kami fokus pada pembuatan dan penerapan kasus penggunaan ML yang mengintegrasikan berbagai komponen siklus hidup model ML, memungkinkan integrasi berkelanjutan (CI), pengiriman berkelanjutan (CD), pelatihan berkelanjutan (CT), dan pemantauan berkelanjutan (CM).
Ikhtisar solusi
Dalam MLOps, perjalanan sukses dari data ke model ML hingga rekomendasi dan prediksi dalam sistem dan proses bisnis melibatkan beberapa langkah penting. Ini melibatkan pengambilan hasil eksperimen atau prototipe dan mengubahnya menjadi sistem produksi dengan kontrol standar, kualitas, dan putaran umpan balik. Ini lebih dari sekedar otomatisasi. Ini tentang meningkatkan praktik organisasi dan memberikan hasil yang dapat diulang dan direproduksi dalam skala besar.
Hanya sebagian kecil dari kasus penggunaan ML di dunia nyata yang terdiri dari model itu sendiri. Berbagai komponen yang diperlukan untuk membangun kemampuan ML tingkat lanjut yang terintegrasi dan terus mengoperasikannya dalam skala besar ditunjukkan pada Gambar 1. Seperti yang diilustrasikan dalam diagram berikut, PwC MLOps Accelerator terdiri dari tujuh kemampuan utama terintegrasi dan langkah-langkah berulang yang memungkinkan CI, CD, CT, dan CM kasus penggunaan ML. Solusi ini memanfaatkan fitur asli AWS dari Amazon SageMaker, membangun kerangka kerja yang fleksibel dan dapat diperluas mengenai hal ini.
Dalam skenario perusahaan nyata, langkah dan tahapan pengujian tambahan mungkin ada untuk memastikan validasi dan penerapan model yang ketat di lingkungan yang berbeda.
- Manajemen data dan model memberikan kemampuan terpusat yang mengatur artefak ML sepanjang siklus hidupnya. Hal ini memungkinkan kemampuan audit, ketertelusuran, dan kepatuhan. Hal ini juga mendorong kemampuan berbagi, dapat digunakan kembali, dan dapat ditemukannya aset ML.
- Pengembangan model ML memungkinkan berbagai persona untuk mengembangkan jalur pelatihan model yang kuat dan dapat direproduksi, yang terdiri dari serangkaian langkah, mulai dari validasi dan transformasi data hingga pelatihan dan evaluasi model.
- Integrasi/pengiriman berkelanjutan memfasilitasi pembuatan otomatis, pengujian, dan pengemasan pipeline pelatihan model dan menerapkannya ke lingkungan eksekusi target. Integrasi dengan alur kerja CI/CD dan pembuatan versi data mendorong praktik terbaik MLOps seperti tata kelola dan pemantauan untuk pengembangan berulang dan pembuatan versi data.
- Pelatihan berkelanjutan model ML kemampuan mengeksekusi alur pelatihan berdasarkan pemicu pelatihan ulang; yaitu, saat data baru tersedia atau performa model menurun di bawah ambang batas yang telah ditetapkan. Ini mendaftarkan model yang dilatih jika memenuhi syarat sebagai kandidat model yang berhasil dan menyimpan artefak pelatihan dan metadata terkait.
- Penerapan model memungkinkan akses ke model terlatih yang terdaftar untuk meninjau dan menyetujui rilis produksi dan memungkinkan pengemasan, pengujian, dan penerapan model ke dalam lingkungan layanan prediksi untuk penyajian produksi.
- Layanan prediksi kemampuan memulai model yang diterapkan untuk memberikan prediksi melalui pola online, batch, atau streaming. Waktu proses penyajian juga menangkap log penyajian model untuk pemantauan dan peningkatan berkelanjutan.
- Pemantauan berkelanjutan memantau model untuk efektivitas prediktif guna mendeteksi kerusakan model dan efektivitas layanan (latensi, keseluruhan pipeline, dan kesalahan eksekusi)
Arsitektur Akselerator Operasi Pembelajaran Mesin PwC
Solusi ini dibangun di atas layanan asli AWS menggunakan Amazon SageMaker dan teknologi tanpa server untuk menjaga kinerja dan skalabilitas tetap tinggi serta biaya pengoperasian tetap rendah.
- Akselerator Operasi Pembelajaran Mesin PwC memberikan hak akses berbasis persona untuk pembangunan, penggunaan, dan operasi yang memungkinkan teknisi ML dan ilmuwan data mengotomatiskan penerapan saluran pipa (pelatihan dan penyajian) dan merespons perubahan kualitas model dengan cepat. Manajer Peran Amazon SageMaker digunakan untuk mengimplementasikan aktivitas ML berbasis peran, dan Amazon S3 digunakan untuk menyimpan data masukan dan artefak.
- Solusi menggunakan aset pembuatan model yang ada dari pelanggan dan membangun kerangka kerja yang fleksibel dan dapat diperluas menggunakan layanan asli AWS. Integrasi telah dibangun antara Amazon S3, Git, dan AWS CodeCommit yang memungkinkan pembuatan versi set data dengan manajemen minimal di masa depan.
- Templat AWS CloudFormation dibuat menggunakan Kit Pengembangan AWS Cloud (AWS CDK). AWS CDK memberikan kemampuan untuk mengelola perubahan untuk solusi lengkap. Alur otomatis mencakup langkah-langkah untuk penyimpanan model siap pakai dan pelacakan metrik.
- Akselerator MLOps PwC dirancang bersifat modular dan dikirimkan sebagai infrastruktur sebagai kode (IaC) untuk memungkinkan penerapan otomatis. Proses penerapan menggunakan Komitmen Kode AWS, Pembuatan Kode AWS, Pipa Kode AWS, dan templat AWS CloudFormation. Solusi menyeluruh yang lengkap untuk mengoperasionalkan model ML tersedia sebagai kode yang dapat diterapkan.
- Melalui serangkaian templat IaC, tiga komponen berbeda diterapkan: pembuatan model, penerapan model, dan pemantauan model serta penyajian prediksi, menggunakan Pipa Amazon SageMaker
- Pipeline pembuatan model mengotomatiskan proses pelatihan dan evaluasi model serta memungkinkan persetujuan dan registrasi model yang dilatih.
- Pipeline penerapan model menyediakan infrastruktur yang diperlukan untuk menerapkan model ML untuk inferensi batch dan real-time.
- Pipeline pemantauan dan penyajian prediksi model menyebarkan infrastruktur yang diperlukan untuk menyajikan prediksi dan memantau performa model.
- PwC MLOps Accelerator dirancang agar tidak terpengaruh oleh model ML, framework ML, dan lingkungan runtime. Solusi ini memungkinkan penggunaan bahasa pemrograman seperti Python dan R, alat pengembangan seperti Jupyter Notebook, dan kerangka kerja ML melalui file konfigurasi. Fleksibilitas ini memudahkan data scientist untuk terus menyempurnakan model dan menerapkannya menggunakan bahasa dan lingkungan pilihan mereka.
- Solusi ini memiliki integrasi bawaan untuk menggunakan alat bawaan atau alat khusus untuk menetapkan tugas pelabelan Kebenaran Dasar Amazon SageMaker untuk kumpulan data pelatihan untuk memberikan pelatihan dan pemantauan berkelanjutan.
- Pipeline ML ujung ke ujung dirancang menggunakan fitur asli SageMaker (Studio Amazon SageMaker , Pipa Pembuatan Model Amazon SageMaker, Eksperimen Amazon SageMaker, dan Titik akhir Amazon SageMaker).
- Solusi ini menggunakan kemampuan bawaan Amazon SageMaker untuk pembuatan versi model, pelacakan silsilah model, berbagi model, dan inferensi tanpa server dengan Registri Model Amazon SageMaker.
- Setelah model diproduksi, solusinya terus memantau kualitas model ML secara real time. Monitor Model Amazon SageMaker digunakan untuk terus memantau model dalam produksi. Amazon CloudWatch Logs digunakan untuk mengumpulkan file log yang memantau status model, dan notifikasi dikirim menggunakan Amazon SNS ketika kualitas model mencapai ambang batas tertentu. Logger asli seperti (boto3) digunakan untuk menangkap status proses guna mempercepat pemecahan masalah.
Panduan solusi
Panduan berikut menjelaskan langkah-langkah standar untuk membuat proses MLOps untuk model menggunakan PwC MLOps Accelerator. Panduan ini menjelaskan kasus penggunaan teknisi MLOps yang ingin menerapkan pipeline untuk model ML yang baru dikembangkan menggunakan file definisi/konfigurasi sederhana yang intuitif.
- Untuk memulai, daftarlah Akselerator MLOps PwC untuk mendapatkan akses ke artefak solusi. Seluruh solusi didorong dari satu file konfigurasi YAML (
config.yaml
) per model. Semua detail yang diperlukan untuk menjalankan solusi terdapat dalam file konfigurasi tersebut dan disimpan bersama dengan model di repositori Git. File konfigurasi akan berfungsi sebagai masukan untuk mengotomatiskan langkah-langkah alur kerja dengan mengeksternalisasi parameter dan pengaturan penting di luar kode. - Insinyur ML wajib mengisi
config.yaml
file dan memicu pipa MLOps. Pelanggan dapat mengonfigurasi akun AWS, repositori, model, data yang digunakan, nama pipa, kerangka pelatihan, jumlah instans yang akan digunakan untuk pelatihan, kerangka inferensi, dan setiap langkah sebelum dan sesudah pemrosesan dan beberapa lainnya konfigurasi untuk memeriksa kualitas model, bias, dan kemampuan menjelaskan.
- File YAML sederhana digunakan untuk mengonfigurasi persyaratan pelatihan, penerapan, pemantauan, dan waktu proses setiap model. Sekali
config.yaml
dikonfigurasi dengan tepat dan disimpan bersama model dalam repositori Gitnya sendiri, orkestra pembuat model dipanggil. Itu juga dapat membaca dari Bring-Your-Own-Model yang dapat dikonfigurasi melalui YAML untuk memicu penerapan pipeline build model. - Segala sesuatu setelah titik ini diotomatiskan oleh solusi dan tidak memerlukan keterlibatan teknisi ML atau ilmuwan data. Pipeline yang bertanggung jawab untuk membangun model ML mencakup prapemrosesan data, pelatihan model, evaluasi model, dan pemrosesan akhir. Jika model lolos uji kualitas dan kinerja otomatis, model disimpan ke registri, dan artefak ditulis ke penyimpanan Amazon S3 sesuai definisi dalam file YAML. Hal ini memicu pembuatan pipeline penerapan model untuk model ML tersebut.
- Selanjutnya, templat penerapan otomatis menyediakan model dalam lingkungan pementasan dengan titik akhir langsung. Setelah disetujui, model secara otomatis diterapkan ke lingkungan produksi.
- Solusinya menyebarkan dua saluran pipa yang terhubung. Penyajian prediksi menyebarkan titik akhir langsung yang dapat diakses di mana prediksi dapat disajikan. Pemantauan model menciptakan alat pemantauan berkelanjutan yang menghitung kinerja model utama dan metrik kualitas, memicu pelatihan ulang model jika perubahan signifikan dalam kualitas model terdeteksi.
- Sekarang setelah Anda melalui pembuatan dan penerapan awal, teknisi MLOps dapat mengonfigurasi peringatan kegagalan agar diperingatkan jika ada masalah, misalnya, ketika saluran pipa gagal melakukan pekerjaan yang dimaksudkan.
- MLOps tidak lagi tentang pengemasan, pengujian, dan penerapan komponen layanan cloud yang serupa dengan penerapan CI/CD tradisional; ini adalah sistem yang secara otomatis menerapkan layanan lain. Misalnya, alur pelatihan model secara otomatis menyebarkan alur penerapan model untuk mengaktifkan layanan prediksi, yang pada gilirannya mengaktifkan layanan pemantauan model.
Kesimpulan
Singkatnya, MLOps sangat penting bagi organisasi mana pun yang ingin menerapkan model ML dalam sistem produksi dalam skala besar. PwC mengembangkan akselerator untuk mengotomatiskan pembuatan, penerapan, dan pemeliharaan model ML melalui pengintegrasian alat DevOps ke dalam proses pengembangan model.
Dalam postingan ini, kami mempelajari bagaimana solusi PwC didukung oleh layanan ML asli AWS dan membantu mengadopsi praktik MLOps sehingga bisnis dapat mempercepat perjalanan AI mereka dan mendapatkan nilai lebih dari model ML mereka. Kami mempelajari langkah-langkah yang akan diambil pengguna untuk mengakses Akselerator Operasi Machine Learning PwC, menjalankan pipeline, dan menerapkan kasus penggunaan ML yang mengintegrasikan berbagai komponen siklus hidup model ML.
Untuk memulai perjalanan MLOps Anda di AWS Cloud dalam skala besar dan menjalankan beban kerja produksi ML Anda, daftarlah Operasi Pembelajaran Mesin PwC.
Tentang Penulis
Kiran Kumar Ballari adalah Arsitek Solusi Utama di Amazon Web Services (AWS). Dia adalah seorang penginjil yang senang membantu pelanggan memanfaatkan teknologi baru dan membangun solusi industri yang dapat diandalkan untuk memecahkan masalah mereka. Dia sangat tertarik dengan rekayasa perangkat lunak, AI Generatif, dan membantu perusahaan dalam pengembangan produk AI/ML.
Ankur Goyal adalah direktur praktik Cloud dan Digital PwC Australia, yang berfokus pada Data, Analisis & AI. Ankur memiliki pengalaman luas dalam mendukung organisasi sektor publik dan swasta dalam mendorong transformasi teknologi dan merancang solusi inovatif dengan memanfaatkan aset dan teknologi data.
Karthikeyan Chokappa (KC) adalah Manajer praktik Cloud dan Digital PwC Australia, yang berfokus pada Data, Analisis & AI. KC bersemangat dalam merancang, mengembangkan, dan menerapkan solusi analitik menyeluruh yang mengubah data menjadi aset keputusan yang berharga guna meningkatkan kinerja dan pemanfaatan serta mengurangi total biaya kepemilikan untuk hal-hal yang terhubung dan cerdas.
Rama Lankalapalli adalah Sr. Partner Solutions Architect di AWS, yang bekerja sama dengan PwC untuk mempercepat migrasi dan modernisasi klien mereka ke AWS. Dia bekerja di berbagai industri untuk mempercepat adopsi AWS Cloud. Keahliannya terletak pada merancang solusi cloud yang efisien dan terukur, mendorong inovasi dan modernisasi aplikasi pelanggan dengan memanfaatkan layanan AWS, dan membangun fondasi cloud yang tangguh.
Jeejee Unwalla adalah Arsitek Solusi Senior di AWS yang senang membimbing pelanggan dalam memecahkan tantangan dan berpikir secara strategis. Dia sangat tertarik dengan teknologi dan data serta memungkinkan inovasi.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/driving-advanced-analytics-outcomes-at-scale-using-amazon-sagemaker-powered-pwcs-machine-learning-ops-accelerator/
- :memiliki
- :adalah
- :bukan
- $NAIK
- 1
- 100
- 1951
- 2024
- 32
- 33
- 7
- a
- kemampuan
- Tentang Kami
- mempercepat
- akselerator
- mengakses
- dapat diakses
- Akun
- di seluruh
- kegiatan
- Tambahan
- alamat
- mengambil
- Adopsi
- maju
- Keuntungan
- Setelah
- AI
- AI / ML
- bertujuan
- Alerts
- Semua
- mengizinkan
- memungkinkan
- sepanjang
- di samping
- sudah
- juga
- Amazon
- Amazon SageMaker
- Amazon Web Services
- Layanan Web Amazon (AWS)
- an
- analisis
- dan
- Lain
- Apa pun
- Aplikasi
- aplikasi
- berlaku
- tepat
- persetujuan
- menyetujui
- arsitektur
- ADALAH
- sekitar
- AS
- Aktiva
- terkait
- At
- kemampuan audit
- Australia
- mengotomatisasikan
- Otomatis
- mengotomatiskan
- secara otomatis
- secara otomatis
- Otomatisasi
- tersedia
- AWS
- Formasi AWS Cloud
- berdasarkan
- BE
- menjadi
- menjadi
- menjadi
- di bawah
- TERBAIK
- Praktik Terbaik
- antara
- prasangka
- membangun
- membangun
- Bangunan
- membangun
- dibangun di
- built-in
- bisnis
- bisnis
- tapi
- by
- menghitung
- CAN
- calon
- kemampuan
- kemampuan
- menangkap
- menangkap
- kasus
- kasus
- CD
- pusat
- tertentu
- menantang
- tantangan
- menantang
- perubahan
- Perubahan
- memeriksa
- awan
- kode
- kolaborasi
- mengumpulkan
- menggabungkan
- Perusahaan
- lengkap
- kompleksitas
- pemenuhan
- komponen
- terdiri dari
- kompromi
- konfigurasi
- dikonfigurasi
- terhubung
- berisi
- konteks
- kontinu
- terus menerus
- kontrol
- Biaya
- Biaya
- membuat
- menciptakan
- penciptaan
- kritis
- sangat penting
- adat
- pelanggan
- pelanggan
- data
- ilmuwan data
- kumpulan data
- keputusan
- keputusan
- definisi
- disampaikan
- mengantarkan
- memberikan
- pengiriman
- menyebarkan
- dikerahkan
- penggelaran
- penyebaran
- penyebaran
- menyebarkan
- dirancang
- merancang
- rincian
- menemukan
- terdeteksi
- mengembangkan
- dikembangkan
- berkembang
- Pengembangan
- alat pengembangan
- berbeda
- digital
- Kepala
- berbeda
- beberapa
- do
- tidak
- turun
- didorong
- penggerak
- setiap
- memudahkan
- mudah
- efektivitas
- efisien
- antara
- aktif
- memungkinkan
- memungkinkan
- ujung ke ujung
- Titik akhir
- insinyur
- Teknik
- Insinyur
- memastikan
- Enterprise
- Seluruh
- Hak
- Lingkungan Hidup
- lingkungan
- kesalahan
- terutama
- membangun
- evaluasi
- Pengabar Injil
- contoh
- Laksanakan
- eksekusi
- ada
- ada
- mempercepat
- pengalaman
- eksperimen
- keahlian
- Dieksplorasi
- luas
- Pengalaman yang luas
- gagal
- Kegagalan
- akrab
- Fitur
- umpan balik
- Angka
- File
- File
- terakhir
- keluwesan
- fleksibel
- Fokus
- terfokus
- berikut
- Untuk
- Foundations
- pecahan
- Kerangka
- kerangka
- dari
- masa depan
- Mendapatkan
- dihasilkan
- generatif
- AI generatif
- mendapatkan
- pergi
- mati
- pemerintahan
- mengatur
- Tanah
- Pertumbuhan
- menangani
- Memiliki
- he
- membantu
- membantu
- membantu
- High
- -nya
- Hits
- Seterpercayaapakah Olymp Trade? Kesimpulan
- Namun
- HTML
- HTTPS
- if
- melaksanakan
- penting
- memperbaiki
- perbaikan
- meningkatkan
- in
- termasuk
- Meningkatkan
- industri
- industri
- Infrastruktur
- mulanya
- Innovation
- inovatif
- memasukkan
- integral
- terpadu
- Terintegrasi
- Mengintegrasikan
- integrasi
- integrasi
- Intelijen
- Cerdas
- dimaksudkan
- ke
- intuitif
- dipanggil
- keterlibatan
- masalah
- IT
- NYA
- Diri
- Pekerjaan
- perjalanan
- jpg
- hanya
- Menjaga
- kunci
- kumar
- pelabelan
- bahasa
- Bahasa
- Latensi
- pengetahuan
- Leverage
- leveraging
- terletak
- siklus hidup
- 'like'
- MEMBATASI
- garis keturunan
- terkait
- hidup
- mencatat
- lagi
- mencintai
- Rendah
- mesin
- Mesin belajar
- mempertahankan
- MEMBUAT
- mengelola
- pengelolaan
- manajer
- panduan
- banyak
- Mungkin..
- Metadata
- metrik
- Metrik
- minimal
- ML
- MLOps
- model
- model
- modular
- Memantau
- pemantauan
- monitor
- lebih
- banyak
- nama
- asli
- perlu
- Perlu
- dibutuhkan
- New
- Teknologi baru
- tidak
- buku catatan
- pemberitahuan
- jumlah
- of
- on
- sekali
- ONE
- secara online
- beroperasi
- Operasi
- or
- organisasi
- organisasi
- Lainnya
- hasil
- di luar
- secara keseluruhan
- sendiri
- kepemilikan
- pengemasan
- parameter
- bagian
- pasangan
- melewati
- bergairah
- pola
- untuk
- prestasi
- pipa saluran
- plato
- Kecerdasan Data Plato
- Data Plato
- Titik
- Pos
- didukung
- Praktis
- praktek
- praktek
- ramalan
- Prediksi
- disukai
- Utama
- prinsip-prinsip
- swasta
- sektor swasta
- masalah
- proses
- proses
- Produk
- pengembangan produk
- Produksi
- Pemrograman
- bahasa pemrograman
- mendorong
- mempromosikan
- prototipe
- memberikan
- menyediakan
- publik
- Puting
- PWC
- Ular sanca
- kualitas
- R
- cepat
- cepat
- Baca
- segera
- nyata
- dunia nyata
- real-time
- baru-baru ini
- rekomendasi
- menurunkan
- memperhalus
- terdaftar
- register
- Pendaftaran
- pendaftaran
- melepaskan
- sisa
- berulang
- gudang
- membutuhkan
- wajib
- Persyaratan
- membutuhkan
- tabah
- Menanggapi
- tanggung jawab
- mengakibatkan
- ulasan
- keras
- kuat
- Peran
- Run
- berjalan
- runtime
- pembuat bijak
- disimpan
- Skalabilitas
- terukur
- Skala
- skenario
- ilmuwan
- ilmuwan
- sektor
- senior
- mengirim
- Urutan
- Seri
- melayani
- yang telah dilayani
- Tanpa Server
- layanan
- Layanan
- porsi
- set
- pengaturan
- tujuh
- beberapa
- berbagi
- harus
- ditunjukkan
- penting
- mirip
- Sederhana
- lambat
- kecil
- So
- Perangkat lunak
- rekayasa Perangkat Lunak
- larutan
- Solusi
- MEMECAHKAN
- Memecahkan
- kecepatan
- magang
- pementasan
- standar
- mulai
- dimulai
- state-of-the-art
- Status
- Tangga
- penyimpanan
- menyimpan
- tersimpan
- toko
- mudah
- Secara strategis
- Streaming
- mempersingkat
- sukses
- seperti itu
- RINGKASAN
- pendukung
- sistem
- sistem
- Mengambil
- Dibutuhkan
- pengambilan
- target
- tugas
- tim
- tech
- Teknologi
- Teknologi
- Template
- template
- pengujian
- tes
- dari
- bahwa
- Grafik
- mereka
- Mereka
- dengan demikian
- Ini
- hal
- Pikir
- ini
- tiga
- ambang
- Melalui
- di seluruh
- waktu
- untuk
- alat
- alat
- puncak
- Total
- Lacak
- Pelacakan
- tradisional
- terlatih
- Pelatihan
- Mengubah
- Transformasi
- transformasi
- memicu
- memicu
- MENGHIDUPKAN
- Putar
- dua
- unik
- atas
- penggunaan
- menggunakan
- gunakan case
- bekas
- Pengguna
- kegunaan
- menggunakan
- pengesahan
- Berharga
- nilai
- berbagai
- melalui
- berjalan
- walkthrough
- ingin
- adalah
- we
- jaringan
- layanan web
- ketika
- yang
- SIAPA
- akan
- dengan
- dalam
- alur kerja
- Alur kerja
- kerja
- bekerja
- akan
- tertulis
- yaml
- Anda
- zephyrnet.dll