Membangun model dasar (FM) memerlukan pembangunan, pemeliharaan, dan pengoptimalan cluster besar untuk melatih model dengan puluhan hingga ratusan miliar parameter pada data dalam jumlah besar. Menciptakan lingkungan tangguh yang dapat menangani kegagalan dan perubahan lingkungan tanpa kehilangan kemajuan pelatihan model selama berhari-hari atau berminggu-minggu merupakan tantangan operasional yang mengharuskan Anda menerapkan penskalaan klaster, pemantauan kesehatan proaktif, pos pemeriksaan pekerjaan, dan kemampuan untuk melanjutkan pelatihan secara otomatis jika terjadi kegagalan atau masalah. .
Kami sangat senang membagikannya HyperPod Amazon SageMaker kini tersedia secara umum untuk mengaktifkan model landasan pelatihan dengan ribuan akselerator hingga 40% lebih cepat dengan menyediakan lingkungan pelatihan yang sangat berketahanan sekaligus menghilangkan beban berat yang tidak dapat dibedakan dalam pengoperasian kluster pelatihan skala besar. Dengan SageMaker HyperPod, praktisi pembelajaran mesin (ML) dapat melatih FM selama berminggu-minggu dan berbulan-bulan tanpa gangguan, dan tanpa harus menghadapi masalah kegagalan perangkat keras.
Pelanggan seperti Stability AI menggunakan SageMaker HyperPod untuk melatih model dasar mereka, termasuk Difusi Stabil.
โSebagai perusahaan AI generatif open source terkemuka, tujuan kami adalah memaksimalkan aksesibilitas AI modern. Kami sedang membangun model dasar dengan puluhan miliar parameter, yang memerlukan infrastruktur untuk meningkatkan kinerja pelatihan secara optimal. Dengan infrastruktur terkelola dan perpustakaan pengoptimalan SageMaker HyperPod, kami dapat mengurangi waktu dan biaya pelatihan hingga lebih dari 50%. Hal ini membuat pelatihan model kami lebih tangguh dan berperforma tinggi untuk membangun model tercanggih dengan lebih cepat.โ
โ Emad Mostaque, Pendiri dan CEO Stabilitas AI.
Untuk membuat siklus penuh pengembangan FM tahan terhadap kegagalan perangkat keras, SageMaker HyperPod membantu Anda membuat klaster, memantau kesehatan klaster, memperbaiki dan mengganti node yang rusak dengan cepat, menyimpan titik pemeriksaan yang sering dilakukan, dan secara otomatis melanjutkan pelatihan tanpa kehilangan kemajuan. Selain itu, SageMaker HyperPod telah dikonfigurasi sebelumnya dengan Amazon SageMaker perpustakaan pelatihan yang didistribusikan, termasuk Pustaka paralelisme data SageMaker (SMDDP) dan Pustaka paralelisme model SageMaker (SMP), untuk meningkatkan kinerja pelatihan FM dengan mempermudah pemisahan data dan model pelatihan menjadi bagian-bagian yang lebih kecil dan memprosesnya secara paralel di seluruh node cluster, sekaligus memanfaatkan sepenuhnya infrastruktur komputasi dan jaringan cluster. SageMaker HyperPod mengintegrasikan Slurm Workload Manager untuk klaster dan orkestrasi pekerjaan pelatihan.
Ikhtisar Manajer Beban Kerja Slurm
cercaan, sebelumnya dikenal sebagai Utilitas Linux Sederhana untuk Manajemen Sumber Daya, adalah penjadwal pekerjaan untuk menjalankan pekerjaan pada cluster komputasi terdistribusi. Ini juga menyediakan kerangka kerja untuk menjalankan pekerjaan paralel menggunakan Perpustakaan Komunikasi Kolektif NVIDIA (NCCL) or Antarmuka Penyampaian Pesan (MPI) standar. Slurm adalah sistem manajemen sumber daya cluster sumber terbuka populer yang digunakan secara luas oleh komputasi kinerja tinggi (HPC) dan beban kerja pelatihan AI dan FM generatif. SageMaker HyperPod menyediakan cara mudah untuk memulai dan menjalankan cluster Slurm dalam hitungan menit.
Berikut ini adalah diagram arsitektur tingkat tinggi tentang cara pengguna berinteraksi dengan SageMaker HyperPod dan bagaimana berbagai komponen klaster berinteraksi satu sama lain dan layanan AWS lainnya, seperti Amazon FSx untuk Lustre dan Layanan Penyimpanan Sederhana Amazon (Amazon S3).
Pekerjaan slurm dikirimkan melalui perintah pada baris perintah. Perintah untuk menjalankan pekerjaan Slurm adalah srun
dan sbatch
. itu srun
perintah menjalankan tugas pelatihan dalam mode interaktif dan pemblokiran, dan sbatch
berjalan dalam pemrosesan batch dan mode non-pemblokiran. srun
sebagian besar digunakan untuk menjalankan pekerjaan langsung, sementara sbatch
dapat digunakan untuk menjalankan pekerjaan selanjutnya.
Untuk informasi tentang perintah dan konfigurasi Slurm tambahan, lihat Dokumentasi Manajer Beban Kerja Slurm.
Kemampuan melanjutkan otomatis dan penyembuhan
Salah satu fitur baru SageMaker HyperPod adalah kemampuan untuk melanjutkan pekerjaan Anda secara otomatis. Sebelumnya, ketika node pekerja gagal selama menjalankan pekerjaan pelatihan atau menyempurnakan pekerjaan, pengguna harus memeriksa status pekerjaan, memulai ulang pekerjaan dari titik pemeriksaan terbaru, dan terus memantau pekerjaan sepanjang keseluruhan proses. Dengan tugas pelatihan atau pekerjaan penyempurnaan yang perlu dijalankan selama berhari-hari, berminggu-minggu, atau bahkan berbulan-bulan, hal ini menjadi mahal karena biaya administratif tambahan yang harus dikeluarkan pengguna untuk menghabiskan siklus untuk memantau dan memelihara pekerjaan jika ada node mogok, serta biaya waktu menganggur dari instans komputasi terakselerasi yang mahal.
SageMaker HyperPod mengatasi ketahanan pekerjaan dengan menggunakan pemeriksaan kesehatan otomatis, penggantian node, dan pemulihan pekerjaan. Pekerjaan slurm di SageMaker HyperPod dipantau menggunakan plugin Slurm kustom SageMaker menggunakan kerangka SPANK. Ketika tugas pelatihan gagal, SageMaker HyperPod akan memeriksa kesehatan klaster melalui serangkaian pemeriksaan kesehatan. Jika simpul yang rusak ditemukan di klaster, SageMaker HyperPod akan secara otomatis menghapus simpul tersebut dari klaster, menggantinya dengan simpul yang sehat, dan memulai ulang tugas pelatihan. Saat menggunakan pos pemeriksaan dalam pekerjaan pelatihan, pekerjaan apa pun yang terputus atau gagal dapat dilanjutkan dari pos pemeriksaan terbaru.
Ikhtisar solusi
Untuk menyebarkan SageMaker HyperPod, pertama-tama persiapkan lingkungan Anda dengan mengonfigurasi Cloud Pribadi Virtual Amazon (Amazon VPC) jaringan dan grup keamanan, menyebarkan layanan pendukung seperti FSx for Lustre di VPC Anda, dan menerbitkan skrip siklus hidup Slurm Anda ke bucket S3. Anda kemudian menyebarkan dan mengonfigurasi SageMaker HyperPod Anda dan menyambung ke node kepala untuk memulai pekerjaan pelatihan Anda.
Prasyarat
Sebelum Anda membuat SageMaker HyperPod, Anda harus terlebih dahulu mengonfigurasi VPC Anda, membuat sistem file FSx for Lustre, dan membuat bucket S3 dengan skrip siklus hidup klaster yang Anda inginkan. Anda juga memerlukan versi terbaru Antarmuka Baris Perintah AWS (AWS CLI) dan plugin CLI diinstal Manajer Sesi AWS, kemampuan Manajer Sistem AWS.
SageMaker HyperPod terintegrasi penuh dengan VPC Anda. Untuk informasi tentang membuat VPC baru, lihat Buat VPC bawaan or Buat VPC. Untuk memungkinkan koneksi lancar dengan kinerja tertinggi antar sumber daya, Anda harus membuat semua sumber daya Anda di Wilayah dan Availability Zone yang sama, serta memastikan aturan grup keamanan terkait mengizinkan koneksi antar sumber daya klaster.
Selanjutnya, kamu buat sistem file FSx for Lustre. Ini akan berfungsi sebagai sistem file berkinerja tinggi untuk digunakan selama pelatihan model kami. Pastikan bahwa FSx for Lustre dan grup keamanan klaster memungkinkan komunikasi masuk dan keluar antara sumber daya klaster dan sistem file FSx for Lustre.
Untuk menyiapkan skrip siklus hidup klaster Anda, yang dijalankan ketika peristiwa seperti instans klaster baru terjadi, Anda membuat bucket S3 lalu menyalin dan secara opsional menyesuaikan skrip siklus hidup default. Untuk contoh ini, kami menyimpan semua skrip siklus hidup dalam awalan bucket lifecycle-scripts
.
Pertama, Anda mengunduh contoh skrip siklus hidup dari GitHub repo. Anda harus menyesuaikannya agar sesuai dengan perilaku klaster yang Anda inginkan.
Selanjutnya, buat bucket S3 untuk menyimpan skrip siklus hidup yang disesuaikan.
Selanjutnya, salin skrip siklus hidup default dari direktori lokal Anda ke bucket dan awalan yang Anda inginkan menggunakan aws s3 sync
:
Terakhir, untuk menyiapkan klien untuk koneksi yang disederhanakan ke node kepala cluster, Anda harus melakukannya menginstal atau memperbarui AWS CLI dan instal Plugin CLI AWS Session Manager untuk memungkinkan koneksi terminal interaktif untuk mengelola cluster dan menjalankan tugas pelatihan.
Anda dapat membuat klaster SageMaker HyperPod dengan sumber daya sesuai permintaan yang tersedia atau dengan meminta reservasi kapasitas dengan SageMaker. Untuk membuat reservasi kapasitas, Anda membuat permintaan peningkatan kuota untuk memesan jenis instans komputasi tertentu dan alokasi kapasitas di dasbor Service Quotas.
Siapkan kluster pelatihan Anda
Untuk membuat klaster SageMaker HyperPod Anda, selesaikan langkah-langkah berikut:
- Di konsol SageMaker, pilih Manajemen klaster bawah Kluster HyperPod di panel navigasi.
- Pilih Buat klaster.
- Berikan nama klaster dan secara opsional tanda apa pun yang akan diterapkan ke sumber daya klaster, lalu pilih Selanjutnya.
- Pilih Buat grup instans dan tentukan nama grup instans, jenis instans yang diperlukan, jumlah instans yang diinginkan, serta bucket S3 dan jalur awalan tempat Anda menyalin skrip siklus hidup klaster sebelumnya.
Disarankan untuk memiliki grup instance yang berbeda untuk node pengontrol yang digunakan untuk mengelola cluster dan mengirimkan tugas, serta node pekerja yang digunakan untuk menjalankan tugas pelatihan menggunakan instans komputasi yang dipercepat. Anda juga dapat mengonfigurasi grup instans tambahan untuk node login.
- Pertama-tama Anda membuat grup instans pengontrol, yang akan menyertakan node kepala cluster.
- Untuk grup contoh ini Identitas AWS dan Manajemen Akses (IAM) peran, pilih Buat peran baru dan tentukan bucket S3 mana pun yang Anda ingin agar instans klaster dalam grup instans dapat mengaksesnya.
Peran yang dihasilkan akan diberikan akses hanya baca ke bucket tertentu secara default.
- Pilih Buat peran.
- Masukkan nama skrip yang akan dijalankan pada setiap pembuatan instans di prompt skrip saat dibuat. Dalam contoh ini, skrip yang sedang dibuat dipanggil
on_create.sh
. - Pilih Save.
- Pilih Buat grup instans untuk membuat grup instans pekerja Anda.
- Berikan semua detail yang diminta, termasuk jenis instans dan kuantitas yang diinginkan.
Contoh ini menggunakan empat instans akselerasi ml.trn1.32xl untuk melakukan tugas pelatihan kita. Anda dapat menggunakan IAM role yang sama seperti sebelumnya atau menyesuaikan peran untuk instance pekerja. Demikian pula, Anda dapat menggunakan skrip siklus hidup pembuatan yang berbeda untuk grup instans pekerja ini dibandingkan dengan grup instans sebelumnya.
- Pilih Selanjutnya untuk melanjutkan.
- Pilih VPC, subnet, dan grup keamanan yang diinginkan untuk instans klaster Anda.
Kami menghosting instans klaster dalam satu Availability Zone dan subnet untuk memastikan latensi rendah.
Perhatikan bahwa jika Anda akan sering mengakses data S3, disarankan untuk membuat titik akhir VPC yang dikaitkan dengan tabel perutean subnet privat untuk mengurangi potensi biaya transfer data.
- Pilih Selanjutnya.
- Tinjau ringkasan detail klaster, lalu pilih Kirim.
Alternatifnya, untuk membuat SageMaker HyperPod Anda menggunakan AWS CLI, pertama-tama sesuaikan parameter JSON yang digunakan untuk membuat klaster:
Kemudian gunakan perintah berikut untuk membuat cluster menggunakan input yang disediakan:
Jalankan pekerjaan pelatihan pertama Anda dengan Llama 2
Perhatikan bahwa penggunaan model Llama 2 diatur oleh lisensi Meta. Untuk mengunduh bobot model dan tokenizer, kunjungi situs web dan terima lisensinya sebelum meminta akses Situs web Meta's Hugging Face.
Setelah cluster berjalan, login dengan Session Manager menggunakan id cluster, nama grup instance, dan id instance. Gunakan perintah berikut untuk melihat detail klaster Anda:
Catat ID klaster yang disertakan dalam ARN klaster dalam respons.
Gunakan perintah berikut untuk mengambil nama grup instans dan ID instans yang diperlukan untuk masuk ke klaster.
Perhatikan InstanceGroupName
dan InstanceId
sebagai respons karena ini akan digunakan untuk terhubung ke instance dengan Session Manager.
Sekarang Anda menggunakan Session Manager untuk masuk ke node kepala, atau salah satu node login, dan menjalankan tugas pelatihan Anda:
Selanjutnya, kita akan menyiapkan lingkungan dan mengunduh Llama 2 dan dataset RedPajama. Untuk kode lengkap dan panduan langkah demi langkah, ikuti petunjuk di Pelatihan Terdistribusi yang Luar Biasa Repo GitHub.
Ikuti langkah-langkah yang dirinci di 2.test_cases/8.neuronx-nemo-megatron/README.md
mengajukan. Setelah mengikuti langkah-langkah untuk mempersiapkan lingkungan, menyiapkan model, mengunduh dan memberi token pada kumpulan data, dan melakukan pra-kompilasi model, Anda harus mengedit 6.pretrain-model.sh
naskah dan sbatch
perintah pengiriman pekerjaan untuk menyertakan parameter yang memungkinkan Anda memanfaatkan fitur lanjutkan otomatis SageMaker HyperPod.
Edit sbatch
baris menjadi seperti berikut:
Setelah mengirimkan pekerjaan, Anda akan mendapatkan JobID
yang dapat Anda gunakan untuk memeriksa status pekerjaan menggunakan kode berikut:
Selain itu, Anda dapat memantau pekerjaan dengan mengikuti log keluaran pekerjaan menggunakan kode berikut:
Membersihkan
Untuk menghapus klaster SageMaker HyperPod Anda, gunakan konsol SageMaker atau perintah AWS CLI berikut:
Kesimpulan
Posting ini menunjukkan kepada Anda cara mempersiapkan lingkungan AWS Anda, menerapkan klaster SageMaker HyperPod pertama Anda, dan melatih model Llama 7 dengan 2 miliar parameter. SageMaker HyperPod saat ini umumnya tersedia di Wilayah Amerika (Virginia Utara, Ohio, dan Oregon), Asia Pasifik (Singapura, Sydney, dan Tokyo), dan Eropa (Frankfurt, Irlandia, dan Stockholm). Mereka dapat diterapkan melalui konsol SageMaker, AWS CLI, dan SDK AWS, dan mendukung keluarga instans p4d, p4de, p5, trn1, inf2, g5, c5, c5n, m5, dan t3.
Untuk mempelajari lebih lanjut tentang SageMaker HyperPod, kunjungi HyperPod Amazon SageMaker.
Tentang penulis
Brad Doran adalah Manajer Akun Teknis Senior di Amazon Web Services, yang berfokus pada AI generatif. Dia bertanggung jawab untuk memecahkan tantangan teknis bagi pelanggan AI generatif di segmen pasar bisnis asli digital. Beliau berasal dari latar belakang pengembangan infrastruktur dan perangkat lunak dan saat ini sedang menyelesaikan studi doktoral dan penelitian di bidang kecerdasan buatan dan pembelajaran mesin.
Keita Watanabe adalah Arsitek Solusi Spesialis GenAI Senior di Amazon Web Services, di mana dia membantu mengembangkan solusi pembelajaran mesin menggunakan proyek OSS seperti Slurm dan Kubernetes. Latar belakangnya adalah penelitian dan pengembangan pembelajaran mesin. Sebelum bergabung dengan AWS, Keita bekerja di industri ecommerce sebagai ilmuwan riset yang mengembangkan sistem pengambilan gambar untuk pencarian produk. Keita meraih gelar PhD di bidang Sains dari Universitas Tokyo.
Justin Pirtle adalah Arsitek Solusi Utama di Amazon Web Services. Dia secara teratur memberi saran kepada pelanggan AI generatif dalam merancang, menerapkan, dan meningkatkan skala infrastruktur mereka. Dia adalah pembicara tetap di konferensi AWS, termasuk re:Invent, serta acara AWS lainnya. Justin meraih gelar sarjana di bidang Sistem Informasi Manajemen dari University of Texas di Austin dan gelar master di bidang Rekayasa Perangkat Lunak dari Seattle University.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-to-train-foundation-models-at-scale/
- :adalah
- :Di mana
- $NAIK
- 1
- 100
- 12
- 14
- 24
- 7
- a
- kemampuan
- Tentang Kami
- dipercepat
- akselerator
- Setuju
- mengakses
- aksesibilitas
- mengakses
- Akun
- di seluruh
- tambahan
- Tambahan
- alamat
- mengelola
- administratif
- Keuntungan
- Setelah
- AI
- Semua
- alokasi
- mengizinkan
- memungkinkan
- juga
- Amazon
- Amazon SageMaker
- Amazon Web Services
- Americas
- jumlah
- an
- dan
- Apa pun
- Mendaftar
- arsitektur
- ADALAH
- timbul
- buatan
- kecerdasan buatan
- Kecerdasan Buatan dan Pembelajaran Mesin
- AS
- Asia
- Asia Pacific
- terkait
- At
- austin
- Otomatis
- secara otomatis
- tersedianya
- tersedia
- AWS
- latar belakang
- BE
- menjadi
- sebelum
- perilaku
- antara
- miliaran
- pemblokiran
- membangun
- Bangunan
- bisnis
- by
- bernama
- CAN
- kemampuan
- kemampuan
- Kapasitas
- ceo
- menantang
- tantangan
- Perubahan
- memeriksa
- Cek
- Pilih
- klien
- Kelompok
- kode
- Kolektif
- datang
- Komunikasi
- komunikasi
- perusahaan
- lengkap
- komponen
- menghitung
- komputasi
- konferensi
- konfigurasi
- mengkonfigurasi
- Terhubung
- koneksi
- Koneksi
- konsul
- terus
- pengawas
- Biaya
- mahal
- Biaya
- membuat
- membuat
- penciptaan
- Sekarang
- adat
- pelanggan
- menyesuaikan
- disesuaikan
- siklus
- siklus
- dasbor
- data
- Hari
- transaksi
- Default
- Derajat
- menyebarkan
- dikerahkan
- penggelaran
- merancang
- diinginkan
- terperinci
- rincian
- mengembangkan
- berkembang
- Pengembangan
- berbeda
- Difusi
- digital
- Gangguan
- didistribusikan
- komputasi terdistribusi
- pelatihan terdistribusi
- Download
- dua
- selama
- setiap
- e-commerce
- antara
- menghilangkan
- aktif
- Titik akhir
- Teknik
- memastikan
- Seluruh
- Lingkungan Hidup
- lingkungan
- menetapkan
- Eropa
- Bahkan
- Acara
- peristiwa
- contoh
- gembira
- mahal
- tambahan
- Menghadapi
- Gagal
- gagal
- Kegagalan
- kegagalan
- keluarga
- lebih cepat
- salah
- Fitur
- Fitur
- File
- Pertama
- terfokus
- mengikuti
- berikut
- Untuk
- dahulu
- ditemukan
- Prinsip Dasar
- pendiri
- Pendiri dan CEO
- empat
- Kerangka
- Frankfurt
- sering
- sering
- dari
- penuh
- sepenuhnya
- umumnya
- dihasilkan
- generatif
- AI generatif
- mendapatkan
- GitHub
- tujuan
- akan
- diatur
- diberikan
- Kelompok
- Grup
- menangani
- Perangkat keras
- Memiliki
- memiliki
- he
- kepala
- healing
- Kesehatan
- sehat
- berat
- angkat berat
- membantu
- High
- tingkat tinggi
- kinerja tinggi
- paling tinggi
- sangat
- -nya
- memegang
- tuan rumah
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- HPC
- HTML
- http
- HTTPS
- Ratusan
- ID
- identitas
- Siaga
- if
- gambar
- Segera
- melaksanakan
- memperbaiki
- in
- memasukkan
- termasuk
- Termasuk
- Meningkatkan
- industri
- informasi
- Sistem Informasi
- Infrastruktur
- input
- install
- diinstal
- contoh
- instruksi
- terpadu
- Terintegrasi
- Intelijen
- berinteraksi
- interaktif
- Antarmuka
- terganggu
- ke
- memperkenalkan
- terlibat
- Irlandia
- masalah
- IT
- Pekerjaan
- Jobs
- bergabung
- jpg
- json
- Justin
- dikenal
- besar
- besar-besaran
- Latensi
- kemudian
- Terbaru
- terkemuka
- BELAJAR
- pengetahuan
- perpustakaan
- Perpustakaan
- Lisensi
- siklus hidup
- pengangkatan
- 'like'
- baris
- linux
- Llama
- lokal
- mencatat
- masuk
- melihat
- terlihat seperti
- kehilangan
- Rendah
- mesin
- Mesin belajar
- memelihara
- mempertahankan
- membuat
- MEMBUAT
- Membuat
- berhasil
- pengelolaan
- manajer
- Pasar
- tuan
- hal
- Maksimalkan
- meta
- menit
- ML
- mode
- model
- model
- modern
- Memantau
- dipantau
- pemantauan
- bulan
- lebih
- kebanyakan
- nama
- asli
- Navigasi
- Perlu
- dibutuhkan
- membutuhkan
- jaringan
- New
- Fitur Baru
- simpul
- node
- mencatat
- sekarang
- Nvidia
- of
- Ohio
- on
- Sesuai Permintaan
- ONE
- Buka
- open source
- operasi
- operasional
- optimasi
- mengoptimalkan
- or
- teknik mengatur musik
- Oregon
- Oss
- Lainnya
- kami
- keluaran
- lebih
- Pasifik
- pane
- Paralel
- parameter
- parameter
- Lewat
- path
- Melakukan
- prestasi
- phd
- plato
- Kecerdasan Data Plato
- Data Plato
- Plugin
- Populer
- Pos
- potensi
- Mempersiapkan
- sebelumnya
- sebelumnya
- Utama
- Sebelumnya
- swasta
- Proaktif
- memproses
- pengolahan
- Produk
- Kemajuan
- memprojeksikan
- disediakan
- menyediakan
- menyediakan
- Penerbitan
- kuantitas
- RE
- direkomendasikan
- pemulihan
- menurunkan
- lihat
- wilayah
- daerah
- reguler
- secara teratur
- menghapus
- memperbaiki
- menggantikan
- penggantian
- permintaan
- membutuhkan
- membutuhkan
- penelitian
- penelitian dan pengembangan
- Pemesanan
- Cadangan
- tabah
- sumber
- Sumber
- tanggapan
- tanggung jawab
- lanjut
- Peran
- rute
- aturan
- Run
- berjalan
- berjalan
- pembuat bijak
- sama
- Save
- Skala
- skala
- Ilmu
- ilmuwan
- naskah
- script
- SDK
- mulus
- Pencarian
- Seattle
- keamanan
- melihat
- ruas
- senior
- melayani
- layanan
- Layanan
- Sidang
- set
- Share
- harus
- menunjukkan
- Demikian pula
- Sederhana
- disederhanakan
- Singapura
- tunggal
- lebih kecil
- Perangkat lunak
- pengembangan perangkat lunak
- rekayasa Perangkat Lunak
- Solusi
- Memecahkan
- sumber
- Pembicara
- spesialis
- tertentu
- ditentukan
- menghabiskan
- membagi
- Stabilitas
- stabil
- standar
- awal
- state-of-the-art
- Status
- Tangga
- penyimpanan
- menyimpan
- mudah
- studi
- pengajuan
- menyerahkan
- disampaikan
- subnet
- seperti itu
- setelan
- rangkaian
- RINGKASAN
- mendukung
- pendukung
- yakin
- sydney
- sinkronisasi.
- sistem
- sistem
- tabel
- Mengambil
- Teknis
- memiliki
- terminal
- texas
- dari
- bahwa
- Grafik
- mereka
- Mereka
- kemudian
- Ini
- mereka
- ini
- ribuan
- Melalui
- di seluruh
- waktu
- untuk
- hari ini
- tokenisasi
- Tokyo
- Pelatihan VE
- Pelatihan
- transfer
- mengetik
- jenis
- bawah
- universitas
- Universitas Tokyo
- Memperbarui
- menggunakan
- bekas
- Pengguna
- Pengguna
- kegunaan
- menggunakan
- kegunaan
- Memanfaatkan
- berbagai
- Luas
- versi
- melalui
- View
- virginia
- maya
- Mengunjungi
- walkthrough
- adalah
- Cara..
- we
- jaringan
- layanan web
- minggu
- BAIK
- ketika
- yang
- sementara
- sangat
- Wikipedia
- akan
- dengan
- dalam
- tanpa
- bekerja
- pekerja
- akan
- Kamu
- Anda
- zephyrnet.dll