Perkembangan terkini dalam pembelajaran mendalam telah menghasilkan model yang semakin besar seperti GPT-3, BLOOM, dan OPT, beberapa di antaranya sudah melebihi 100 miliar parameter. Meskipun model yang lebih besar cenderung lebih bertenaga, melatih model semacam itu membutuhkan sumber daya komputasi yang signifikan. Bahkan dengan penggunaan pustaka pelatihan terdistribusi lanjutan seperti FSDP dan DeepSpeed, pekerjaan pelatihan biasanya membutuhkan ratusan perangkat akselerator selama beberapa minggu atau bulan sekaligus.
Pada akhir 2022, AWS mengumumkan ketersediaan umum Instans Amazon EC2 Trn1 didukung oleh Pelatihan AWSโakselerator machine learning (ML) yang dibuat khusus yang dioptimalkan untuk menyediakan platform berperforma tinggi, hemat biaya, dan dapat diskalakan secara besar-besaran untuk melatih model deep learning di cloud. Instans Trn1 tersedia dalam beberapa ukuran (lihat tabel berikut), dengan hingga 16 akselerator Trainium per instans.
Ukuran Instance | Akselerator Trainium | Memori Akselerator (GB) | vCPU | Memori Instance (GiB) | Bandwidth Jaringan (Gbps) |
trn1.2xbesar | 1 | 32 | 8 | 32 | Sampai 12.5 |
trn1.32xbesar | 16 | 512 | 128 | 512 | 800 |
trn1n.32xlarge (segera hadir) | 16 | 512 | 128 | 512 | 1600 |
Instans Trn1 dapat digunakan sebagai instans mandiri untuk tugas pelatihan yang lebih kecil, atau dalam ultracluster yang sangat skalabel yang mendukung pelatihan terdistribusi di puluhan ribu akselerator Trainium. Semua instans Trn1 mendukung konfigurasi mandiri, sedangkan ultracluster Trn1 memerlukan instans trn1.32xlarge atau trn1n.32xlarge. Dalam ultracluster, beberapa instans Trn1 ditempatkan bersama di AWS Availability Zone tertentu dan terhubung dengan jaringan Elastic Fabric Adapter (EFA) berkecepatan tinggi, latensi rendah yang menyediakan 800 Gbps bandwidth jaringan nonblocking per instans untuk operasi komputasi kolektif . Jenis instans trn1n.32xlarge, yang diluncurkan pada awal tahun 2023, akan meningkatkan bandwidth ini menjadi 1600 Gbps per instans.
Banyak pelanggan perusahaan memilih untuk menerapkan beban kerja deep learning mereka menggunakan Kubernetesโstandar de facto untuk orkestrasi container di cloud. Pelanggan AWS sering menerapkan beban kerja ini menggunakan Layanan Amazon Elastic Kubernetes (AmazonEKS). Amazon EKS adalah layanan Kubernetes terkelola yang menyederhanakan pembuatan, konfigurasi, siklus hidup, dan pemantauan klaster Kubernetes sambil tetap menawarkan fleksibilitas penuh Kubernetes upstream.
Hari ini, kami dengan gembira mengumumkan dukungan resmi untuk tugas pelatihan terdistribusi menggunakan instans Amazon EKS dan EC2 Trn1. Dengan pengumuman ini, Anda sekarang dapat dengan mudah menjalankan tugas pelatihan terkontainer berskala besar di dalam Amazon EKS sambil memanfaatkan sepenuhnya kinerja harga, skalabilitas, dan kemudahan penggunaan yang ditawarkan oleh instans Trn1.
Bersamaan dengan pengumuman ini, kami juga menerbitkan tutorial mendetail yang memandu Anda melalui langkah-langkah yang diperlukan untuk menjalankan tugas pelatihan terdistribusi multi-instance (pra-pelatihan BERT fase 1) menggunakan instans Amazon EKS dan Trn1. Dalam postingan ini, Anda akan mempelajari tentang arsitektur solusi dan meninjau beberapa langkah penting dari tutorial. Mengacu kepada repositori tutorial resmi untuk alur kerja end-to-end yang lengkap.
Untuk mengikuti, keakraban luas dengan layanan inti AWS seperti Cloud komputasi elastis Amazon (Amazon EC2) dan Amazon EKS tersirat, dan pengenalan dasar dengan pembelajaran mendalam dan PyTorch akan sangat membantu.
Arsitektur solusi
Diagram berikut menggambarkan arsitektur solusi.
Solusinya terdiri dari komponen utama berikut:
- Kluster EKS
- Grup node EKS yang terdiri dari instance trn1.32xlarge
- Grafik Neuron AWS SDK
- Plugin EKS untuk Neuron dan EFA
- An Registry Kontainer Elastis Amazon (Amazon ECR) Repositori
- Gambar wadah pelatihan
- An Amazon FSx untuk Lustre file system
- Penjadwal batch Volcano dan server etcd
- Peluncur pekerjaan universal TorchX
- Modul DDP TorchX untuk Trainium
Inti dari solusi ini adalah klaster EKS yang memberi Anda fungsi manajemen inti Kubernetes melalui titik akhir layanan EKS. Salah satu manfaat Amazon EKS adalah layanan secara aktif memantau dan menskalakan bidang kontrol berdasarkan beban, yang memastikan kinerja tinggi untuk beban kerja besar seperti pelatihan terdistribusi. Di dalam klaster EKS terdapat grup node yang terdiri dari dua atau lebih instans berbasis Trainium trn1.32xlarge yang berada di Availability Zone yang sama.
Neuron SDK adalah tumpukan perangkat lunak yang menyediakan driver, kompiler, runtime, integrasi kerangka kerja (misalnya, PyTorch Neuron), dan alat pengguna yang memungkinkan Anda mengakses manfaat akselerator Trainium. Driver perangkat Neuron berjalan langsung di node EKS (instance Trn1) dan menyediakan akses ke chip Trainium dari dalam wadah pelatihan yang diluncurkan di node. Plugin Neuron dan EFA dipasang di dalam klaster EKS untuk menyediakan akses ke chip Trainium dan perangkat jaringan EFA yang diperlukan untuk pelatihan terdistribusi.
Repositori ECR digunakan untuk menyimpan gambar wadah pelatihan. Gambar ini berisi Neuron SDK (tidak termasuk driver Neuron, yang berjalan langsung pada instans Trn1), skrip pelatihan PyTorch, dan dependensi yang diperlukan. Saat tugas pelatihan diluncurkan di klaster EKS, citra kontainer pertama-tama ditarik dari Amazon ECR ke node EKS, dan kontainer pekerja PyTorch kemudian dibuat dari citra.
Penyimpanan bersama disediakan menggunakan sistem file FSx for Lustre berperforma tinggi yang ada di Availability Zone yang sama dengan instans trn1.32xlarge. Pembuatan dan lampiran sistem file FSx for Luster ke cluster EKS dimediasi oleh Driver CSI Amazon FSx untuk Luster. Dalam solusi ini, penyimpanan bersama digunakan untuk menyimpan dataset pelatihan dan semua log atau artefak yang dibuat selama proses pelatihan.
Solusinya menggunakan Peluncur pekerjaan universal TorchX untuk meluncurkan tugas pelatihan terdistribusi dalam Amazon EKS. TorchX memiliki dua dependensi penting: penjadwal batch Volcano dan server etcd. Volcano menangani penjadwalan dan antrean pekerjaan pelatihan, sedangkan server etcd adalah penyimpanan nilai kunci yang digunakan oleh TorchElastic untuk sinkronisasi dan penemuan rekan selama memulai pekerjaan.
Saat tugas pelatihan diluncurkan menggunakan TorchX, perintah peluncuran menggunakan modul DDP terdistribusi TorchX yang disediakan untuk Trainium untuk mengonfigurasi keseluruhan tugas pelatihan dan kemudian menjalankan perintah torchrun yang sesuai di setiap pod pekerja PyTorch. Saat sebuah tugas sedang berjalan, tugas tersebut dapat dipantau menggunakan alat Kubernetes standar (seperti kubectl) atau melalui kumpulan alat ML standar seperti TensorBoard.
Ikhtisar solusi
Mari kita lihat langkah-langkah penting dari solusi ini. Sepanjang ikhtisar ini, kami mengacu pada Luncurkan Pekerjaan Pelatihan Multi-Node PyTorch Neuron di Trainium Menggunakan TorchX dan EKS tutorial di GitHub.
Buat klaster EKS
Untuk memulai tugas pelatihan terdistribusi di Amazon EKS dengan instans Trn1, pertama-tama Anda membuat klaster EKS seperti yang diuraikan dalam tutorial di GitHub. Pembuatan cluster dapat dicapai dengan menggunakan alat standar seperti eksctl
dan Formasi AWS Cloud.
Buat grup node EKS
Selanjutnya, kita perlu membuat grup node EKS yang berisi dua atau lebih instance trn1.32xlarge di Wilayah yang didukung. Dalam tutorialnya, AWS CloudFormation digunakan untuk membuat template peluncuran EC2 khusus Trainium, yang memastikan bahwa instans Trn1 diluncurkan dengan Amazon Machine Image (AMI) yang sesuai dan konfigurasi jaringan EFA yang benar diperlukan untuk mendukung pelatihan terdistribusi. AMI juga menyertakan driver perangkat Neuron yang memberikan dukungan untuk chip akselerator Trainium. Dengan eksctl
alat manajemen Amazon EKS, Anda dapat dengan mudah membuat grup node Trainium menggunakan manifes YAML dasar yang mereferensikan template peluncuran yang baru dibuat. Misalnya:
Dalam manifes sebelumnya, beberapa atribut dikonfigurasi untuk memungkinkan penggunaan instans Trn1 di klaster EKS. Pertama, metadata.region
diatur ke salah satu Wilayah yang mendukung instans Trn1 (saat ini us-east-1
dan us-west-2
). Selanjutnya, untuk availabilityZones, Amazon EKS mengharuskan dua Availability Zones ditentukan. Salah satu Availability Zone ini harus mendukung penggunaan instans Trn1, sementara yang lain dapat dipilih secara acak. Tutorial menunjukkan caranya tentukan Availability Zone mana yang memungkinkan instans Trn1 dalam akun AWS Anda. Availability Zone pendukung Trn1 yang sama juga harus ditentukan menggunakan availabiltyZones
atribut yang terkait dengan kelompok simpul EKS. efaEnabled
diatur ke true
untuk mengonfigurasi node dengan konfigurasi jaringan EFA yang sesuai yang diperlukan untuk pelatihan terdistribusi. Terakhir, the launchTemplate.id
atribut yang terkait dengan titik grup node ke template peluncuran EC2 yang dibuat melalui AWS CloudFormation di langkah sebelumnya.
Dengan asumsi bahwa Anda telah menerapkan template CloudFormation dan menginstalnya eksctl
alat manajemen, Anda dapat membuat grup node EKS berkemampuan Trainium dengan menjalankan kode berikut:
Instal plugin Kubernetes untuk perangkat Trainium dan EFA
Dengan grup node terpasang, langkah selanjutnya adalah menginstal plugin Kubernetes yang menyediakan dukungan untuk akselerator Trainium (melalui plugin Neuron) dan perangkat EFA (melalui plugin EFA). Plugin ini dapat dengan mudah dipasang di cluster menggunakan standar kubectl
alat manajemen seperti yang ditunjukkan dalam tutorial.
Untuk menggunakan peluncur universal PyTorch TorchX untuk meluncurkan tugas pelatihan terdistribusi, diperlukan dua prasyarat: penjadwal batch Volcano, dan server etcd. Sama seperti plugin Neuron dan EFA, kita dapat menggunakan kubectl
alat untuk menginstal Volcano dan server etcd di cluster EKS.
Lampirkan penyimpanan bersama ke klaster EKS
Dalam tutorialnya, FSx for Luster digunakan untuk menyediakan sistem file bersama berkinerja tinggi yang dapat diakses oleh berbagai pod pekerja EKS. Penyimpanan bersama ini digunakan untuk menghosting set data pelatihan, serta artefak dan log apa pun yang dibuat selama proses pelatihan. Tutorial menjelaskan cara membuat dan melampirkan penyimpanan bersama ke klaster menggunakan Driver CSI Amazon FSx untuk Luster.
Buat gambar wadah pelatihan
Selanjutnya, kita perlu membuat image wadah pelatihan yang menyertakan skrip pelatihan PyTorch beserta semua dependensinya. Contoh Dockerfile disertakan dalam tutorial, yang menggabungkan skrip pra-pelatihan BERT beserta dependensi perangkat lunaknya. Dockerfile digunakan untuk membuat image container pelatihan, dan image tersebut kemudian didorong ke repositori ECR tempat pekerja PyTorch dapat menarik image saat tugas pelatihan diluncurkan di cluster.
Siapkan data pelatihan
Sebelum meluncurkan tugas pelatihan, data pelatihan terlebih dahulu disalin ke volume penyimpanan bersama di FSx untuk Lustre. Tutorial menguraikan cara membuat pod Kubernetes sementara yang memiliki akses ke volume penyimpanan bersama, dan menunjukkan cara masuk ke pod untuk mengunduh dan mengekstrak dataset pelatihan menggunakan perintah shell Linux standar.
Dengan berbagai prasyarat infrastruktur dan perangkat lunak, kami sekarang dapat fokus pada aspek solusi Trainium.
Prakompilasi model Anda
Neuron SDK mendukung PyTorch melalui lapisan integrasi yang disebut Neuron PyTorch. Secara default, PyTorch Neuron beroperasi dengan kompilasi just-in-time, di mana berbagai grafik komputasi jaringan neural dalam tugas pelatihan dikompilasi seperti yang ditemui selama proses pelatihan. Untuk model yang lebih besar, akan lebih nyaman menggunakan yang disediakan neuron_parallel_compile
alat untuk melakukan prekompilasi dan menyimpan berbagai grafik komputasi terlebih dahulu untuk menghindari kompilasi grafik pada waktu pelatihan. Sebelum meluncurkan tugas pelatihan di klaster EKS, tutorial menunjukkan cara pertama kali meluncurkan tugas prakompilasi melalui TorchX menggunakan neuron_parallel_compile
alat. Setelah menyelesaikan tugas prakompilasi, kompiler Neuron akan mengidentifikasi dan mengompilasi semua grafik komputasi jaringan neural, dan menyimpannya dalam cache ke volume penyimpanan bersama untuk digunakan nanti selama tugas pra-pelatihan BERT yang sebenarnya.
Luncurkan tugas pelatihan terdistribusi
Setelah prakompilasi selesai, TorchX kemudian digunakan untuk meluncurkan tugas pelatihan terdistribusi 64 pekerja di dua instans trn1.32xlarge, dengan 32 pekerja per instans. Kami menggunakan 32 pekerja per instans karena setiap instans trn1.32xlarge berisi 16 akselerator Trainium, dengan setiap akselerator menyediakan 2 NeuronCore. Setiap NeuronCore dapat diakses sebagai unik perangkat PyTorch XLA dalam naskah pelatihan. Contoh perintah peluncuran TorchX dari tutorial terlihat seperti kode berikut:
Berbagai argumen baris perintah dalam perintah TorchX sebelumnya dijelaskan secara rinci dalam tutorial. Namun, argumen berikut ini paling penting dalam mengonfigurasi tugas pelatihan:
- -cfg antrian = tes โ Menentukan antrean Volcano yang akan digunakan untuk tugas pelatihan
- -cfg gambar_repo โ Menentukan repositori ECR yang akan digunakan untuk gambar kontainer TorchX
- โscript_args โ Menentukan argumen apa pun yang harus diteruskan ke skrip pelatihan PyTorch
- โnnodes dan โnproc_per_node โ Jumlah instans dan pekerja per instans yang akan digunakan untuk tugas pelatihan
- -naskah โ Nama skrip pelatihan PyTorch untuk diluncurkan dalam wadah pelatihan
- -Gambar โ Jalur ke gambar wadah pelatihan di Amazon ECR
- โbf16 โ Mengaktifkan tipe data BF16 atau tidak
Memantau pekerjaan pelatihan
Setelah pekerjaan pelatihan diluncurkan, ada berbagai cara di mana pekerjaan dapat dipantau. Tutorial menunjukkan cara memantau metrik skrip pelatihan dasar pada baris perintah menggunakan kubectl
, cara memantau kemajuan skrip pelatihan secara visual di TensorBoard (lihat tangkapan layar berikut), dan cara memantau penggunaan akselerator Trainium menggunakan neuron-top
alat dari Neuron SDK.
Membersihkan atau menggunakan kembali lingkungan
Saat tugas pelatihan selesai, klaster kemudian dapat digunakan kembali atau dikonfigurasi ulang untuk tugas pelatihan tambahan. Misalnya, grup node EKS dapat dengan cepat ditingkatkan menggunakan eksctl
perintah untuk mendukung pekerjaan pelatihan yang membutuhkan instans Trn1 tambahan. Demikian pula, perintah peluncuran Dockerfile dan TorchX yang disediakan dapat dengan mudah dimodifikasi untuk mendukung model pembelajaran mendalam tambahan dan mendistribusikan topologi pelatihan.
Jika klaster tidak diperlukan lagi, tutorial juga menyertakan semua langkah yang diperlukan untuk menghapus infrastruktur EKS dan sumber daya terkait.
Kesimpulan
Dalam postingan ini, kami mengeksplorasi bagaimana instans Trn1 dan Amazon EKS menyediakan platform terkelola untuk pelatihan model deep learning yang berkinerja tinggi, hemat biaya, dan terdistribusi secara besar-besaran. Kami juga membagikan tutorial komprehensif yang menunjukkan cara menjalankan tugas pelatihan terdistribusi multi-instance dunia nyata di Amazon EKS menggunakan instans Trn1, dan menyoroti beberapa langkah dan komponen utama dalam solusi. Konten tutorial ini dapat dengan mudah diadaptasi untuk model dan beban kerja lain, dan memberi Anda solusi dasar untuk pelatihan terdistribusi model deep learning di AWS.
Untuk mempelajari selengkapnya tentang cara memulai instans Trn1 yang didukung Trainium, lihat dokumentasi neuron.
Tentang Penulis
Scott Perry adalah Arsitek Solusi di tim akselerator Annapurna ML di AWS. Berbasis di Kanada, dia membantu pelanggan menerapkan dan mengoptimalkan pelatihan pembelajaran mendalam dan beban kerja inferensi menggunakan AWS Inferentia dan AWS Trainium. Minatnya meliputi model bahasa besar, pembelajaran penguatan mendalam, IoT, dan genomik.
Lorea Arrizabalaga adalah Arsitek Solusi yang selaras dengan Sektor Publik Inggris Raya, di mana dia membantu pelanggan merancang solusi ML dengan Amazon SageMaker. Dia juga merupakan bagian dari Komunitas Lapangan Teknis yang didedikasikan untuk akselerasi perangkat keras dan membantu pengujian dan pembandingan beban kerja AWS Inferentia dan AWS Trainium.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/scaling-distributed-training-with-aws-trainium-and-amazon-eks/
- 1
- 100
- 11
- 2022
- 2023
- 7
- a
- Sanggup
- Tentang Kami
- akselerator
- akselerator
- mengakses
- diakses
- dicapai
- di seluruh
- aktif
- Tambahan
- memajukan
- maju
- Keuntungan
- selaras
- Semua
- sudah
- Meskipun
- Amazon
- Amazon EC2
- Amazon SageMaker
- dan
- Mengumumkan
- mengumumkan
- Pengumuman
- terapan
- sesuai
- arsitektur
- argumen
- aspek
- terkait
- melampirkan
- atribut
- tersedianya
- tersedia
- AWS
- Formasi AWS Cloud
- Inferensi AWS
- Bandwidth
- berdasarkan
- dasar
- karena
- sebelum
- benchmarking
- Manfaat
- Milyar
- Berkembang
- luas
- membangun
- Cache
- bernama
- Kanada
- Keripik
- Pilih
- terpilih
- awan
- Kelompok
- kode
- Kolektif
- kedatangan
- Coming Soon
- Umum
- masyarakat
- lengkap
- penyelesaian
- komponen
- luas
- menghitung
- konfigurasi
- terhubung
- Terdiri dari
- Wadah
- Wadah
- mengandung
- Konten
- kontrol
- Mudah
- Core
- hemat biaya
- membuat
- dibuat
- membuat
- penciptaan
- CSI
- Sekarang
- pelanggan
- data
- DDP
- dedicated
- mendalam
- belajar mendalam
- Default
- menyebarkan
- dikerahkan
- dijelaskan
- Mendesain
- rinci
- terperinci
- Perkembangan
- alat
- Devices
- langsung
- penemuan
- didistribusikan
- pelatihan terdistribusi
- mendistribusikan
- Download
- pengemudi
- selama
- setiap
- Terdahulu
- Awal
- kemudahan penggunaan
- mudah
- antara
- aktif
- ujung ke ujung
- Titik akhir
- Memastikan
- Enterprise
- Bahkan
- contoh
- gembira
- tidak termasuk
- ada
- Dieksplorasi
- ekstrak
- kain
- Keakraban
- bidang
- File
- Pertama
- keluwesan
- Fokus
- mengikuti
- berikut
- Kerangka
- dari
- penuh
- fungsi
- Umum
- genomik
- mendapatkan
- GitHub
- diberikan
- grafik
- grafik
- Kelompok
- Panduan
- Menangani
- Perangkat keras
- Hati
- bermanfaat
- membantu
- High
- kinerja tinggi
- Disorot
- sangat
- tuan rumah
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- Namun
- HTML
- HTTPS
- Ratusan
- ID
- diidentifikasi
- gambar
- gambar
- tersirat
- penting
- in
- memasukkan
- termasuk
- termasuk
- Meningkatkan
- makin
- Infrastruktur
- install
- diinstal
- contoh
- integrasi
- kepentingan
- idiot
- IT
- Pekerjaan
- Jobs
- kunci
- Jenis
- bahasa
- besar
- besar-besaran
- lebih besar
- Terlambat
- jalankan
- diluncurkan
- peluncuran
- lapisan
- BELAJAR
- pengetahuan
- Dipimpin
- perpustakaan
- baris
- linux
- memuat
- lagi
- melihat
- TERLIHAT
- mesin
- Mesin belajar
- Utama
- berhasil
- pengelolaan
- secara besar-besaran
- Memori
- Metadata
- Metrik
- ML
- model
- dimodifikasi
- Modul
- Memantau
- dipantau
- pemantauan
- monitor
- bulan
- lebih
- paling
- beberapa
- nama
- Perlu
- jaringan
- jaringan
- saraf jaringan
- berikutnya
- simpul
- node
- jumlah
- ditawarkan
- menawarkan
- resmi
- ONE
- beroperasi
- Operasi
- Optimize
- dioptimalkan
- teknik mengatur musik
- urutan
- Lainnya
- diuraikan
- menguraikan
- secara keseluruhan
- ikhtisar
- parameter
- bagian
- Lulus
- path
- buah pir
- prestasi
- tahap
- Tempat
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- Plugin
- plugin
- poin
- Pos
- didukung
- kuat
- prasyarat
- proses
- Kemajuan
- memberikan
- disediakan
- menyediakan
- menyediakan
- publik
- Penerbitan
- terdorong
- pytorch
- segera
- acak
- dunia nyata
- referensi
- wilayah
- daerah
- terkait
- menghapus
- gudang
- membutuhkan
- wajib
- membutuhkan
- Sumber
- ulasan
- Run
- berjalan
- pembuat bijak
- sama
- Skalabilitas
- terukur
- sisik
- skala
- SDK
- sektor
- layanan
- Layanan
- set
- beberapa
- berbagi
- Kulit
- harus
- ditunjukkan
- Pertunjukkan
- penting
- Demikian pula
- ukuran
- lebih kecil
- So
- Perangkat lunak
- larutan
- Solusi
- beberapa
- ditentukan
- tumpukan
- standalone
- standar
- mulai
- startup
- Langkah
- Tangga
- Masih
- penyimpanan
- menyimpan
- seperti itu
- mendukung
- Didukung
- Mendukung
- sinkronisasi
- sistem
- tabel
- pengambilan
- tim
- Teknis
- Template
- sementara
- pengujian
- Grafik
- Inggris
- mereka
- ribuan
- Melalui
- di seluruh
- waktu
- untuk
- alat
- alat
- Pelatihan
- benar
- tutorial
- Uk
- unik
- Universal
- menggunakan
- Pengguna
- berbagai
- versi
- melalui
- volume
- cara
- minggu
- apakah
- yang
- sementara
- akan
- dalam
- pekerja
- pekerja
- akan
- yaml
- Kamu
- Anda
- zephyrnet.dll
- zona