Grafik Persatuan negara-negara (PBB) didirikan pada tahun 1945 oleh 51 Negara Anggota asli yang berkomitmen untuk menjaga perdamaian dan keamanan internasional, mengembangkan hubungan persahabatan antar negara, dan mempromosikan kemajuan sosial, standar hidup yang lebih baik, dan hak asasi manusia. PBB saat ini terdiri dari 193 Negara Anggota dan telah berkembang selama bertahun-tahun untuk mengimbangi dunia yang berubah dengan cepat. Itu United Nations Development Programme (UNDP) adalah badan pembangunan PBB dan beroperasi di lebih dari 170 negara dan wilayah. Ini memainkan peran penting dalam membantu negara mencapai Tujuan Pembangunan Berkelanjutan (SDGs), yang merupakan seruan global untuk bertindak untuk mengakhiri kemiskinan, melindungi planet ini, dan memastikan semua orang menikmati kedamaian dan kemakmuran.
Sebagai organisasi pembelajar, UNDP sangat menghargai fungsi evaluasi. Setiap unit program UNDP mengadakan evaluasi untuk mengakses kinerja proyek dan program mereka. Itu Kantor Evaluasi Independen (IEO) adalah kantor independen fungsional di dalam UNDP yang mendukung fungsi pengawasan dan akuntabilitas Dewan Eksekutif dan manajemen UNDP, UNCDF, dan UNV. Fungsi inti IEO adalah melakukan evaluasi program dan tematik independen yang memiliki kepentingan strategis bagi organisasiโseperti dukungannya untuk pemulihan pandemi COVID-19.
Dalam postingan ini, kami membahas bagaimana IEO mengembangkan platform kecerdasan buatan dan pembelajaran mesin (ML) UNDPโbernama Artificial Intelligence for Development Analytics (AIDA)โbekerja sama dengan AWS, Tim Manajemen Informasi dan Teknologi UNDP (UNDP ITM), dan Amerika Serikat Pusat Komputasi Internasional Bangsa-Bangsa (UNICC). AIDA adalah platform berbasis web yang memungkinkan manajer program dan evaluator untuk memperluas basis bukti mereka dengan mencari data yang ada dengan cara yang lebih cerdas, lebih efisien, dan inovatif untuk menghasilkan wawasan dan pembelajaran. Dengan mencari di tingkat granular paragraf, AIDA menemukan potongan bukti yang tidak akan ditemukan dengan menggunakan pencarian konvensional. Penciptaan AIDA sejalan dengan Rencana Strategis UNDP 2022โ2025 untuk menggunakan digitalisasi dan inovasi demi dampak pembangunan yang lebih besar.
Tantangan
IEO adalah penjaga Pusat Sumber Daya Evaluasi (ERC) UNDP. ERC adalah tempat penyimpanan lebih dari 6,000 laporan evaluasi yang mencakup setiap aspek pekerjaan organisasi, di mana pun organisasi itu bekerja, sejak tahun 1997. Temuan dan rekomendasi laporan evaluasi menginformasikan manajemen UNDP, donor, dan staf program untuk merancang intervensi di masa depan dengan lebih baik. mengambil langkah-langkah koreksi kursus dalam program mereka saat ini, dan membuat keputusan pendanaan dan kebijakan di setiap tingkatan.
Sebelum AIDA, proses untuk mengekstraksi bukti evaluatif dan menghasilkan pelajaran dan wawasan bersifat manual, intensif sumber daya, dan memakan waktu. Selain itu, metode pencarian tradisional tidak bekerja dengan baik dengan data yang tidak terstruktur, oleh karena itu basis buktinya terbatas. Untuk mengatasi tantangan ini, IEO memutuskan untuk menggunakan AI dan ML untuk menambang database evaluasi dengan lebih baik untuk pelajaran dan pengetahuan.
Tim AIDA memperhatikan tugas yang menantang untuk mengekstraksi bukti dari data yang tidak terstruktur seperti laporan evaluasi. Biasanya, laporan evaluasi terdiri dari 80โ100 halaman, dalam berbagai bahasa, dan berisi temuan, kesimpulan, dan rekomendasi. Meskipun evaluasi dipandu oleh Pedoman Evaluasi UNDP, tidak ada format tertulis standar untuk evaluasi ini, dan bagian yang disebutkan di atas dapat terjadi di lokasi yang berbeda dalam dokumen, atau mungkin tidak semuanya ada. Oleh karena itu, menuntut bukti evaluatif secara akurat pada tingkat paragraf dan menerapkan label yang sesuai merupakan tantangan ML yang signifikan.
Ikhtisar solusi
Solusi teknis AIDA dikembangkan oleh Layanan Profesional AWS dan UNICC. Platform teknologi inti dirancang dan dikembangkan oleh tim AWS ProServe. UNICC bertanggung jawab untuk mengembangkan portal web AIDA dan antarmuka human-in-the-loop. Platform AIDA diharapkan menyediakan mekanisme yang sederhana dan sangat akurat untuk mencari laporan evaluasi UNDP di berbagai tema dan mengekspornya untuk analisis lebih lanjut. Arsitektur AIDA diperlukan untuk mengatasi beberapa persyaratan:
- Mengotomatiskan ekstraksi dan pelabelan data evaluasi
- Memproses ribuan laporan
- Izinkan IEO menambahkan label baru tanpa meminta keahlian ilmuwan data dan pakar ML
Untuk memberikan persyaratan, komponen dirancang dengan mempertimbangkan prinsip-prinsip berikut:
- Berkelanjutan secara teknis dan ramah lingkungan
- Sadar biaya
- Dapat diperluas untuk memungkinkan ekspansi di masa mendatang
Solusi yang dihasilkan dapat dipecah menjadi tiga komponen, seperti yang ditunjukkan pada diagram arsitektur berikut:
- Penyerapan dan ekstraksi data
- Klasifikasi data
- Pencarian cerdas
Bagian berikut menjelaskan komponen ini secara rinci.
Penyerapan dan ekstraksi data
Laporan evaluasi disiapkan dan diserahkan oleh unit program UNDP di seluruh duniaโtidak ada templat atau format tata letak laporan standar. Komponen penyerapan dan ekstraksi data mencerna dan mengekstrak konten dari dokumen tidak terstruktur ini.
Teks Amazon digunakan untuk mengekstrak data dari dokumen PDF. Solusi ini menggunakan API StartDocumentTextDetection asinkron untuk membangun alur kerja pemrosesan dokumen yang menangani pemanggilan asinkron Amazon Textract, ekstraksi respons mentah, dan ketekunan dalam Layanan Penyimpanan Sederhana Amazon (Amazon S3). Solusi ini menambahkan komponen pemrosesan pasca Amazon Texttract untuk menangani ekstraksi teks berbasis paragraf. Komponen pascapemrosesan menggunakan metadata kotak pembatas dari Amazon Textract untuk ekstraksi data cerdas. Komponen postprocessing mampu mengekstraksi data dari file PDF yang kompleks, multi-format, multi-halaman dengan berbagai header, footer, catatan kaki, dan data multi-kolom. Pustaka Python sumber terbuka Apache Tika digunakan untuk ekstraksi data dari dokumen kata.
Diagram berikut mengilustrasikan alur kerja ini, yang diatur dengan Fungsi Langkah AWS.
Alur kerja ini memiliki langkah-langkah berikut:
TextractCompleted
adalah langkah pertama untuk memastikan dokumen tidak diproses berkali-kali dengan Amazon Textract. Langkah ini untuk menghindari waktu dan biaya pemrosesan yang tidak perlu dengan mencegah pemrosesan ganda.TextractAsyncCallTask
mengirimkan dokumen untuk diproses oleh Amazon Textract menggunakan API StartDocumentTextDetection asinkron. API ini memproses dokumen dan menyimpan file keluaran JSON di Amazon S3 untuk pascapemrosesan.TextractAsyncSNSListener
adalah AWS Lambda fungsi yang menangani peristiwa penyelesaian pekerjaan Amazon Textract, dan mengembalikan metadata kembali ke alur kerja untuk diproses lebih lanjut.TextractPostProcessorTask
adalah fungsi AWS Lambda yang menggunakan metadata dan memproses file keluaran JSON yang dihasilkan oleh Amazon Textract untuk mengekstrak paragraf yang bermakna.TextractQAValidationTask
adalah fungsi AWS Lambda yang melakukan beberapa validasi teks sederhana pada paragraf yang diekstraksi dan mengumpulkan metrik seperti jumlah paragraf yang lengkap atau tidak lengkap. Metrik ini digunakan untuk mengukur kualitas ekstraksi teks.
Silakan lihat TeksAsinkron, konstruksi IDP CDK yang mengabstraksi pemanggilan Amazon Textract Async API, penanganan Layanan Pemberitahuan Sederhana Amazon Pesan (Amazon SNS) dan pemrosesan alur kerja untuk mempercepat pengembangan Anda.
Klasifikasi data
Komponen klasifikasi data mengidentifikasi bagian penting dari laporan evaluasi, dan selanjutnya mengklasifikasikannya ke dalam taksonomi kategori yang disusun berdasarkan berbagai tema Tujuan Pembangunan Berkelanjutan. Kami telah membangun satu model klasifikasi multi-kelas dan dua multi-label Amazon Comprehend.
Paragraf yang diekstrak diproses menggunakan Step Functions, yang terintegrasi dengan Amazon Comprehend untuk melakukan klasifikasi dalam mode batch. Paragraf diklasifikasikan ke dalam temuan, rekomendasi, dan kesimpulan (FRC) menggunakan model multi-kelas khusus, yang membantu mengidentifikasi bagian penting dari laporan evaluasi. Untuk bagian kritis yang teridentifikasi, kami mengidentifikasi kategori (tematik dan non-tematik) menggunakan model klasifikasi multi-label khusus. Klasifikasi tematik dan non-tematik digunakan untuk mengidentifikasi dan menyelaraskan laporan evaluasi dengan Tujuan Pembangunan Berkelanjutan seperti tanpa kemiskinan (SDG-1), kesetaraan gender (SDG-5), air bersih dan sanitasi (SDG-6), dan terjangkau dan bersih energi (SDG-7).
Gambar berikut menggambarkan alur kerja Step Functions untuk memproses klasifikasi teks.
Untuk mengurangi biaya proses klasifikasi, kami telah membuat alur kerja untuk mengirimkan tugas Amazon Comprehend dalam mode batch. Alur kerja menunggu semua tugas Amazon Comprehend selesai dan melakukan penyempurnaan data dengan menggabungkan ekstraksi teks dan hasil Amazon Comprehend untuk memfilter paragraf yang tidak diidentifikasi sebagai FRC, dan menggabungkan kategori klasifikasi tematik dan non-tematik berdasarkan paragraf.
Paragraf yang diekstraksi dengan kategori klasifikasinya disimpan di Amazon RDS untuk PostgreSQL. Ini adalah basis data pementasan untuk menyimpan semua hasil ekstraksi dan klasifikasi. Kami juga menggunakan database ini untuk lebih memperkaya hasil guna menggabungkan tema paragraf, dan memfilter paragraf yang bukan FRC. Konten yang diperkaya diumpankan ke AmazonKendra.
Untuk rilis pertama, kami memiliki lebih dari 2 juta paragraf yang diekstraksi dan diklasifikasikan. Dengan bantuan klasifikasi khusus FRC, kami dapat mempersempit paragraf secara akurat menjadi lebih dari 700,000 dari 2 juta. Model klasifikasi khusus Amazon Comprehend membantu menyajikan konten yang relevan secara akurat dan secara substansial mengurangi biaya pada indeks Amazon Kendra.
Amazon DynamoDB digunakan untuk menyimpan metadata dokumen dan melacak status pemrosesan dokumen di semua komponen utama. Pelacakan metadata sangat berguna untuk menangani kesalahan dan percobaan ulang.
Pencarian cerdas
Kemampuan pencarian cerdas memungkinkan pengguna platform AIDA untuk secara intuitif mencari bukti evaluatif atas intervensi program UNDP yang terkandung dalam semua laporan evaluasi. Diagram berikut mengilustrasikan arsitektur ini.
Amazon Kendra digunakan untuk pencarian cerdas. Konten yang diperkaya dari Amazon RDS untuk PostgreSQL diserap ke dalam Amazon Kendra untuk pengindeksan. Lapisan portal web menggunakan kemampuan pencarian cerdas Amazon Kendra untuk secara intuitif mencari konten yang diindeks. Labeler menggunakan antarmuka pengguna human-in-the-loop untuk memperbarui klasifikasi teks yang dihasilkan oleh Amazon Comprehend untuk setiap paragraf yang diekstrak. Perubahan pada klasifikasi segera tercermin di portal web, dan umpan balik yang diperbarui oleh manusia diambil dan digunakan untuk pelatihan model Amazon Comprehend untuk terus meningkatkan model klasifikasi khusus.
AIDA menggabungkan fungsi human-in-the-loop, yang meningkatkan kapasitas AIDA untuk memperbaiki kesalahan klasifikasi (FRC, tematik, non-tematik) dan ekstraksi data. Label, diperbarui oleh manusia yang menjalankan fungsi human-in-the-loop, ditambahkan ke set data pelatihan dan digunakan untuk melatih ulang model Amazon Comprehend untuk terus meningkatkan akurasi klasifikasi.
Kesimpulan
Dalam postingan ini, kami membahas bagaimana evaluator, melalui platform AIDA IEO, menggunakan layanan Amazon AI dan ML seperti Amazon Textract, Amazon Comprehend, dan Amazon Kendra untuk membangun sistem pemrosesan dokumen khusus yang mengidentifikasi, mengekstrak, dan mengklasifikasikan data dari dokumen tidak terstruktur . Menggunakan Amazon Textract untuk ekstraksi teks PDF meningkatkan ekstraksi bukti tingkat paragraf dari akurasi kurang dari 60% menjadi lebih dari 80%. Selain itu, klasifikasi multi-label ditingkatkan dari akurasi di bawah 30% menjadi 90% dengan melatih ulang model di Amazon Comprehend dengan set data pelatihan yang ditingkatkan.
Platform ini memungkinkan evaluator untuk secara intuitif mencari konten yang relevan dengan cepat dan akurat. Mengubah data tidak terstruktur menjadi data semi-terstruktur memberdayakan UNDP dan entitas PBB lainnya untuk membuat keputusan berdasarkan kumpulan ratusan atau ribuan poin data tentang apa yang berhasil, apa yang tidak berhasil, dan bagaimana meningkatkan dampak operasi UNDP untuk orang-orang yang dilayaninya.
Untuk informasi selengkapnya tentang arsitektur referensi pemrosesan dokumen cerdas, lihat Pemrosesan Dokumen Cerdas. Silakan bagikan pemikiran Anda dengan kami di bagian komentar.
Tentang Penulis
Oscar A.Garcia adalah Direktur Independent Evaluation Office (IEO) dari United Nations Development Program (UNDP). Sebagai Direktur, dia memberikan arahan strategis, pemikiran kepemimpinan, dan evaluasi yang kredibel untuk memajukan pekerjaan UNDP dalam membantu kemajuan negara menuju pencapaian SDG nasional. Oscar juga saat ini menjabat sebagai Ketua United Nations Evaluation Group (UNEG). Dia memiliki lebih dari 25 tahun pengalaman di bidang perencanaan strategis, evaluasi, dan manajemen berbasis hasil untuk pembangunan berkelanjutan. Sebelum bergabung dengan IEO sebagai Direktur pada tahun 2020, beliau menjabat sebagai Direktur Independent Office of Evaluation (IOE) IFAD, dan Head of Advisory Services for Green Economy, UNEP. Oscar telah menulis buku dan artikel tentang evaluasi pembangunan, termasuk tentang teknologi informasi dan komunikasi untuk evaluasi. Dia adalah seorang ekonom dengan gelar master dalam Manajemen Perubahan Organisasi, New School University (NY), dan gelar MBA dari Universitas Katolik Bolivia, bekerja sama dengan Harvard Institute for International Development.
Sathya Balakrishnan adalah Arsitek Pengiriman Pelanggan Senior dalam tim Layanan Profesional di AWS, yang berspesialisasi dalam solusi data dan ML. Dia bekerja dengan klien keuangan federal AS. Dia bersemangat membangun solusi pragmatis untuk memecahkan masalah bisnis pelanggan. Di waktu luangnya, ia menikmati menonton film dan hiking bersama keluarganya.
Thuan Tran adalah Arsitek Solusi Senior di Sektor Publik di Seluruh Dunia yang mendukung Perserikatan Bangsa-Bangsa. Dia bersemangat menggunakan teknologi AWS untuk membantu pelanggan membuat konsep tentang kemungkinan seni. Di waktu senggangnya, ia menikmati berselancar, bersepeda gunung, melempar kapak, dan menghabiskan waktu bersama keluarga dan teman.
Pangeran Mallari adalah Ilmuwan Data NLP di tim Layanan Profesional di AWS, yang berspesialisasi dalam aplikasi NLP untuk pelanggan sektor publik. Dia bersemangat menggunakan ML sebagai alat untuk memungkinkan pelanggan menjadi lebih produktif. Di waktu luangnya, ia menikmati bermain video game dan mengembangkannya bersama teman-temannya.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/how-the-undp-independent-evaluation-office-is-using-aws-ai-ml-services-to-enhance-the-use-of-evaluation-to-support-progress-toward-the-sustainable-development-goals/
- :adalah
- $NAIK
- 000
- 100
- 2020
- 7
- a
- Sanggup
- Tentang Kami
- abstrak
- mempercepat
- mengakses
- akuntabilitas
- ketepatan
- tepat
- akurat
- Mencapai
- prestasi
- di seluruh
- Tindakan
- Selain itu
- alamat
- Menambahkan
- memajukan
- laporan
- layanan konsultasi
- terjangkau
- badan
- agregat
- agregasi
- AI
- AI / ML
- Rata
- Semua
- memungkinkan
- Amazon
- Amazon Comprehend
- AmazonKendra
- Amazon RDS
- Teks Amazon
- antara
- analisis
- analisis
- dan
- Apache
- api
- aplikasi
- Aplikasi NLP
- Menerapkan
- sesuai
- arsitektur
- ADALAH
- daerah
- sekitar
- Seni
- artikel
- buatan
- kecerdasan buatan
- Kecerdasan Buatan dan Pembelajaran Mesin
- AS
- penampilan
- Asosiasi
- At
- ditambah
- AWS
- AWS Lambda
- kembali
- mendasarkan
- berdasarkan
- BE
- Lebih baik
- papan
- Buku-buku
- Kotak
- Rusak
- membangun
- Bangunan
- dibangun di
- bisnis
- by
- panggilan
- panggilan
- CAN
- mampu
- Kapasitas
- kategori
- pusat
- pusat
- menantang
- menantang
- perubahan
- Perubahan
- mengubah
- klasifikasi
- tergolong
- energi bersih
- klien
- kolaborasi
- komentar
- komisi
- berkomitmen
- Komunikasi
- lengkap
- penyelesaian
- kompleks
- komponen
- komponen
- memahami
- komputasi
- Mengadakan
- membangun
- mengandung
- Konten
- terus menerus
- konvensional
- Core
- Biaya
- negara
- menutupi
- Covid-19
- Pandemi COVID-19
- dibuat
- penciptaan
- kredibel
- kritis
- terbaru
- Sekarang
- pemelihara
- adat
- pelanggan
- pelanggan
- data
- titik data
- ilmuwan data
- Basis Data
- kumpulan data
- memutuskan
- keputusan
- Derajat
- menyampaikan
- pengiriman
- menggambarkan
- Mendesain
- dirancang
- rinci
- dikembangkan
- berkembang
- Pengembangan
- berbeda
- digitalisasi
- arah
- Kepala
- membahas
- dibahas
- dokumen
- dokumen
- Tidak
- turun
- setiap
- Ekonom
- ekonomi
- efisien
- memberdayakan
- diaktifkan
- energi
- menikmati
- memperkaya
- diperkaya
- memastikan
- entitas
- lingkungan
- persamaan
- kesalahan
- evaluasi
- evaluasi
- Bahkan
- Acara
- Setiap
- bukti
- berkembang
- rewel
- eksekutif
- ada
- Lihat lebih lanjut
- pengalaman
- keahlian
- ekspor
- ekstrak
- Ekstrak
- keluarga
- Fed
- Federal
- umpan balik
- Angka
- File
- menyaring
- keuangan
- menemukan
- Pertama
- berikut
- Untuk
- format
- ditemukan
- Didirikan di
- ramah
- teman
- dari
- fungsi
- fungsi
- fungsi
- pendanaan
- lebih lanjut
- masa depan
- Games
- Gender
- Kesetaraan Gender
- menghasilkan
- dihasilkan
- Aksi
- Anda
- lebih besar
- Hijau
- Kelompok
- menangani
- Menangani
- Penanganan
- harvard
- Memiliki
- kepala
- header
- membantu
- membantu
- membantu
- membantu
- sangat
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- HTML
- http
- HTTPS
- manusia
- hak asasi manusia
- Manusia
- Ratusan
- diidentifikasi
- mengidentifikasi
- mengenali
- IEO
- segera
- Dampak
- pentingnya
- memperbaiki
- ditingkatkan
- in
- Termasuk
- independen
- indeks
- memberitahu
- informasi
- informasi
- Innovation
- inovatif
- wawasan
- Lembaga
- Terintegrasi
- Intelijen
- Cerdas
- Pemrosesan dokumen cerdas
- Antarmuka
- Internasional
- IT
- NYA
- Pekerjaan
- Jobs
- bergabung
- json
- Menjaga
- pemeliharaan
- kunci
- pengetahuan
- pelabelan
- Label
- Bahasa
- lapisan
- tata ruang
- Kepemimpinan
- belajar
- pengetahuan
- Pelajaran
- Pelajaran
- Tingkat
- Perpustakaan
- 'like'
- Terbatas
- hidup
- lokasi
- mesin
- Mesin belajar
- terbuat
- mempertahankan
- membuat
- pengelolaan
- Tim manajemen
- Manajer
- panduan
- tuan
- berarti
- mengukur
- ukuran
- mekanisme
- anggota
- pesan
- Metadata
- metode
- Metrik
- juta
- keberatan
- ML
- mode
- model
- model
- lebih
- lebih efisien
- Selain itu
- Gunung
- bioskop
- beberapa
- nasional
- Bangsa
- New
- nLP
- pemberitahuan
- jumlah
- NY
- of
- Office
- on
- ONE
- open source
- beroperasi
- Operasi
- diatur
- organisasi
- organisatoris
- terorganisir
- asli
- Lainnya
- keluaran
- Kelalaian
- Perdamaian
- pandemi
- khususnya
- bagian
- bergairah
- Konsultan Ahli
- Melakukan
- prestasi
- melakukan
- melakukan
- ketekunan
- potongan-potongan
- rencana
- planet
- perencanaan
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- bermain
- silahkan
- poin
- kebijaksanaan
- Portal
- mungkin
- Pos
- Postgresql
- Kemiskinan
- pragmatis
- siap
- menyajikan
- mencegah
- Sebelumnya
- masalah
- proses
- Diproses
- proses
- pengolahan
- menghasilkan
- Diproduksi
- produktif
- profesional
- program
- terprogram
- program
- Kemajuan
- memprojeksikan
- mempromosikan
- kemakmuran
- melindungi
- memberikan
- menyediakan
- publik
- Ular sanca
- kualitas
- segera
- cepat
- Mentah
- rekomendasi
- pemulihan
- menurunkan
- mengurangi
- tercermin
- hubungan
- melepaskan
- relevan
- melaporkan
- laporan
- gudang
- Persyaratan
- sumber
- intensif sumber daya
- tanggapan
- tanggung jawab
- dihasilkan
- Hasil
- Pengembalian
- hak
- Peran
- Sekolah
- ilmuwan
- ilmuwan
- SDGs
- Pencarian
- mencari
- Bagian
- bagian
- sektor
- keamanan
- senior
- melayani
- Layanan
- beberapa
- Share
- ditunjukkan
- penting
- Sederhana
- sejak
- cerdas
- Sosial
- larutan
- Solusi
- MEMECAHKAN
- beberapa
- mengkhususkan diri
- Pengeluaran
- Staf
- pementasan
- standar
- standar
- Negara
- Status
- Langkah
- Tangga
- penyimpanan
- tersimpan
- toko
- menyimpan
- Strategis
- menyerahkan
- disampaikan
- seperti itu
- mendukung
- pendukung
- Mendukung
- berkelanjutan
- Pembangunan berkelanjutan
- sistem
- Mengambil
- tugas
- taksonomi
- tim
- Teknis
- Teknologi
- Template
- prinsip
- Klasifikasi Teks
- bahwa
- Grafik
- Dunia
- mereka
- Mereka
- bertema
- karena itu
- Ini
- pikir
- pemikiran kepemimpinan
- ribuan
- tiga
- Melalui
- Pelemparan
- waktu
- membuang-buang waktu
- kali
- untuk
- alat
- terhadap
- terhadap
- jalur
- Pelacakan
- tradisional
- Pelatihan
- mengubah
- UN
- bawah
- satuan
- Serikat
- Persatuan negara-negara
- unit
- universitas
- Memperbarui
- diperbarui
- us
- Federal AS
- menggunakan
- Pengguna
- User Interface
- Pengguna
- biasanya
- Nilai - Nilai
- berbagai
- Video
- Video game
- menonton
- air
- Cara..
- jaringan
- berbasis web
- BAIK
- Apa
- yang
- lebar
- dengan
- dalam
- tanpa
- Word
- Kerja
- bekerja
- bekerja
- dunia
- akan
- tertulis
- tahun
- Anda
- zephyrnet.dll