Dengan AI, Anda perlu melihat gambaran perangkat keras dan perangkat lunak yang lebih besar

Fitur Bersponsor Sudah satu setengah dekade sejak para peneliti memesona dunia teknologi dengan menunjukkan bahwa unit pemrosesan grafis dapat digunakan untuk mempercepat operasi AI utama secara dramatis.

Kesadaran itu terus mencengkeram imajinasi perusahaan. IDC telah melaporkan bahwa dalam hal infrastruktur, komputasi yang dipercepat GPU dan peningkatan skala seperti HPC adalah salah satu pertimbangan utama bagi para pemimpin teknologi dan arsitek yang ingin membangun infrastruktur AI mereka.

Tetapi untuk semua organisasi yang telah berhasil menerapkan AI ke masalah dunia nyata, lebih banyak lagi yang berjuang untuk melampaui tahap percobaan atau percontohan. Penelitian IDC 2021 menemukan bahwa kurang dari sepertiga responden telah memindahkan proyek AI mereka ke dalam produksi, dan hanya sepertiga dari mereka yang telah mencapai “tahap produksi yang matang”.

Rintangan yang dikutip termasuk masalah dengan pemrosesan dan persiapan data dan memperkuat infrastruktur untuk mendukung AI pada skala perusahaan. Perusahaan perlu berinvestasi dalam "infrastruktur yang dibangun khusus dan berukuran tepat", kata IDC.

Apa masalah AI di sini?

Jadi di mana kesalahan organisasi-organisasi itu dengan AI? Salah satu faktornya mungkin adalah bahwa para pemimpin teknologi dan spesialis AI gagal untuk melihat secara holistik saluran AI yang lebih luas sambil terlalu memperhatikan GPU dibandingkan dengan mesin komputasi lainnya, terutama CPU yang terhormat.

Karena pada akhirnya, ini bukan masalah mendukung CPU versus GPU versus ASIC. Sebaliknya, ini tentang menemukan cara optimal untuk membangun saluran AI yang dapat membawa Anda mulai dari ide dan data serta pembuatan model hingga penerapan dan inferensi. Dan itu berarti menghargai kekuatan masing-masing arsitektur prosesor yang berbeda, sehingga Anda dapat menerapkan mesin komputasi yang tepat di waktu yang tepat.

Sebagai direktur senior Intel, Strategi dan Eksekusi AI Pusat Data, Shardul Brahmbhatt menjelaskan, “CPU telah digunakan untuk layanan mikro dan instans komputasi tradisional di cloud. Dan GPU telah digunakan untuk komputasi paralel, seperti streaming media, game, dan untuk beban kerja AI.”

Jadi, saat hyperscaler dan pemain cloud lainnya mengalihkan perhatian mereka ke AI, menjadi jelas bahwa mereka memanfaatkan kekuatan yang sama ini untuk tugas yang berbeda.

Kemampuan GPU di sekitar komputasi paralel membuatnya sangat cocok untuk melatih algoritme AI, misalnya. Sementara itu, CPU memiliki keunggulan dalam hal inferensi real-time batch rendah, latensi rendah, dan menggunakan algoritme tersebut untuk menganalisis data langsung serta memberikan hasil dan prediksi.

Sekali lagi, ada peringatan, Brahmbhatt menjelaskan, “Ada tempat di mana Anda ingin melakukan lebih banyak inferensi batch. Dan inferensi batch itu juga merupakan sesuatu yang dilakukan melalui GPU atau ASIC.”

Melihat ke bawah pipa

Tapi alur AI melampaui pelatihan dan inferensi. Di sisi kiri pipa, data harus diproses terlebih dahulu, dan algoritme dikembangkan. CPU generalis memiliki peran penting untuk dimainkan di sini.

Faktanya, GPU menyumbang proporsi yang relatif kecil dari total aktivitas prosesor di seluruh jalur AI, dengan beban kerja "tahap data" bertenaga CPU terhitung dua pertiga secara keseluruhan, menurut Intel (Anda dapat membaca Ringkasan Solusi – Optimalkan Inferensi dengan Teknologi CPU Intel sini).

Dan Brahmbhatt mengingatkan kita bahwa arsitektur CPU memiliki keunggulan lain, termasuk kemampuan program.

“Karena CPU telah digunakan secara luas, sudah ada ekosistem pengembang dan aplikasi yang tersedia, ditambah alat yang memberikan kemudahan penggunaan dan kemampuan program untuk komputasi tujuan umum,” ujarnya.

“Kedua, CPU menyediakan akses lebih cepat ke ruang memori yang lebih besar. Dan hal ketiga adalah komputasi yang lebih tidak terstruktur versus GPU [yang] merupakan komputasi yang lebih paralel. Untuk alasan ini, CPU beroperasi sebagai penggerak data yang memberi makan GPU, sehingga membantu dengan model Sistem Rekomendasi serta mengembangkan beban kerja seperti Graph Neural Networks.”

Rencana terbuka untuk pengembangan AI

Jadi, bagaimana seharusnya kita melihat masing-masing peran CPU dan GPU saat merencanakan jalur pengembangan AI, baik di tempat, di cloud, atau mengangkangi keduanya?

GPU merevolusi pengembangan AI, karena menawarkan metode akselerasi yang melepaskan beban operasi dari CPU. Tapi itu tidak berarti bahwa ini adalah pilihan yang paling masuk akal untuk pekerjaan tertentu.

Seperti yang dijelaskan oleh arsitek platform Intel, Sharath Raghava, “Aplikasi AI memiliki perhitungan vektor. Perhitungan vektor dapat diparalelkan. Untuk menjalankan beban kerja AI secara efisien, seseorang dapat mengeksploitasi kemampuan CPU dan GPU dengan mempertimbangkan ukuran komputasi vektor, latensi offload, kemampuan paralel, dan banyak faktor lainnya”. Namun dia melanjutkan, untuk tugas yang “lebih kecil”, “biaya” pembongkaran akan berlebihan, dan mungkin tidak masuk akal untuk menjalankannya di GPU atau akselerator.

CPU juga bisa mendapatkan keuntungan dari integrasi yang lebih dekat dengan komponen sistem lain yang memungkinkan mereka menyelesaikan pekerjaan AI lebih cepat. Mendapatkan nilai maksimal dari penerapan AI melibatkan lebih dari sekadar menjalankan model itu sendiri – wawasan yang dicari bergantung pada operasi prapemrosesan, inferensi, dan pascapemrosesan. Pra-pemrosesan membutuhkan data yang harus disiapkan agar sesuai dengan ekspektasi input dari model yang dilatih sebelum diumpankan untuk menghasilkan inferensi. Informasi yang berguna kemudian diekstrak dari hasil inferensi pada tahap postprocessing.

Jika kita berpikir tentang sistem deteksi intrusi (IDS) pusat data misalnya, penting untuk bertindak berdasarkan keluaran model untuk melindungi dan mencegah kerusakan apa pun dari serangan dunia maya secara tepat waktu. Dan biasanya, langkah-langkah preprocessing dan postprocessing lebih efisien ketika dilakukan pada CPU sistem host karena lebih terintegrasi dengan ekosistem arsitektural lainnya.

Peningkatan kinerja di bawah perintah starter

Jadi, apakah itu berarti mengabaikan manfaat akselerasi GPU sama sekali? Belum tentu. Intel telah membangun akselerasi AI ke dalam CPU Xeon Scalable selama beberapa tahun. Rangkaian tersebut sudah mencakup Deep Learning Boost untuk inferensi kinerja tinggi pada model pembelajaran mendalam, sementara Intel's Advanced Vector Extensions 512 (AVX 512) dan Vector Neural Network Extensions (VNNI) mempercepat kinerja inferensi INT8. Namun DL Boost juga menggunakan format brain floating point (BF16) untuk meningkatkan performa pada beban kerja pelatihan yang tidak memerlukan tingkat presisi tinggi.

CPU generasi keempat Intel Xeon Scalable yang akan datang akan menambahkan perkalian matriks tingkat lanjut, atau AMX. Hal ini akan memberikan peningkatan 8 kali lipat dibandingkan ekstensi AVX-512 VNNI x86 yang diimplementasikan pada prosesor sebelumnya menurut perhitungan Intel, dan memungkinkan prosesor Intel Xeon Scalable Generasi ke-4 untuk “menangani beban kerja pelatihan dan algoritme DL seperti yang dilakukan GPU”. Namun akselerator yang sama juga dapat diterapkan pada komputasi CPU umum untuk beban kerja AI dan non-AI.

Itu tidak berarti Intel mengharapkan pipeline AI menjadi x86 dari awal hingga akhir. Ketika lebih masuk akal untuk sepenuhnya melepaskan beban kerja pelatihan yang akan mendapat manfaat dari paralelisasi, Intel menawarkan Prosesor Pelatihan AI Habana Gaudi. Tes tolok ukur menunjukkan bahwa instans Amazon EC2 DL1 yang terakhir dapat memberikan kinerja harga hingga 40 persen lebih baik daripada instans pelatihan berbasis GPU Nvidia yang sebanding yang juga dihosting di cloud.

Pada saat yang sama, Seri GPU Flex Pusat Data Intel diarahkan untuk beban kerja dan operasi yang mendapat manfaat dari paralelisasi seperti inferensi AI, dengan implementasi berbeda yang ditujukan pada model AI yang "lebih ringan" dan lebih kompleks. GPU Pusat Data Intel® lainnya, dengan nama kode Ponte Vecchio (PVC), akan segera mulai menjalankan superkomputer Aurora di Argonne National Laboratory.

Bisakah kita pergi dari ujung ke ujung?

Jadi, secara potensial, silikon Intel dapat mendukung seluruh saluran AI, sambil meminimalkan kebutuhan untuk memindahkan data di antara mesin komputasi yang berbeda secara tidak perlu. Prosesor perusahaan – apakah GPU atau CPU – juga mendukung model perangkat lunak umum berdasarkan perkakas dan kerangka kerja sumber terbuka dengan pengoptimalan Intel melalui program OneAPI-nya.

Brahmbhatt mengutip warisan Intel dalam membangun ekosistem perangkat lunak x86 berdasarkan komunitas dan sumber terbuka sebagai keuntungan lain. “Filosofi yang dimiliki Intel adalah… 'biarkan ekosistem yang mendorong adopsi'. Dan kami perlu memastikan bahwa kami adil dan terbuka terhadap ekosistem, dan kami memberikan saus rahasia kami kembali ke ekosistem.”

“Kami menggunakan tumpukan perangkat lunak umum, pada dasarnya untuk memastikan bahwa pengembang tidak perlu khawatir tentang perbedaan IP yang mendasari antara CPU dan GPU untuk AI.”

Kombinasi tumpukan perangkat lunak umum dan fokus pada penggunaan mesin komputasi yang tepat untuk tugas yang tepat bahkan lebih penting lagi di perusahaan. Bisnis mengandalkan AI untuk membantu mereka memecahkan beberapa masalah yang paling mendesak, baik yang ada di cloud atau di tempat. Tetapi beban kerja campuran memerlukan perangkat lunak berfitur lengkap, serta pemeliharaan dan pengelolaan tumpukan sistem, untuk menjalankan kode yang tidak termasuk dalam kernel yang ada di akselerator.

Jadi, ketika harus menjawab pertanyaan "bagaimana kita membawa AI ke skala perusahaan", jawabannya mungkin bergantung pada melihat gambaran yang lebih besar dan memastikan Anda menggunakan kit perangkat keras dan perangkat lunak lengkap yang Anda inginkan.

Disponsori oleh Intel.