Beri makan api AI dengan sentralisasi

Fitur Bersponsor Aliran teknologi dan penemuan revolusioner yang stabil - api, pertanian, roda, mesin cetak dan internet, untuk menyebutkan beberapa - telah sangat membentuk perkembangan dan peradaban manusia. Dan siklus inovasi itu berlanjut dengan Artificial Intelligence (AI). 

Firma riset IDC telah melangkah lebih jauh dengan menyimpulkan bahwa AI benar-benar jawaban untuk hampir semua "segalanya". Rasmus Andsbjerg, wakil presiden asosiasi, data dan analitik di IDC mengatakan: “Kenyataannya adalah, AI menawarkan solusi untuk semua yang kita hadapi saat ini. AI dapat menjadi sumber untuk mempercepat perjalanan transformasi digital, memungkinkan penghematan biaya pada saat tingkat inflasi yang mengejutkan, dan mendukung upaya otomasi pada saat kekurangan tenaga kerja.”

Tentu saja, dan di semua industri dan fungsi, organisasi pengguna akhir mulai menemukan manfaat AI, karena algoritme yang semakin kuat dan infrastruktur dasar muncul untuk memungkinkan pengambilan keputusan yang lebih baik dan produktivitas yang lebih tinggi. 

Pendapatan di seluruh dunia untuk pasar kecerdasan buatan (AI), termasuk perangkat lunak, perangkat keras, dan layanan terkait untuk aplikasi sentris AI dan nonsentris AI, mencapai $383.3 miliar pada tahun 2021. Itu naik 20.7% dibandingkan tahun sebelumnya, menurut sebagian besar terkini International Data Corporation (IDC) Pelacak Kecerdasan Buatan Semesteran Sedunia.

Demikian pula, penerapan perangkat lunak AI ke cloud terus menunjukkan pertumbuhan yang stabil. IDC memperkirakan versi cloud dari perangkat lunak AI yang baru dibeli akan melampaui penerapan lokal pada tahun 2022.

Langit adalah batas untuk AI

Dr Ronen Dar, chief technology officer spesialis AI Run:ai, yang telah menciptakan platform manajemen komputasi untuk AI, percaya bahwa langit adalah batas untuk sektor AI perusahaan yang baru lahir. 

“AI adalah pasar yang kami lihat berkembang sangat pesat. Dan dalam hal perusahaan, kami melihat permintaan dan adopsi untuk pembelajaran mesin dan AI. Dan saya rasa saat ini ada teknologi baru di sini yang menghadirkan kemampuan baru yang akan mengubah dunia; yang akan merevolusi bisnis,” catat Dar. 

Ada juga pemahaman yang semakin jelas tentang perlunya mulai mengeksplorasi dan bereksperimen dengan AI dan memahami bagaimana mengintegrasikan AI ke dalam model bisnis.

Dar percaya bahwa AI dapat membawa “manfaat luar biasa” untuk meningkatkan proses bisnis perusahaan yang ada: “Dalam hal mengoptimalkan dan membuktikan bisnis saat ini, kami melihat banyak kasus penggunaan seputar AI dan pembelajaran mesin yang meningkatkan operasi dan bagaimana keputusan dibuat seputar penawaran dan permintaan.”

Dia menunjukkan bahwa model pembelajaran mendalam baru berdasarkan jaringan saraf dapat meningkatkan proses, pengambilan keputusan, dan keakuratan proses bisnis penting seperti deteksi penipuan di industri jasa keuangan. Perawatan kesehatan adalah sektor lain di mana potensi AI “sangat besar”, terutama dalam hal membantu dokter membuat keputusan klinis yang lebih baik dan membantu menemukan serta mengembangkan obat baru. 

Dan, melihat lebih jauh ke depan, Dar memperkirakan bahwa teknologi AI akan membantu menghadirkan peluang komersial baru yang saat ini tidak ada di sektor seperti kendaraan self-driving dan game imersif. 

Rintangan infrastruktur yang harus diatasi

Terlepas dari potensi yang jelas untuk AI dan pembelajaran mesin di perusahaan, Dar mengakui bahwa penyebaran komersial AI tertahan oleh masalah seputar penyediaan infrastruktur. Dia menyarankan agar perusahaan perlu melihat cara AI masuk ke dalam organisasi sejak awal.

Biasanya, ini melibatkan proses departemen per departemen yang tidak terkoordinasi yang melihat tim yang berbeda menyediakan teknologi dan sumber daya secara mandiri, yang mengarah ke penerapan yang terpisah. TI tidak dapat secara efektif mengontrol proyek ad hoc ini dan tidak memiliki visibilitas terhadap apa yang sedang terjadi. Dan ini mempersulit, bahkan tidak mungkin, untuk menghitung ROI pada pembelanjaan infrastruktur AI. 

“Ini adalah masalah klasik: dulunya IT bayangan dan sekarang AI bayangan,” kata Dar. 

Selain itu, infrastruktur canggih yang diperlukan untuk AI/ML merupakan investasi karena perusahaan memerlukan perangkat keras komputasi berakselerasi GPU yang kuat untuk memproses data yang sangat kompleks dan untuk melatih model. 

“Tim AI memerlukan banyak daya komputasi untuk melatih model, biasanya menggunakan GPU, yang merupakan sumber daya pusat data premium yang dapat dibungkam dan tidak digunakan secara efisien,” kata Dar. “Itu pasti bisa menghasilkan banyak uang yang terbuang percuma.” 

Infrastruktur silo itu dapat menghasilkan tingkat pemanfaatan kurang dari 10%, misalnya.

Menurut jajak pendapat Run:ai, Survei Infrastruktur AI 2021, diterbitkan pada Oktober 2021, 87 persen responden mengatakan bahwa mereka mengalami beberapa masalah alokasi sumber daya GPU/komputasi, dengan 12 persen mengatakan hal ini sering terjadi. Hasilnya, 83 persen perusahaan yang disurvei melaporkan bahwa mereka tidak sepenuhnya menggunakan perangkat keras GPU dan AI mereka. Faktanya, hampir dua pertiga (61 persen) mengindikasikan perangkat keras GPU dan AI mereka sebagian besar berada pada tingkat utilisasi "sedang".

Sentralisasi AI

Untuk mengatasi masalah ini, Dar menganjurkan pemusatan penyediaan sumber daya AI. Run:AI telah mengembangkan platform manajemen komputasi untuk AI yang melakukan hal ini, memusatkan dan memvirtualisasikan sumber daya komputasi GPU. Dengan menyatukan GPU ke dalam satu lapisan virtual dan mengotomatiskan penjadwalan beban kerja untuk pemanfaatan 100 persen, pendekatan ini menawarkan keuntungan dibandingkan dengan sistem silo pada tingkat departemen. 

Memusatkan infrastruktur memberikan kontrol dan visibilitas kembali, sekaligus membebaskan data scientist dari biaya pengelolaan infrastruktur. Tim AI berbagi sumber daya komputasi AI universal yang dapat diputar ke atas dan ke bawah secara dinamis saat permintaan meningkat atau menurun, menghilangkan kemacetan permintaan dan periode penggunaan yang kurang. 

Pendekatan ini, Dar berpendapat, dapat membantu organisasi mendapatkan hasil maksimal dari perangkat keras mereka dan membebaskan ilmuwan data dari kendala keterbatasan sumber daya yang mendasarinya. Semua itu berarti mereka dapat menjalankan lebih banyak pekerjaan dan menghadirkan lebih banyak model AI ke dalam produksi. 

Contoh diberikan dari London Medical Imaging & Artificial Intelligence Center for Value Based Healthcare, dipimpin oleh King's College London dan berbasis di Rumah Sakit St. Thomas. Ini menggunakan gambar medis dan data perawatan kesehatan elektronik untuk melatih algoritme pembelajaran mendalam yang canggih untuk visi komputer dan pemrosesan bahasa alami. Algoritme ini digunakan untuk membuat alat baru untuk skrining yang efektif, diagnosis yang lebih cepat, dan terapi yang dipersonalisasi.

Center menyadari bahwa infrastruktur AI warisannya menderita masalah efisiensi: penggunaan total GPU di bawah 30 persen dengan periode diam "signifikan" untuk beberapa komponen. Setelah beralih untuk mengatasi masalah ini dengan mengadopsi model penyediaan komputasi AI terpusat berdasarkan platform Run:ai, pemanfaatan GPU-nya meningkat sebesar 110 persen, dengan peningkatan paralel dalam kecepatan eksperimen dan efisiensi penelitian secara keseluruhan.

“Eksperimen kami dapat memakan waktu berhari-hari atau beberapa menit, menggunakan tetesan daya komputasi atau seluruh kelompok,” kata Dr M. Jorge Cardoso, profesor asosiasi dan dosen senior AI di King's College London dan CTO AI Centre. “Mengurangi waktu untuk mencapai hasil memastikan kami dapat mengajukan dan menjawab pertanyaan yang lebih kritis tentang kesehatan dan kehidupan masyarakat,” 

Memusatkan sumber daya GPU AI juga memberikan manfaat komersial yang berharga bagi Wayve, sebuah perusahaan yang berbasis di London yang mengembangkan perangkat lunak AI untuk mobil tanpa pengemudi. Teknologinya dirancang untuk tidak bergantung pada penginderaan, melainkan berfokus pada kecerdasan yang lebih besar, untuk berkendara otonom yang lebih baik di daerah perkotaan yang padat.

Fleet Learning Loop Wayve melibatkan siklus pengumpulan data yang berkelanjutan, kurasi, pelatihan model, simulasi ulang, dan model lisensi sebelum ditempatkan ke dalam armada. Konsumsi komputasi GPU utama perusahaan berasal dari pelatihan produksi Fleet Learning Loop. Ini melatih baseline produk dengan kumpulan data lengkap dan terus melatih ulang untuk mengumpulkan data baru melalui iterasi loop pembelajaran armada.

Perusahaan mulai menyadari bahwa mereka mengalami "horor" penjadwalan GPU: meskipun hampir 100 persen dari sumber daya GPU yang tersedia dialokasikan untuk peneliti, kurang dari 45 persen digunakan saat pengujian pertama kali dilakukan. 

“Karena GPU ditugaskan secara statis kepada peneliti, ketika peneliti tidak menggunakan GPU yang ditugaskan kepada mereka, orang lain tidak dapat mengaksesnya, menciptakan ilusi bahwa GPU untuk pelatihan model memiliki kapasitas bahkan saat banyak GPU tidak digunakan” catatan Wayve. 

Bekerja dengan Run:ai mengatasi masalah ini dengan menghapus silo dan menghilangkan alokasi sumber daya statis. Kumpulan GPU bersama dibuat memungkinkan tim untuk mengakses lebih banyak GPU dan menjalankan lebih banyak beban kerja, yang menyebabkan peningkatan 35% dari pemanfaatannya. 

Mencerminkan peningkatan efisiensi CPU

Mencerminkan cara VMware telah membawa peningkatan efisiensi yang substansial pada bagaimana CPU server digunakan untuk kapasitas maksimum selama beberapa tahun terakhir, inovasi baru kini hadir untuk mengoptimalkan efisiensi pemanfaatan GPU untuk beban kerja komputasi AI. 

“Jika Anda berpikir tentang kumpulan perangkat lunak yang berjalan di atas CPU, itu dibuat dengan banyak VMware dan virtualisasi,” jelas Dar. “GPU relatif baru di pusat data, dan perangkat lunak untuk AI dan virtualisasi – seperti Perusahaan NVIDIA AI – juga merupakan perkembangan terbaru.” 

“Kami menghadirkan teknologi canggih di area tersebut dengan kemampuan seperti GPU fraksional, pertukaran pekerjaan, dan. memungkinkan beban kerja untuk berbagi GPU secara efisien,” kata Dar, seraya menambahkan bahwa penyempurnaan lebih lanjut sedang direncanakan.

Run:ai bekerja sama dengan NVIDIA untuk meningkatkan dan menyederhanakan penggunaan GPU di perusahaan. Kolaborasi terbaru termasuk memungkinkan fleksibilitas GPU multi-cloud untuk perusahaan yang menggunakan GPU di cloud, dan integrasi dengan Server Inferensi NVIDIA Triton perangkat lunak untuk menyederhanakan proses penerapan model dalam produksi.

Karena inovasi besar sepanjang sejarah telah berdampak besar pada umat manusia dan dunia, Dar mencatat bahwa kekuatan AI perlu dimanfaatkan dengan hati-hati untuk memaksimalkan potensi keuntungannya, sambil mengelola potensi kerugiannya. Dia membandingkan AI dengan inovasi paling purba: api. 

“Ini seperti api yang membawa banyak hal hebat dan mengubah hidup manusia. Api juga membawa bahaya. Jadi manusia mengerti bagaimana hidup dengan api,” kata Dar. "Saya pikir ini juga ada di AI akhir-akhir ini." 

Disponsori oleh Run:ai.