Pengenalan tindakan telah meningkat secara dramatis dengan kumpulan data video berskala besar. Namun, kumpulan data ini disertai dengan masalah terkait biaya kurasi, privasi, etika, bias, dan hak cipta. Jadi, MIT para ilmuwan beralih ke kumpulan data sintetis.
Ini dibuat oleh komputer yang menggunakan model 3D dari pemandangan, objek, dan manusia untuk dengan cepat menghasilkan berbagai klip tindakan tertentu — tanpa potensi masalah hak cipta atau masalah etika yang timbul dari data nyata.
Apakah data sintetis sama bagusnya dengan data nyata?
Sebuah tim ilmuwan di MIT, MIT-IBM Watson AI Lab, dan Boston University berusaha menjawab pertanyaan ini. Mereka membuat kumpulan data sintetis berisi 150,000 klip video yang mewakili berbagai tindakan manusia dan dilatih pembelajaran mesin model yang menggunakan kumpulan data ini. Mereka kemudian menampilkan enam kumpulan data film yang diambil dari dunia nyata ke model tersebut untuk menguji seberapa baik mereka dapat menangkap tindakan dalam rekaman tersebut.
Para ilmuwan menemukan bahwa model yang dilatih secara sintetis memiliki performa lebih baik daripada model yang dilatih berdasarkan data nyata untuk video yang memiliki lebih sedikit objek latar belakang.
Penemuan ini dapat membantu para ilmuwan dalam menggunakan kumpulan data sintetis untuk membantu model bekerja lebih akurat pada tugas sebenarnya. Untuk mengurangi beberapa masalah etika, privasi, dan hak cipta yang terkait dengan penggunaan kumpulan data aktual, hal ini juga dapat membantu peneliti dalam menentukan aplikasi pembelajaran mesin mana yang paling cocok untuk pelatihan dengan data sintetis.
Rogerio Feris, ilmuwan utama, dan manajer di MIT-IBM Watson AI Lab berkata, “Tujuan akhir dari penelitian kami adalah mengganti prapelatihan data nyata dengan prapelatihan data sintetis. Ada biaya untuk membuat tindakan dalam data sintetis, tetapi setelah selesai, Anda dapat menghasilkan gambar atau video tanpa batas dengan mengubah pose, pencahayaan, dll. Itulah keindahan data sintetis.”
Para ilmuwan memulai dengan menyusun Pra-pelatihan dan Transfer Tindakan Sintetis (SynAPT) baru, menggunakan tiga kumpulan data klip video sintetis yang tersedia untuk umum yang menangkap tindakan manusia. Ini berisi hampir 150 kategori aksi, dengan 1,000 klip video per kategori.
Tiga model pembelajaran mesin telah dilatih sebelumnya untuk mengenali tindakan menggunakan kumpulan data setelah dibuat. Pra-pelatihan adalah proses mengajarkan suatu tugas kepada seorang model sebelum mengajarkannya pada tugas yang lain. Model yang telah dilatih sebelumnya dapat menggunakan parameter yang telah dipelajarinya untuk membantunya mempelajari tugas baru dengan kumpulan data baru dengan lebih cepat dan efisien. Hal ini dimodelkan berdasarkan cara orang belajar, yaitu menggunakan kembali informasi masa lalu ketika kita mengetahui sesuatu yang baru. Model yang telah dilatih sebelumnya telah diuji menggunakan enam kumpulan data klip video nyata, yang masing-masing menangkap kelompok tindakan yang berbeda dari yang ada dalam data pelatihan.
Para ilmuwan terkejut melihat bahwa ketiga model sintetis mengungguli model yang dilatih dengan klip video sebenarnya pada empat dari enam kumpulan data. Akurasinya paling tinggi untuk kumpulan data yang berisi klip video dengan “bias objek adegan rendah”. Artinya model tidak dapat mengenali tindakan dengan melihat latar belakang atau objek lain dalam adegan — model harus fokus pada tindakan itu sendiri.
Feris berkata, “Dalam video dengan bias adegan-objek yang rendah, dinamika temporal dari tindakan lebih penting daripada tampilan objek atau latar belakang, dan hal ini tampaknya ditangkap dengan baik menggunakan data sintetis.”
“Bias adegan-objek yang tinggi dapat menjadi hambatan. Model mungkin salah mengklasifikasikan suatu tindakan dengan melihat objeknya, bukan tindakan itu sendiri. Itu bisa membingungkan modelnya.”
Rekan penulis Rameswar Panda, anggota staf peneliti di MIT-IBM Watson AI Lab, mengatakan, “Berdasarkan hasil ini, para peneliti ingin memasukkan lebih banyak kelas tindakan dan platform video sintetis tambahan dalam pekerjaan di masa depan, yang pada akhirnya menciptakan katalog model yang telah dilatih sebelumnya menggunakan data sintetis.”
“Kami ingin membangun model yang memiliki kinerja yang sangat mirip atau bahkan lebih baik daripada model yang ada dalam literatur, namun tanpa terikat oleh bias atau masalah keamanan apa pun.”
Sooyoung Jin, rekan penulis dan postdoc CSAIL, berkata, “Mereka juga ingin menggabungkan pekerjaan mereka dengan penelitian yang berupaya menghasilkan video sintetis yang lebih akurat dan realistis, yang dapat meningkatkan performa model.”
“Kami menggunakan kumpulan data sintetis untuk mencegah masalah privasi atau bias kontekstual atau sosial, namun apa yang dipelajari oleh model tersebut? Apakah ia mempelajari sesuatu yang tidak memihak?”
Rekan penulis Samarth Mishra, seorang mahasiswa pascasarjana di Boston University (BU), tersebut, “Meskipun biaya untuk memperoleh data sintetis yang beranotasi baik lebih murah, saat ini kami tidak memiliki kumpulan data dengan skala yang dapat menyaingi kumpulan data beranotasi terbesar dengan video nyata. Dengan mendiskusikan berbagai biaya dan kekhawatiran melalui video nyata dan menunjukkan kemanjuran data sintetis, kami berharap dapat memotivasi upaya ke arah ini.”
Referensi Jurnal:
- Yo-apa Kim dkk. Seberapa Dapat Dipindahtangankan Representasi Video Berdasarkan Data Sintetis? kertas
