Pencarian Gambar Berbasis Kesamaan untuk Seni Visual

Pencarian gambar berbasis kesamaan, juga dikenal sebagai pengambilan gambar berbasis konten, secara historis menjadi tugas visi komputer yang menantang. Masalah ini adalah sangat sulit untuk seni visual, karena kurang jelas seperti apa metrik "kesamaan" harus didefinisikan dan siapa yang harus menetapkan standar seni itu.

Misalnya, ketika saya mengunggah foto mural dinding yang menampilkan wajah di antara persegi panjang berwarna-warni dan garis tebal (lihat gambar di bawah) ke Google untuk menemukan gambar yang serupa, Google memberi saya serangkaian opsi di bawah bagian "Gambar yang mirip secara visual". Sebagian besar gambar adalah mural dinding dengan wajah yang tergambar jelas di mural; lainnya adalah lukisan murni dengan wajah di dalamnya. Semua gambar membentang berbagai skema warna dan tekstur gaya.

Sebuah 2018 kertas dari Geirhos, dkk. [1] mengungkapkan bahwa jaringan saraf convolutional (CNN) yang dilatih di ImageNet bias terhadap tekstur gaya gambar. Untuk memaksa CNN mempelajari representasi berbasis bentuk, para peneliti menerapkan transfer gaya pada ImageNet untuk membuat kumpulan data "Bergaya-ImageNet".

Saya memutuskan untuk membangun berdasarkan temuan mereka untuk menyelidiki efek pelatihan pasangan karya seni dari gaya artistik yang sama pada model yang bias tekstur vs. bentuk. Dalam membandingkan pasangan lukisan dari Vincent van Gogh vs. Georgia O'Keeffe, keduanya seniman dengan gaya seni yang sangat khas, saya menemukan bahwa model AlexNet yang dilatih oleh ImageNet yang bias tekstur melakukan pekerjaan yang jauh lebih baik dengan menghubungkan potongan-potongan dari seniman yang sama (Gambar 1) dibandingkan dengan model AlexNet yang dilatih dengan Stylized-ImageNet yang bias bentuk (Gambar 2).

Kesimpulan utama saya dari percobaan ini adalah bahwa dalam menilai kesamaan seni rupa, jika kita menganggap karya seni berasal dari artis yang sama sebagai kriteria kesamaan, maka tekstur gaya jauh lebih penting untuk mencari dan membandingkan daripada representasi bentuk. Namun, evaluasi "gaya" tampak seperti proses persepsi yang sangat subjektif dan manusiawi. Temuan ini membuat saya semakin penasaran tentang metode teknis apa yang dapat menggabungkan penilaian manusia dan kuantitatif dalam menentukan kesamaan artistik.

Sebuah 2011 kertas dari Hughes dkk. [2] menggabungkan penelitian kuantitatif dan psikologis untuk menyimpulkan bahwa menggabungkan informasi persepsi manusia dengan representasi statistik seni tingkat tinggi sangat efektif dalam memecahkan masalah pencarian berbasis kesamaan untuk seni. Persepsi manusia tentang gaya artistik umumnya didasarkan pada kualitas elemen seperti garis, bayangan, dan warna, yang sulit ditangkap menggunakan statistik orde rendah. Jadi para peneliti ini memanfaatkan statistik spasial tingkat tinggi dan menerapkan temuan mereka untuk membandingkan seni visual. Kemudian, mereka melakukan eksperimen psikofisik yang meminta peserta untuk menilai kesamaan antara pasangan karya seni dan menggunakan hasil ini bersama-sama dengan model prediksi mereka.

Jika konten pendidikan yang mendalam ini bermanfaat bagi Anda, berlangganan milis AI kami untuk diperingatkan ketika kami merilis materi baru. 

Proses dan Hasil Kuantitatif

Hughes dkk. melakukan penelitian mereka pada kumpulan data 308 gambar resolusi tinggi dari karya seni yang mencakup berbagai seniman. Mereka menggunakan dua metode dekomposisi gambar untuk mengekstrak fitur dari gambar:

• Filter gabor, yang peka terhadap garis dan tepi pada orientasi dan frekuensi spasial tertentu
• Model pengkodean yang jarang, yang mempelajari serangkaian fungsi dasar yang terkait dengan karakteristik statistik tingkat tinggi dari suatu gambar

Setelah mengekstrak fitur, mereka kemudian membandingkan dan mengevaluasi gambar artistik ini dengan empat metrik berikut:

• Orientasi puncak, yang melihat pada orientasi apa amplitudo puncak terjadi dalam transformasi Fourier 2D dari fungsi dasar yang dipelajari dari model pengkodean sparse
• Frekuensi spasial puncak, yang melihat pada frekuensi spasial berapa amplitudo puncak terjadi pada
• Bandwidth orientasi, yang mengukur seberapa selektif fungsi basis untuk orientasi yang disukai itu
• Bandwidth frekuensi spasial, yang mengukur seberapa selektif fungsi basis untuk frekuensi spasial yang disukai itu

Kemudian, para peneliti mengeksplorasi metrik jarak yang berbeda (misalnya divergensi KL) untuk membandingkan distribusi dari empat metrik di atas untuk mendapatkan matriks jarak. Penting untuk dicatat bahwa karena tidak ada kebenaran dasar kesamaan gaya, para peneliti membandingkan karya seni dengan pelabelan seniman sejati, yaitu semua lukisan oleh Picasso diberi label yang sama, sehingga matriks jarak dibangun sehubungan dengan pelabelan seniman sejati. . Melakukan pengelompokan k-means menggunakan metrik jarak yang berbeda mengungkapkan keberhasilan keseluruhan menggunakan representasi statistik tingkat tinggi ini untuk gambar seni visual (lihat grafik di bawah).

Eksperimen Kesamaan Persepsi Psikofisik

Selain mengembangkan metode untuk mengkarakterisasi gaya secara kuantitatif visual karya seni, para peneliti melakukan dua eksperimen psikofisik untuk mengambil keuntungan dari informasi persepsi manusia. Mereka meminta peserta untuk menilai kesamaan antara pasangan gambar seni dalam seni abstrak, lanskap, dan potret, menggabungkan jawaban mereka untuk membuat matriks kesamaan untuk masing-masing dari tiga kategori.

Percobaan 1 berusaha untuk membandingkan kemanjuran penilaian persepsi dalam memprediksi hubungan gaya antara karya seni. Para peneliti mengeluarkan dua gambar per kategori gambar; kemudian, mereka melatih model regresi menggunakan jarak berbasis fitur untuk memprediksi jarak antara dua gambar sesuai dengan kesamaan yang mereka rasakan. Dengan model yang dipelajari, mereka memperkirakan jarak antara gambar yang dipegang dan gambar pelatihan. Akhirnya, mereka membandingkan jarak yang diprediksi dengan jarak persepsi sebenarnya antara gambar.

Para peneliti menemukan bahwa informasi perseptual dari karya seni abstrak dan lanskap memungkinkan prediksi yang signifikan secara statistik, yang memberi tahu kita bahwa informasi statistik yang berguna tidak hanya ada dalam data kesamaan persepsi tetapi juga dapat digunakan untuk memodelkan perbedaan di seluruh karya seni visual.

Percobaan 2 mengukur sejauh mana informasi persepsi terbatas dari tiga kategori gambar dapat memprediksi perbedaan gaya dan hubungan dalam kumpulan gambar yang lebih besar, yang secara langsung relevan dengan masalah pencarian gambar berbasis kesamaan. Prosesnya mirip dengan Eksperimen 1, hanya saja kali ini mereka mengeluarkan 51 gambar di tiga kategori dan menggunakan gambar yang tersisa untuk membuat matriks jarak persepsi. Matriks jarak prediksi mereka menyarankan bahwa bahkan dengan informasi persepsi yang terbatas, informasi tersebut sangat membantu dalam “membimbing cara kami menggabungkan fitur statistik untuk memahami persepsi gaya.”

Final Thoughts

Singkatnya, makalah Hughes et al. "Membandingkan Statistik Spasial Tingkat Tinggi dan Penilaian Perseptual dalam Analisis Stylometrik Seni" menunjukkan kepada kita pentingnya dan kebutuhan untuk menggabungkan kedua informasi persepsi manusia dengan informasi statistik tingkat tinggi untuk mengevaluasi kesamaan seni visual.

Penelitian psikologis lebih lanjut masih perlu dilakukan dalam mengevaluasi bagaimana gaya artistik dirasakan, didefinisikan, dan dievaluasi sehubungan dengan kesamaan. Dalam makalah mereka, mereka menyebutkan bagaimana “[a]t hadir … hanya ada beberapa studi kuantitatif tentang faktor-faktor yang mengatur persepsi gaya manusia.”

Dengan mempertimbangkan konteks visi komputer yang lebih luas, menarik juga untuk memikirkan tentang perlunya representasi statistik tingkat tinggi dari gaya artistik dalam analogi dengan kebutuhan akan lapisan konvolusi yang lebih dalam di CNN.

Semua dalam semua, mengakar penilaian dalam persepsi manusia sambil juga mengoptimalkan dan memanfaatkan semua informasi kuantitatif yang tersedia adalah kunci dalam mempertimbangkan bagaimana mengembangkan sistem pencarian gambar berbasis kesamaan yang lebih baik untuk karya seni visual.

Referensi

[1] Geirhos, R., Rubisch, P., Michaelis, C., Bethge, M., Wichmann, FA, dan Brendel, W. “CNN yang dilatih ImageNet bias terhadap tekstur; meningkatkan bias bentuk meningkatkan akurasi dan ketahanan.” ICLR 2019. Pracetak arXiV: https://arxiv.org/abs/1811.12231.

[2] Hughes, JM, Graham, DJ, Jacobsen, CR, dan Rockmore, DN "Membandingkan statistik spasial tingkat tinggi dan penilaian persepsi dalam analisis stilometrik seni." Konferensi Pemrosesan Sinyal Eropa ke-2011 19. https://ieeexplore.ieee.org/abstract/document/7073967.

Catherine Yeo adalah seorang sarjana di Harvard yang mempelajari Ilmu Komputer. Anda dapat menemukannya di Twitter @catherinehyeo.

Artikel ini terinspirasi oleh PSYCH 1406 Harvard, "Sistem Visual Biologis dan Buatan: Bagaimana Manusia dan Mesin Mewakili Dunia Visual." Terima kasih kepada Profesor George Alvarez atas umpan balik dan bimbingannya.

Artikel ini awalnya diterbitkan pada Menuju Ilmu Data dan diterbitkan kembali ke TOPBOTS dengan izin dari penulis.

Nikmati artikel ini? Daftar untuk pembaruan AI lainnya.

Kami akan memberi tahu Anda ketika kami merilis lebih banyak pendidikan teknis.

Pos Pencarian Gambar Berbasis Kesamaan untuk Seni Visual muncul pertama pada TOPBOT.

• Coinsmart. Pertukaran Bitcoin dan Crypto Terbaik Eropa.
• Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. AKSES GRATIS.
• CryptoHawk. Radar Altcoin. Uji Coba Gratis.
• Sumber: https://www.topbots.com/similarity-based-image-search-for-visual-art/