Pengawas privasi mendesak perusahaan untuk menghapus perangkat lunak AI analisis emosional

Perusahaan harus berpikir dua kali sebelum menerapkan sistem analisis emosional bertenaga AI yang rentan terhadap bias sistemik dan penipuan lainnya, Kantor Komisaris Informasi Inggris (ICO) memperingatkan minggu ini.

Organisasi menghadapi penyelidikan jika mereka menekan dan menggunakan teknologi sub-par ini yang menempatkan orang pada risiko, pengawas menambahkan.

Algoritme pembelajaran mesin yang dimaksudkan untuk memprediksi suasana hati dan reaksi seseorang menggunakan visi komputer untuk melacak tatapan, gerakan wajah, dan pemrosesan audio untuk mengukur infleksi dan sentimen keseluruhan. Seperti yang bisa dibayangkan, itu belum tentu akurat atau adil, dan mungkin ada masalah privasi yang menangani data untuk pelatihan dan inferensi.

Memang, wakil komisaris ICO Stephen Bonner mengatakan teknologi itu tidak mudah, yang mengarah ke bias sistemik, ketidaktepatan, atau diskriminasi terhadap kelompok sosial tertentu. “Perkembangan di pasar biometrik dan emosi AI belum matang. Mereka mungkin belum bekerja, atau bahkan tidak akan pernah bekerja, ”dia tersebut dalam sebuah pernyataan. 

“Meskipun ada peluang, risikonya saat ini lebih besar. Di ICO, kami khawatir bahwa analisis data yang salah dapat mengakibatkan asumsi dan penilaian tentang seseorang yang tidak akurat dan mengarah pada diskriminasi,” lanjut pernyataannya.

Bonner mencatat perangkat lunak analisis emosional sering dipasangkan dengan sistem biometrik, mengumpulkan dan menyimpan informasi pribadi yang lebih luas daripada gambar wajah. Penyedia perangkat lunak seringkali tidak transparan tentang bagaimana data pribadi ini diproses atau disimpan. 

“Satu-satunya penerapan biometrik yang berkelanjutan adalah yang berfungsi penuh, akuntabel, dan didukung oleh sains,” katanya. “Seperti yang terjadi, kami belum melihat teknologi AI emosi berkembang dengan cara yang memenuhi persyaratan perlindungan data, dan memiliki pertanyaan yang lebih umum tentang proporsionalitas, keadilan, dan transparansi di area ini.”

Yang tampaknya cara yang sopan untuk mengatakan: Anda seharusnya hanya menggunakan model AI pembaca emosi yang berfungsi seperti yang diharapkan ICO, dan model itu tidak ada, jadi Anda harus menghentikan apa yang Anda lakukan.

Pengawas privasi data Inggris diharapkan untuk menerbitkan laporan yang merinci bagaimana data biometrik, termasuk pengenalan wajah, identifikasi sidik jari, dan pengenalan suara harus ditangani oleh perusahaan tahun depan di musim semi.

“ICO akan terus meneliti pasar, mengidentifikasi pemangku kepentingan yang ingin membuat atau menerapkan teknologi ini, dan menjelaskan pentingnya privasi dan kepatuhan data yang ditingkatkan, sambil mendorong kepercayaan dan keyakinan tentang cara kerja sistem ini,” tambah Bonner.

Para ahli telah membunyikan alarm atas analisis sentimen dan emosi selama bertahun-tahun. Perasaan itu subjektif dan sulit untuk diinterpretasikan secara akurat. Manusia seringkali tidak dapat melakukan ini secara efektif untuk diri mereka sendiri atau orang lain, apalagi mesin. ®