Privacywaakhond dringt er bij bedrijven op aan om AI-software voor emotionele analyse te laten vallen

Bedrijven moeten twee keer nadenken voordat ze AI-aangedreven emotionele analysesystemen inzetten die vatbaar zijn voor systemische vooroordelen en andere snafus, waarschuwde het Britse Information Commissioner's Office (ICO) deze week.

Organisaties worden geconfronteerd met onderzoek als ze doorgaan en deze ondermaatse technologie gebruiken die mensen in gevaar brengt, voegde de waakhond eraan toe.

Algoritmen voor machinaal leren die beweren iemands stemmingen en reacties te voorspellen, gebruiken computervisie om blikken, gezichtsbewegingen en audioverwerking te volgen om verbuiging en algemeen sentiment te meten. Zoals je je misschien kunt voorstellen, is het niet per se nauwkeurig of eerlijk, en kunnen er privacyproblemen zijn bij het omgaan met gegevens voor training en gevolgtrekking.

Plaatsvervangend ICO-commissaris Stephen Bonner zei inderdaad dat de technologie niet onfeilbaar is, wat leidt tot systemische vooringenomenheid, onnauwkeurigheid of discriminatie van specifieke sociale groepen. “De ontwikkelingen in de biometrie- en emotie-AI-markt zijn nog onvolwassen. Ze werken misschien nog niet, of zelfs nooit, "hij zei in een verklaring. 

“Hoewel er kansen zijn, zijn de risico's momenteel groter. Bij de ICO zijn we bezorgd dat een onjuiste analyse van gegevens kan leiden tot aannames en oordelen over een persoon die onnauwkeurig zijn en tot discriminatie kunnen leiden”, vervolgt zijn verklaring.

Bonner merkte op dat software voor emotionele analyse vaak wordt gecombineerd met biometrische systemen, waardoor een breder scala aan persoonlijke informatie wordt verzameld en opgeslagen dan alleen gezichtsafbeeldingen. Softwareaanbieders zijn vaak niet transparant over hoe deze persoonsgegevens worden verwerkt of opgeslagen. 

"De enige duurzame biometrische implementaties zullen volledig functioneel zijn, verantwoordelijk zijn en worden ondersteund door de wetenschap", zei hij. "Zoals het er nu uitziet, hebben we nog geen enkele emotie-AI-technologie zien ontwikkelen op een manier die voldoet aan de vereisten voor gegevensbescherming, en hebben we meer algemene vragen over evenredigheid, eerlijkheid en transparantie op dit gebied."

Dat lijkt een beleefde manier om te zeggen: je zou alleen emotie-lezende AI-modellen moeten gebruiken die werken zoals de ICO verwacht, en die modellen bestaan ​​niet, dus je moet gewoon stoppen met wat je doet.

De Britse waakhond voor gegevensprivacy zal naar verwachting volgend jaar in het voorjaar een rapport publiceren waarin wordt beschreven hoe biometrische gegevens, waaronder gezichtsherkenning, vingerafdrukidentificatie en spraakherkenning, door bedrijven moeten worden verwerkt.

"De ICO zal de markt blijven onderzoeken, belanghebbenden identificeren die deze technologieën willen creëren of implementeren, en het belang van verbeterde gegevensprivacy en naleving uitleggen, terwijl het vertrouwen en vertrouwen in hoe deze systemen werken, wordt aangemoedigd", voegde Bonner eraan toe.

Experts luiden al jaren de noodklok over sentiment- en emotieanalyse. Gevoelens zijn subjectief en het is moeilijk om ze nauwkeurig te interpreteren. Mensen kunnen dit vaak niet effectief voor zichzelf of anderen, laat staan ​​machines. ®