Privacy Watchdog uppmanar företag att släppa programvara för känslomässig analys AI

Företag bör tänka två gånger innan de distribuerar AI-drivna känsloanalyssystem som är benägna för systemiska fördomar och andra problem, varnade Storbritanniens informationskommissionärs kontor (ICO) denna vecka.

Organisationer står inför utredning om de fortsätter och använder den här underordnade tekniken som sätter människor i riskzonen, tillade vakthunden.

Maskininlärningsalgoritmer som utger sig för att förutsäga en persons humör och reaktioner använder datorseende för att spåra blickar, ansiktsrörelser och ljudbearbetning för att mäta böjning och övergripande känslor. Som man kan föreställa sig är det inte nödvändigtvis korrekt eller rättvist, och det kan finnas sekretessproblem med att hantera data för utbildning och slutsatser.

Faktum är att ICOs vice kommissionär Stephen Bonner sa att tekniken inte är idiotsäker, vilket leder till systemisk fördom, felaktigheter eller diskriminering av specifika sociala grupper. "Utvecklingen på marknaden för biometri och emotion AI är omogen. De kanske inte fungerar ännu, eller faktiskt någonsin”, han sade i ett uttalande. 

"Även om det finns möjligheter, är riskerna för närvarande större. På ICO är vi oroliga för att felaktig analys av data kan resultera i antaganden och bedömningar om en person som är felaktiga och leder till diskriminering”, fortsatte hans uttalande.

Bonner noterade att mjukvara för emotionell analys ofta är ihopkopplad med biometriska system, som samlar in och lagrar ett bredare utbud av personlig information utöver ansiktsbilder. Programvaruleverantörer är ofta inte transparenta om hur dessa personuppgifter behandlas eller sparas. 

"De enda hållbara biometriska utbyggnaderna kommer att vara de som är fullt fungerande, ansvarsfulla och stöds av vetenskapen," sa han. "Som det ser ut har vi ännu inte sett någon emotionell AI-teknik utvecklas på ett sätt som uppfyller dataskyddskraven och har mer allmänna frågor om proportionalitet, rättvisa och transparens på detta område."

Vilket verkar vara ett artigt sätt att säga: du bör bara använda känsloläsande AI-modeller som fungerar som ICO förväntar sig, och de modellerna existerar inte, så du bör bara sluta med det du gör.

Storbritanniens dataintegritetsövervakning förväntas publicera en rapport som beskriver hur biometrisk data, inklusive ansiktsigenkänning, fingeravtrycksidentifiering och röstigenkänning ska hanteras av företag nästa år under våren.

"ICO kommer att fortsätta att granska marknaden, identifiera intressenter som vill skapa eller distribuera dessa teknologier och förklara vikten av förbättrad datasekretess och efterlevnad, samtidigt som det uppmuntrar förtroende och förtroende för hur dessa system fungerar," tillade Bonner.

Experter har slagit larm över sentiment- och känsloanalyser i flera år. Känslor är subjektiva och det är svårt att tolka dem korrekt. Människor kan ofta inte göra detta effektivt för sig själva eller andra, än mindre maskiner. ®