OpenAI siger, at det dedikerer Compute til at stoppe "slyngelsk" AI

Genudgivet af Platon

Abonnenter: 0

OpenAI says it is dedicating compute to stopping 'rogue' AI PlatoBlockchain Data Intelligence. Vertical Search. Ai.

OpenAI siger, at det dedikerer en femtedel af sine beregningsressourcer til at udvikle maskinlæringsteknikker for at forhindre, at superintelligente systemer "går i slyngel".

Grundlagt i 2015, har San Francisco AI-startup'ens erklærede mål altid været at udvikle kunstig generel intelligens sikkert. Teknologien eksisterer ikke endnu – og eksperter er uenige om, hvordan det præcist vil se ud, eller hvornår det kan komme.

Ikke desto mindre har OpenAI til hensigt at udskille 20 procent af sin behandlingskapacitet og lancere en ny enhed - ledet af medstifter og chefforsker Ilya Sutskever - for på en eller anden måde at forhindre fremtidens generations maskiner i at bringe menneskeheden i fare. Det er en emne OpenAI har taget op før.

"Superintelligens vil være den mest virkningsfulde teknologi, menneskeheden nogensinde har opfundet, og kan hjælpe os med at løse mange af verdens vigtigste problemer," artens potentielle frelser mente i denne uge.

"Men superintelligensens enorme magt kan også være meget farlig og kan føre til at menneskeheden mister magten eller endda menneskelig udryddelse."

OpenAI mener, at computersystemer, der er i stand til at overgå menneskelig intelligens og overmande den menneskelige race, kan udvikles i dette årti [Før eller efter fusion? Eller kvanteberegning? – Ed.].

"Håndtering af disse risici vil blandt andet kræve nye institutioner til styring og løsning af problemet med superintelligens-tilpasning: hvordan sikrer vi AI-systemer, der er meget smartere, end mennesker følger menneskelige hensigter?" biz tilføjet.

Apropos OpenAI …

Opstarten, der er bankrolleret af Microsoft, har lavet sin GPT-4 API generelt tilgængelig til betalende udviklere.
CompSci professor og ML-ekspert Emily Bender har skrevet et essay på de reelle trusler fra AI-modeller versus frygten for overmenneskelig AI, som visse hjørner har presset på.

Der findes allerede metoder til at tilpasse – eller i det mindste forsøge at tilpasse – modeller til menneskelige værdier. Disse teknikker kan involvere noget, der hedder Reinforcement Learning from Human Feedback, eller RLHF. Med den tilgang overvåger du dybest set maskiner for at forme dem, så de opfører sig mere som et menneske.

Selvom RLHF har hjulpet med at gøre systemer som ChatGPT mindre tilbøjelige til at generere giftigt sprog, kan det stadig introducere skævheder, og det er svært at skalere. Det indebærer typisk, at man skal rekruttere en stor byrde af mennesker på ikke særlig høje lønninger for at give feedback på en models output – en praksis, der har sit eget sæt af problemer.

Udviklere kan ikke stole på nogle få mennesker til at overvåge en teknologi, der vil påvirke mange, hævdes det. OpenAI's alignment team forsøger at løse dette problem ved at bygge "en nogenlunde human-niveau automatiseret alignment researcher." I stedet for mennesker ønsker OpenAI at bygge et AI-system, der kan tilpasse andre maskiner til menneskelige værdier uden eksplicit at stole på mennesker.

Det ville være kunstig intelligens at træne kunstig intelligens til at være mere som ikke-kunstig intelligens, forekommer det os. Det føles lidt kylling og æg.

Et sådant system kunne for eksempel søge efter problematisk adfærd og give feedback eller tage andre skridt til at rette op på det. For at teste systemets ydeevne sagde OpenAI, at det med vilje kunne træne fejljusterede modeller og se, hvor godt AI-justeringen rydder op i dårlig opførsel. Det nye team har sat sig et mål om at løse tilpasningsproblemet om fire år.

“Selvom dette er et utroligt ambitiøst mål, og vi ikke er garanteret at lykkes, er vi optimistiske om, at en fokuseret, samlet indsats kan løse dette problem. Der er mange ideer, der har vist sig lovende i foreløbige eksperimenter, vi har stadig mere nyttige målinger for fremskridt, og vi kan bruge nutidens modeller til at studere mange af disse problemer empirisk,” konkluderede outfittet.

"Løsning af problemet inkluderer at levere beviser og argumenter, der overbeviser maskinlærings- og sikkerhedssamfundet om, at det er blevet løst. Hvis vi ikke har en meget høj grad af tillid til vores løsninger, håber vi, at vores resultater lader os og samfundet planlægge passende."

Vi begynder at bygge vores bunker nu. ®