NeurIPS 2023: peamised väljavõtted kutsutud vestlustest

Loodud koos Midjourneyga

NeurIPS 2023 konverents, mis toimus elavas New Orleansi linnas 10.–16. detsembrini, pani erilist rõhku generatiivsetele tehisintellektidele ja suurte keelemudelitele (LLM). Arvestades hiljutisi murrangulisi edusamme selles valdkonnas, ei olnud üllatav, et need teemad domineerisid aruteludes.

Selle aasta konverentsi üks põhiteemasid oli tõhusamate AI-süsteemide otsimine. Teadlased ja arendajad otsivad aktiivselt viise, kuidas luua tehisintellekti, mis mitte ainult ei õpi kiiremini kui praegused LLM-id, vaid omaks ka paremaid arutlusvõimalusi, kulutades samal ajal vähem arvutusressursse. See püüdlus on ülioluline võitluses tehisintellekti (AGI) saavutamise poole – eesmärk, mis näib lähitulevikus üha paremini saavutatav.

NeurIPS 2023 kutsutud kõnelused peegeldasid neid dünaamilisi ja kiiresti arenevaid huvisid. Ettekandjad erinevatest AI-uuringute valdkondadest jagasid oma uusimaid saavutusi, pakkudes akent tipptasemel tehisintellekti arendustesse. Selles artiklis süveneme nendesse kõnelustesse, toome välja ja arutame peamisi näpunäiteid ja õpetusi, mis on AI innovatsiooni praeguse ja tulevase maastiku mõistmiseks hädavajalikud.

NextGenAI: skaleerimise pettekujutelm ja generatiivse AI tulevik 

In tema jutt, Müncheni Ludwig Maximiliani ülikooli arvutivisiooni ja õpperühma juht Björn Ommer jagas, kuidas tema labor jõudis stabiilse difusiooni väljatöötamiseni, mõningaid õppetunde, mida nad sellest protsessist õppisid, ja hiljutisi arenguid, sealhulgas seda, kuidas saame difusioonimudeleid segada muu hulgas voolu sobitamine, otsingu suurendamine ja LoRA lähendused.

Peamised kaasavõtmised:

• Generatiivse tehisintellekti ajastul liikusime nägemismudelite tajumise (st objekti tuvastamise) fookusest puuduvate osade ennustamisele (nt kujutise ja video genereerimine difusioonimudelitega).
• 20 aastat oli arvutinägemine keskendunud võrdlusuuringutele, mis aitas keskenduda kõige silmatorkavamatele probleemidele. Generatiivses tehisintellektis pole meil optimeerimiseks ühtegi võrdlusalust, mis avas kõigile võimaluse liikuda omas suunas.
• Difusioonmudelid ühendavad varasemate generatiivsete mudelite eelised, olles skooripõhised stabiilse treeningprotseduuri ja tõhusa näidiste redigeerimisega, kuid need on oma pika Markovi ahela tõttu kallid.
• Suure tõenäosusega mudelite väljakutse seisneb selles, et enamik bitte läheb detailidesse, mida inimsilm vaevalt tajub, samas kui semantika kodeerimiseks, mis on kõige olulisem, kulub vaid paar bitti. Ainuüksi skaleerimine seda probleemi ei lahenda, sest nõudlus arvutusressursside järele kasvab 9 korda kiiremini kui GPU pakkumine.
• Soovitatav lahendus on ühendada difusioonimudelite ja ConvNetside tugevad küljed, eriti konvolutsioonide tõhusus kohalike detailide esitamisel ja difusioonimudelite väljendusvõime pikamaa kontekstis.
• Björn Ommer soovitab kasutada ka voolusobitamise lähenemisviisi, et võimaldada kõrge eraldusvõimega kujutiste sünteesi väikestest varjatud difusioonimudelitest.
• Teine lähenemisviis kujutise sünteesi tõhususe suurendamiseks on keskenduda stseeni kompositsioonile, kasutades samal ajal üksikasjade täitmiseks otsingu suurendamist.
• Lõpuks tutvustas ta iPoke'i lähenemist kontrollitud stohhastilise videosünteesi jaoks.

Kui see põhjalik sisu on teile kasulik, liituge meie AI meililistiga hoiatada, kui avaldame uut materjali. 

Vastutustundliku AI paljud näod 

In tema esitlus, Google Researchi teadur Lora Aroyo tõi esile traditsiooniliste masinõppe lähenemisviiside peamise piirangu: positiivsete või negatiivsete näidetena tuginedes andmete binaarsele kategoriseerimisele. Ta väitis, et see liigne lihtsustamine jätab tähelepanuta reaalse maailma stsenaariumitele ja sisule omase keerulise subjektiivsuse. Aroyo näitas erinevate kasutusjuhtumite kaudu, kuidas sisu mitmetähenduslikkus ja inimeste vaatenurkade loomulik varieeruvus põhjustavad sageli vältimatuid lahkarvamusi. Ta rõhutas, kui oluline on käsitleda neid erimeelsusi pigem tähenduslike signaalidena kui pelga mürana.

Siin on jutu peamised väljavõtted:

• Lahkarvamused inimtööliste vahel võivad olla viljakad. Selle asemel, et käsitleda kõiki vastuseid õigetena või valedena, tutvustas Lora Aroyo „tõde lahkarvamusel” – jaotustõe lähenemisviisi andmete usaldusväärsuse hindamiseks, kasutades hindaja lahkarvamusi.
• Andmete kvaliteet on keeruline isegi ekspertide puhul, sest eksperdid on sama meelt kui rahvahulgaga tegelejad. Need lahkarvamused võivad olla palju informatiivsemad kui ühe eksperdi vastused.
  • Ohutuse hindamise ülesannetes on eksperdid 40% näidete osas eriarvamusel. Selle asemel, et püüda neid erimeelsusi lahendada, peame koguma rohkem selliseid näiteid ja kasutama neid mudelite ja hindamismõõdikute täiustamiseks.
• Oma esitles ka Lora Aroyo Turvalisus mitmekesisusega meetod andmete kontrollimiseks selle järgi, mis neis on ja kes on need märkuste teinud.
  • Selle meetodi abil saadi võrdlusandmekogum, mille LLM-i ohutusotsused varieerusid erinevate hindajate demograafiliste rühmade lõikes (kokku 2.5 miljonit hinnangut).
  • 20% vestluste puhul oli raske otsustada, kas vestlusroboti vastus oli Ohutu või Ebaturvaline, kuna ligikaudu võrdne arv vastajaid märkis, et need on ohutud või ohtlikud.
• Hindajate ja andmete mitmekesisus mängib mudelite hindamisel otsustavat rolli. Inimliku vaatenurga ja sisu ebaselguse mitteteadvustamine võib takistada masinõppe jõudluse vastavust tegelikele ootustele.
• 80% tehisintellekti ohutusega seotud jõupingutustest on juba üsna head, kuid ülejäänud 20% nõuavad jõupingutuste kahekordistamist, et käsitleda ääretuid juhtumeid ja kõiki variante lõpmatu mitmekesisuse ruumis.

Sidusstatistika, enda loodud kogemused ja miks noored inimesed on palju targemad kui praegune AI 

In tema jutt, Linda Smith, Indiana ülikooli Bloomingtoni tunnustatud professor, uuris imikute ja väikelaste õppeprotsesside andmete hõredust. Ta keskendus konkreetselt objektide tuvastamisele ja nimede õppimisele, uurides, kuidas imikute enda loodud kogemuste statistika pakub potentsiaalseid lahendusi andmete hõreduse väljakutsele.

Peamised kaasavõtmised:

• Kolmeaastaseks saades on lastel välja kujunenud oskus olla erinevates valdkondades ühekordne õppija. Vähem kui 16,000 1,000 ärkvelolekutunni jooksul enne oma neljandat sünnipäeva saavad nad selgeks üle XNUMX objektikategooria, valdavad oma emakeele süntaksit ning võtavad endasse oma keskkonna kultuurilised ja sotsiaalsed nüansid.
• Dr Linda Smith ja tema meeskond avastasid kolm inimõppe põhimõtet, mis võimaldavad lastel nii väheste andmete põhjal nii mõndagi tabada:
  • Õppijad kontrollivad sisendit, hetkest hetkesse kujundavad ja struktureerivad sisendit. Näiteks kipuvad beebid esimestel elukuudel rohkem vaatama lihtsate servadega esemeid.
  • Kuna imikute teadmised ja võimed arenevad pidevalt, järgivad nad väga piiratud õppekava. Andmed, millega nad kokku puutuvad, on korraldatud väga olulisel viisil. Näiteks alla 4 kuu vanused imikud veedavad kõige rohkem aega nägusid vaadates, umbes 15 minutit tunnis, samas kui vanemad kui 12 kuu vanused lapsed keskenduvad peamiselt kätele, jälgides neid umbes 20 minutit tunnis.
  • Õppeepisoodid koosnevad omavahel seotud kogemuste jadast. Ruumilised ja ajalised korrelatsioonid loovad sidusust, mis omakorda soodustab ühekordsetest sündmustest püsivate mälestuste teket. Näiteks kui lapsed esitavad neile juhusliku valiku mänguasju, keskenduvad nad sageli mõnele "lemmikmänguasjale". Nad tegelevad nende mänguasjadega korduvate mustrite abil, mis aitab esemeid kiiremini õppida.
• Mööduvad (töö)mälud püsivad kauem kui sensoorne sisend. Õppeprotsessi täiustavad omadused hõlmavad multimodaalsust, assotsiatsioone, ennustavaid suhteid ja minevikumälestuste aktiveerimist.
• Kiireks õppimiseks vajate andmeid genereerivate mehhanismide ja õppivate mehhanismide vahelist liitu.

Visandamine: põhitööriistad, õppimisvõime suurendamine ja kohanemisvõime 

Jelani Nelson, UC Berkeley elektrotehnika ja arvutiteaduste professor, tutvustas andmete "visandite" mõistet – andmestiku mälus tihendatud esitus, mis võimaldab siiski vastata kasulikele päringutele. Kuigi kõne oli üsna tehniline, andis see suurepärase ülevaate mõnest põhilisest visanditööriistast, sealhulgas hiljutistest edusammudest.

Võtmed kaasavõtmiseks:

• Peamine visandamise tööriist CountSketch võeti esmakordselt kasutusele 2002. aastal, et lahendada raskete lööjate probleemi, esitades väikese loendi antud üksuste voos kõige sagedamini esinevatest üksustest. CountSketch oli esimene teadaolev alamlineaarne algoritm, mida sel eesmärgil kasutati.
• Kaks raskete lööjate voogedastusrakendust hõlmavad järgmist:
  • Interior point-based method (IPM), mis annab asümptootiliselt kiireima teadaoleva algoritmi lineaarseks programmeerimiseks.
  • HyperAttention meetod, mis lahendab arvutuslikke väljakutseid, mis tulenevad LLM-ides kasutatavate pikkade kontekstide kasvavast keerukusest.
• Suur osa hiljutisest tööst on keskendunud adaptiivse interaktsiooni jaoks vastupidavate visandite kujundamisele. Põhiidee on kasutada adaptiivse andmeanalüüsi teadmisi.

Lisaks skaleerimispaneelile 

see suurepärane paneel suurte keelemudelite jaoks modereeris Alexander Rush, Cornell Techi dotsent ja Hugging Face teadur. Teiste osalejate hulka kuulusid:

• Aakanksha Chowdhery – Google DeepMindi teadur, kes on huvitatud süsteemidest, LLM-i eelkoolitusest ja multimodaalsusest. Ta oli osa PaLM-i, Gemini ja Pathwaysi arendavast meeskonnast.
• Angela Fan – Meta Generative AI teadur, kes tegeleb joondamise, andmekeskuste ja mitmekeelsuse uurimisega. Ta osales Llama-2 ja Meta AI Assistanti väljatöötamises.
• Percy Liang – Stanfordi professor, kes uurib loojaid, avatud lähtekoodiga agente ja generatiivseid agente. Ta on Stanfordi sihtasutuse mudelite uurimiskeskuse (CRFM) direktor ja Together AI asutaja.

Arutelu keskendus neljale põhiteemale: (1) arhitektuurid ja inseneritöö, (2) andmed ja joondamine, (3) hindamine ja läbipaistvus ning (4) loojad ja kaasautorid.

Siin on mõned selle paneeli väljavõtted:

• Praeguste keelemudelite koolitamine ei ole oma olemuselt keeruline. Peamine väljakutse sellise mudeli nagu Llama-2-7b koolitamisel seisneb infrastruktuurinõuetes ja vajaduses koordineerida mitme GPU, andmekeskuse jne vahel. Kui aga parameetrite arv on piisavalt väike, et võimaldada ühe GPU-ga treenimist, isegi bakalaureuseõppega saab sellega hakkama.
• Kui tavaliselt kasutatakse autoregressiivseid mudeleid teksti genereerimiseks ja difusioonimudeliteks piltide ja videote genereerimiseks, siis on tehtud katseid nende lähenemisviiside ümberpööramiseks. Täpsemalt, Gemini projektis kasutatakse pildi genereerimiseks autoregressiivset mudelit. Samuti on uuritud difusioonimudelite kasutamist teksti genereerimiseks, kuid need ei ole veel osutunud piisavalt tõhusaks.
• Arvestades ingliskeelsete andmete piiratud kättesaadavust koolitusmudelite jaoks, uurivad teadlased alternatiivseid lähenemisviise. Üks võimalus on treenida multimodaalseid mudeleid teksti, video, piltide ja heli kombinatsioonil, eeldades, et nendest alternatiivsetest viisidest õpitud oskused võivad üle kanda teksti. Teine võimalus on sünteetiliste andmete kasutamine. Oluline on märkida, et sünteetilised andmed segunevad sageli pärisandmetega, kuid see integreerimine ei ole juhuslik. Internetis avaldatud tekst läbib tavaliselt inimese kureerimise ja toimetamise, mis võib anda mudelikoolituse jaoks lisaväärtust.
• Avatud vundamendi mudeleid peetakse sageli innovatsiooni jaoks kasulikuks, kuid potentsiaalselt kahjulikuks tehisintellekti ohutusele, kuna pahatahtlikud osalejad võivad neid ära kasutada. Doktor Percy Liang aga väidab, et avatud mudelid aitavad samuti turvalisusele positiivselt kaasa. Ta väidab, et kuna need on juurdepääsetavad, pakuvad need rohkematele teadlastele võimalusi tehisintellekti ohutusuuringute läbiviimiseks ja potentsiaalsete haavatavuste mudelite ülevaatamiseks.
• Tänapäeval nõuab andmete annoteerimine märkuste tegemise valdkonnas oluliselt rohkem teadmisi kui viis aastat tagasi. Kui aga AI-assistendid toimivad tulevikus ootuspäraselt, saame kasutajatelt väärtuslikumaid tagasisideandmeid, mis vähendab sõltuvust annotaatorite ulatuslikest andmetest.

Vundamendimudelite süsteemid ja süsteemide alusmudelid 

In see jutt, Christopher Ré, Stanfordi ülikooli arvutiteaduse osakonna dotsent, näitab, kuidas alusmudelid muutsid meie ehitatud süsteeme. Samuti uurib ta, kuidas tõhusalt ehitada vundamendimudeleid, laenates andmebaasisüsteemide uurimistööst saadud teadmisi, ja arutleb vundamendimudelite potentsiaalselt tõhusamate arhitektuuride üle kui Transformer.

Siin on selle kõne peamised väljavõtted:

• Vundamendimudelid on tõhusad nn 1000 lõikega surmaga seotud probleemide lahendamisel, kus iga üksikülesanne võib olla suhteliselt lihtne, kuid ülesannete laius ja mitmekesisus kujutavad endast märkimisväärset väljakutset. Hea näide sellest on andmete puhastamise probleem, mida LLM-id saavad nüüd palju tõhusamalt lahendada.
• Kiirendite kiirenedes kerkib sageli kitsaskohana esile mälu. See on probleem, millega andmebaaside uurijad on tegelenud aastakümneid ja me saame kasutusele võtta mõned nende strateegiad. Näiteks välk-tähelepanu lähenemine minimeerib sisend-väljundvoogusid blokeerimise ja agressiivse liitmise kaudu: kui me teabele ligi pääseme, teeme sellega võimalikult palju toiminguid.
• On olemas uus signaalitöötlusel põhinev arhitektuuriklass, mis võib olla tõhusam kui Transformeri mudel, eriti pikkade jadade käsitlemisel. Signaalitöötlus pakub stabiilsust ja tõhusust, pannes aluse uuenduslikele mudelitele nagu S4.

Digitaalsete tervisesekkumiste veebipõhine tugevdamine 

In tema jutt, Susan Murphy, Harvardi ülikooli statistika ja arvutiteaduse professor, jagas esimesi lahendusi mõnele väljakutsele, millega nad silmitsi seisavad digitaalsete tervisealaste sekkumiste jaoks kasutatavate veebipõhise RL-algoritmide väljatöötamisel.

Siin on mõned väljavõtted esitlusest:

• Dr Susan Murphy arutas kahte projekti, millega ta on töötanud:
  • HeartStep, kus tegevusi on soovitatud nutitelefonide ja kantavate jälgimisseadmete andmete põhjal ning
  • Oralüütika suutervise juhendamiseks, kus sekkumised põhinesid elektrooniliselt hambaharjalt saadud kaasamisandmetel.
• Tehisintellekti agendi käitumispoliitika väljatöötamisel peavad teadlased tagama, et see on autonoomne ja seda on võimalik laiemas tervishoiusüsteemis rakendada. See eeldab selle tagamist, et üksikisiku kaasamiseks kuluv aeg on mõistlik ning soovitatud toimingud on nii eetiliselt kui ka teaduslikult usutavad.
• Peamised väljakutsed digitaalse tervise sekkumise jaoks mõeldud RL-agensi väljatöötamisel hõlmavad kõrge müratasemega tegelemist, kuna inimesed juhivad oma elu ja ei pruugi alati olla võimelised sõnumitele reageerima, isegi kui nad seda soovivad, samuti tugevate, hilinenud negatiivsete mõjude ohjamine. .

Nagu näete, on NeurIPS 2023 pakkunud valgustava pilgu tehisintellekti tulevikku. Kutsutud kõnelustel tõsteti esile suundumust tõhusamate ja ressursiteadlikumate mudelite poole ning uudsete arhitektuuride uurimist traditsioonilistest paradigmadest kaugemale.

Kas teile meeldib see artikkel? Registreeruge, et saada rohkem AI-uuringute värskendusi.

Anname teile teada, kui avaldame rohkem selliseid kokkuvõtlikke artikleid.

seotud

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://www.topbots.com/neurips-2023-invited-talks/