NeurIPS 2023: Ključni izsledki iz povabljenih pogovorov

Ustvarjeno z Midjourney

Konferenca NeurIPS 2023, ki je potekala v živahnem mestu New Orleans od 10. do 16. decembra, je imela poseben poudarek na generativni AI in velikih jezikovnih modelih (LLM). Glede na nedavni prelomni napredek na tem področju ni presenetljivo, da so te teme prevladovale v razpravah.

Ena osrednjih tem letošnje konference je bilo iskanje učinkovitejših sistemov umetne inteligence. Raziskovalci in razvijalci aktivno iščejo načine za izdelavo umetne inteligence, ki se ne le uči hitreje od trenutnih LLM-jev, ampak ima tudi izboljšane zmožnosti razmišljanja, medtem ko porabi manj računalniških virov. To prizadevanje je ključnega pomena v tekmi za doseganje splošne umetne inteligence (AGI), cilja, ki se zdi vse bolj dosegljiv v bližnji prihodnosti.

Vabljeni pogovori na NeurIPS 2023 so bili odraz teh dinamičnih in hitro razvijajočih se interesov. Predavatelji z različnih področij raziskav AI so delili svoje najnovejše dosežke in ponudili okno v najsodobnejši razvoj AI. V tem članku se poglobimo v te pogovore, izvlečemo in razpravljamo o ključnih izsledkih in spoznanjih, ki so bistvenega pomena za razumevanje sedanjih in prihodnjih pokrajin inovacij AI.

NextGenAI: Zabloda skaliranja in prihodnost generativne umetne inteligence 

In njegov govor, Björn Ommer, vodja skupine za računalniški vid in učenje na Univerzi Ludwiga Maximiliana v Münchnu, je povedal, kako je njegov laboratorij razvil stabilno difuzijo, nekaj lekcij, ki so se jih naučili iz tega procesa, in nedavni razvoj dogodkov, vključno s tem, kako lahko modele difuzije združimo z med drugim ujemanje toka, izboljšanje iskanja in približki LoRA.

Ključni prevzemi:

• V dobi generativne umetne inteligence smo se premaknili od osredotočenosti na zaznavanje v modelih vida (tj. prepoznavanje predmetov) k napovedovanju manjkajočih delov (npr. generiranje slike in videa z difuzijskimi modeli).
• 20 let je bil računalniški vid osredotočen na primerjalne raziskave, ki so pomagale osredotočiti se na najvidnejše probleme. V Generative AI nimamo nobenih meril uspešnosti, ki bi jih lahko optimizirali, kar je odprlo polje za vsakogar, da gre v svojo smer.
• Difuzijski modeli združujejo prednosti prejšnjih generativnih modelov, saj temeljijo na rezultatih s stabilnim postopkom usposabljanja in učinkovitim urejanjem vzorcev, vendar so dragi zaradi svoje dolge verige Markov.
• Izziv pri modelih močne verjetnosti je, da gre večina bitov v podrobnosti, ki jih človeško oko komaj zazna, medtem ko semantika kodiranja, ki je najpomembnejša, traja le nekaj bitov. Skaliranje samo po sebi ne bi rešilo te težave, ker povpraševanje po računalniških virih raste 9-krat hitreje kot ponudba GPE.
• Predlagana rešitev je združiti prednosti difuzijskih modelov in ConvNets, zlasti učinkovitost konvolucij za predstavitev lokalnih podrobnosti in izraznost difuzijskih modelov za dolgoročni kontekst.
• Björn Ommer prav tako predlaga uporabo pristopa ujemanja toka, da se omogoči sinteza slike visoke ločljivosti iz majhnih modelov latentne difuzije.
• Drug pristop k povečanju učinkovitosti sinteze slike je osredotočanje na kompozicijo prizora, medtem ko se za zapolnjevanje podrobnosti uporablja povečanje priklica.
• Na koncu je predstavil pristop iPoke za nadzorovano stohastično video sintezo.

Če je ta poglobljena vsebina koristna za vas, naročite se na naš poštni seznam AI na katerega bomo opozorili, ko bomo izdali novo gradivo. 

​Mnogi obrazi odgovorne umetne inteligence 

In njeno predstavitev, Lora Aroyo, raziskovalna znanstvenica pri Google Research, je poudarila ključno omejitev tradicionalnih pristopov strojnega učenja: njihovo zanašanje na binarne kategorizacije podatkov kot pozitivne ali negativne primere. To pretirano poenostavljanje, je trdila, spregleda kompleksno subjektivnost, ki je neločljivo povezana s scenariji in vsebino iz resničnega sveta. Z različnimi primeri uporabe je Aroyo pokazal, kako dvoumnost vsebine in naravne razlike v človeških pogledih pogosto vodijo do neizogibnih nesoglasij. Poudarila je, da je treba ta nesoglasja obravnavati kot pomembne signale in ne zgolj kot hrup.

Tu so ključni izsledki pogovora:

• Nesoglasja med človeškimi laberji so lahko produktivna. Namesto da bi vse odgovore obravnavala kot pravilne ali napačne, je Lora Aroyo uvedla "resnico z nestrinjanjem", pristop distribucijske resnice za ocenjevanje zanesljivosti podatkov z izkoriščanjem nestrinjanja ocenjevalcev.
• Kakovost podatkov je težavna tudi s strokovnjaki, ker se strokovnjaki ne strinjajo toliko kot množice. Ta nesoglasja so lahko veliko bolj informativna kot odgovori enega samega strokovnjaka.
  • Pri nalogah za oceno varnosti se strokovnjaki ne strinjajo v 40 % primerov. Namesto da poskušamo razrešiti ta nesoglasja, moramo zbrati več takšnih primerov in jih uporabiti za izboljšanje modelov in meritev vrednotenja.
• Svojo je predstavila tudi Lora Aroyo Varnost z raznolikostjo metoda za natančno pregledovanje podatkov glede na to, kaj je v njih in kdo jih je označil.
  • Ta metoda je ustvarila primerjalni nabor podatkov s spremenljivostjo varnostnih presoj LLM v različnih demografskih skupinah ocenjevalcev (skupaj 2.5 milijona ocen).
  • Pri 20 % pogovorov se je bilo težko odločiti, ali je odziv chatbota varen ali nevaren, saj je bilo približno enako število anketirancev, ki so jih označili kot varne ali nevarne.
• Raznolikost ocenjevalcev in podatkov igra ključno vlogo pri ocenjevanju modelov. Neupoštevanje širokega spektra človeških perspektiv in dvoumnosti, ki je prisotna v vsebini, lahko ovira uskladitev zmogljivosti strojnega učenja s pričakovanji iz resničnega sveta.
• 80 % varnostnih prizadevanj AI je že precej dobrih, preostalih 20 % pa zahteva podvojitev truda za obravnavo robnih primerov in vseh različic v neskončnem prostoru raznolikosti.

​Statistika skladnosti, izkušnje, ki so jih ustvarili sami, in zakaj so mladi veliko pametnejši od trenutne umetne inteligence 

In njen govorLinda Smith, ugledna profesorica na univerzi Indiana Bloomington, je raziskala temo redkih podatkov v učnih procesih dojenčkov in majhnih otrok. Posebej se je osredotočila na prepoznavanje predmetov in učenje imen ter se poglobila v to, kako statistični podatki o izkušnjah, ki so jih ustvarili dojenčki, ponujajo možne rešitve za izziv redkih podatkov.

Ključni prevzemi:

• Do tretjega leta starosti so otroci razvili sposobnost enkratnega učenja na različnih področjih. V manj kot 16,000 budnih urah do svojega četrtega rojstnega dne se jim uspe naučiti več kot 1,000 kategorij predmetov, osvojiti sintakso svojega maternega jezika ter vsrkati kulturne in družbene nianse svojega okolja.
• Dr. Linda Smith in njena ekipa so odkrili tri principe človeškega učenja, ki otrokom omogočajo, da zajamejo tako veliko iz tako redkih podatkov:
  • Učenci nadzorujejo vnos, iz trenutka v trenutek ga oblikujejo in strukturirajo. Na primer, v prvih nekaj mesecih svojega življenja dojenčki bolj gledajo predmete z enostavnimi robovi.
  • Ker se dojenčki nenehno razvijajo v svojem znanju in zmožnostih, sledijo zelo omejenemu učnemu načrtu. Podatki, ki so jim izpostavljeni, so organizirani na zelo pomembne načine. Na primer, dojenčki, mlajši od 4 mesecev, največ časa gledajo obraze, približno 15 minut na uro, medtem ko se tisti, starejši od 12 mesecev, osredotočajo predvsem na roke in jih opazujejo približno 20 minut na uro.
  • Učne epizode so sestavljene iz niza med seboj povezanih izkušenj. Prostorske in časovne korelacije ustvarjajo koherenco, kar posledično olajša oblikovanje trajnih spominov iz enkratnih dogodkov. Na primer, ko jim je predstavljen naključni izbor igrač, se otroci pogosto osredotočijo na nekaj "najljubših" igrač. S temi igračami se ukvarjajo s ponavljajočimi se vzorci, kar pripomore k hitrejšemu učenju predmetov.
• Prehodni (delovni) spomini trajajo dlje kot senzorični vnos. Lastnosti, ki izboljšujejo učni proces, vključujejo multimodalnost, asociacije, napovedne odnose in aktivacijo preteklih spominov.
• Za hitro učenje potrebujete zavezništvo med mehanizmi, ki ustvarjajo podatke, in mehanizmi, ki se učijo.

​Skiciranje: osnovna orodja, izboljšanje učenja in prilagodljiva robustnost 

Jelani Nelson, profesorica elektrotehnike in računalništva na UC Berkeley, uvedel koncept podatkovnih "skic" – pomnilniško stisnjena predstavitev nabora podatkov, ki še vedno omogoča odgovarjanje na koristne poizvedbe. Čeprav je bil govor precej tehničen, je zagotovil odličen pregled nekaterih osnovnih orodij za skiciranje, vključno z nedavnim napredkom.

Ključni povzetki:

• CountSketch, osnovno orodje za skiciranje, je bilo prvič uvedeno leta 2002 za reševanje problema "težkih udarcev", saj poroča o majhnem seznamu najpogostejših postavk iz danega toka postavk. CountSketch je bil prvi znani sublinearni algoritem, uporabljen v ta namen.
• Dve nepretočni aplikaciji težkih napadalcev vključujeta:
  • Metoda na osnovi notranjih točk (IPM), ki daje asimptotično najhitrejši znani algoritem za linearno programiranje.
  • Metoda HyperAttention, ki obravnava računalniški izziv, ki ga predstavlja naraščajoča kompleksnost dolgih kontekstov, ki se uporabljajo v LLM.
• Veliko nedavnega dela je bilo osredotočenega na oblikovanje skic, ki so robustne za prilagodljivo interakcijo. Glavna ideja je uporaba vpogledov iz prilagodljive analize podatkov.

Poleg plošče za skaliranje 

Ta odlična plošča o velikih jezikovnih modelih je moderiral Alexander Rush, izredni profesor na Cornell Tech in raziskovalec na Hugging Face. Drugi udeleženci so bili:

• Aakanksha Chowdhery – raziskovalna znanstvenica pri Google DeepMind z raziskovalnimi interesi na področju sistemov, predusposabljanja LLM in multimodalnosti. Bila je del ekipe, ki je razvijala PaLM, Gemini in Pathways.
• Angela Fan – raziskovalna znanstvenica pri Meta Generative AI z raziskovalnimi interesi na področju usklajevanja, podatkovnih centrov in večjezičnosti. Sodelovala je pri razvoju Llama-2 in Meta AI Assistant.
• Percy Liang – profesor na Stanfordu, ki raziskuje ustvarjalce, odprtokodne in generativne agente. Je direktor Centra za raziskave temeljnih modelov (CRFM) na Stanfordu in ustanovitelj Together AI.

Razprava se je osredotočila na štiri ključne teme: (1) arhitekture in inženiring, (2) podatki in poravnava, (3) vrednotenje in preglednost ter (4) ustvarjalci in sodelavci.

Tukaj je nekaj zaključkov te plošče:

• Usposabljanje trenutnih jezikovnih modelov ni samo po sebi težko. Glavni izziv pri usposabljanju modela, kot je Llama-2-7b, je v infrastrukturnih zahtevah in potrebi po usklajevanju med več grafičnimi procesorji, podatkovnimi centri itd. Vendar, če je število parametrov dovolj majhno, da omogoča usposabljanje na enem grafičnem procesorju, celo dodiplomski študent lahko to obvlada.
• Medtem ko se avtoregresivni modeli običajno uporabljajo za generiranje besedila, difuzijski modeli pa za generiranje slik in videoposnetkov, so bili poskusi obrniti te pristope. Natančneje, v projektu Gemini je avtoregresivni model uporabljen za ustvarjanje slike. Obstajajo tudi raziskave o uporabi difuzijskih modelov za generiranje besedila, vendar se ti še niso izkazali za dovolj učinkovite.
• Glede na omejeno razpoložljivost podatkov v angleškem jeziku za modele usposabljanja raziskovalci raziskujejo alternativne pristope. Ena od možnosti je urjenje multimodalnih modelov na kombinaciji besedila, videa, slik in zvoka, pri čemer se pričakuje, da se bodo veščine, pridobljene s temi alternativnimi modalitetami, lahko prenesle v besedilo. Druga možnost je uporaba sintetičnih podatkov. Pomembno je omeniti, da se sintetični podatki pogosto mešajo z resničnimi podatki, vendar ta integracija ni naključna. Besedilo, objavljeno na spletu, je običajno podvrženo človeški obdelavi in ​​urejanju, kar lahko doda dodatno vrednost za usposabljanje modelov.
• Modeli odprtih temeljev se pogosto obravnavajo kot koristni za inovacije, a potencialno škodljivi za varnost umetne inteligence, saj jih lahko zlonamerni akterji izkoristijo. Vendar dr. Percy Liang trdi, da tudi odprti modeli pozitivno prispevajo k varnosti. Trdi, da s tem, ko so dostopni, več raziskovalcem ponujajo priložnosti za izvajanje varnostnih raziskav umetne inteligence in pregledovanje modelov za morebitne ranljivosti.
• Danes označevanje podatkov zahteva bistveno več strokovnega znanja na področju označevanja v primerjavi s pred petimi leti. Če pa bodo pomočniki AI v prihodnosti delovali po pričakovanjih, bomo od uporabnikov prejeli več dragocenih povratnih podatkov, kar bo zmanjšalo zanašanje na obsežne podatke opombevalcev.

​Sistemi za temeljne modele in temeljni modeli za sisteme 

In ta pogovor, Christopher Ré, izredni profesor na oddelku za računalništvo na univerzi Stanford, pokaže, kako so modeli temeljev spremenili sisteme, ki jih gradimo. Raziskuje tudi, kako učinkovito zgraditi temeljne modele, pri čemer si izposoja vpoglede iz raziskav sistemov podatkovnih baz in razpravlja o potencialno učinkovitejših arhitekturah za temeljne modele od Transformerja.

Tukaj so ključni izsledki tega pogovora:

• Temeljni modeli so učinkoviti pri reševanju problemov "smrti s 1000 rezi", kjer je lahko vsaka posamezna naloga razmeroma preprosta, vendar že sama širina in raznolikost nalog predstavljata velik izziv. Dober primer tega je problem čiščenja podatkov, ki ga LLM-ji zdaj lahko pomagajo rešiti veliko učinkoviteje.
• Ko pospeševalci postajajo hitrejši, se pomnilnik pogosto pojavi kot ozko grlo. To je problem, s katerim se raziskovalci baz podatkov ukvarjajo že desetletja, in mi lahko sprejmemo nekatere njihove strategije. Na primer, pristop Flash Attention minimizira vhodno-izhodne tokove z blokiranjem in agresivnim združevanjem: kadar koli dostopamo do podatka, na njem izvedemo čim več operacij.
• Obstaja nov razred arhitektur, ki temelji na obdelavi signalov in bi lahko bil učinkovitejši od modela Transformer, zlasti pri obdelavi dolgih zaporedij. Obdelava signala ponuja stabilnost in učinkovitost ter postavlja temelje za inovativne modele, kot je S4.

Spletno učenje za krepitev digitalnih zdravstvenih intervencij 

In njen govor, Susan Murphy, profesorica statistike in računalništva na Univerzi Harvard, je delila prve rešitve za nekatere izzive, s katerimi se srečujejo pri razvoju spletnih algoritmov RL za uporabo v digitalnih zdravstvenih posegih.

Tukaj je nekaj povzetkov iz predstavitve:

• Dr. Susan Murphy je razpravljala o dveh projektih, na katerih je delala:
  • HeartStep, kjer so bile dejavnosti predlagane na podlagi podatkov iz pametnih telefonov in nosljivih sledilnikov ter
  • Oralytics za inštruiranje ustnega zdravja, kjer so intervencije temeljile na podatkih o angažiranosti, prejetih iz elektronske zobne ščetke.
• Pri razvoju politike vedenja za agenta AI morajo raziskovalci zagotoviti, da je avtonomen in ga je mogoče izvedljivo implementirati v širši sistem zdravstvenega varstva. To vključuje zagotavljanje, da je čas, potreben za sodelovanje posameznika, razumen in da so priporočeni ukrepi tako etično neoporečni kot znanstveno verjetni.
• Primarni izzivi pri razvoju agenta RL za digitalne zdravstvene posege vključujejo obvladovanje visokih ravni hrupa, saj ljudje vodijo svoja življenja in morda ne morejo vedno odgovoriti na sporočila, tudi če to želijo, ter obvladovanje močnih, zapoznelih negativnih učinkov .

Kot lahko vidite, je NeurIPS 2023 ponudil razsvetljujoč vpogled v prihodnost umetne inteligence. Vabljeni pogovori so poudarili trend k učinkovitejšim modelom, ki upoštevajo vire, in raziskovanje novih arhitektur onkraj tradicionalnih paradigem.

Uživate v tem članku? Prijavite se za več posodobitev raziskav AI.

Obvestili vas bomo, ko bomo objavili več povzetkov, kot je ta.

Podobni

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://www.topbots.com/neurips-2023-invited-talks/