NeurIPS 2023: Tärkeitä poimintoja kutsutuista keskusteluista

Luotu Midjourneyn kanssa

Eloisassa New Orleansin kaupungissa 2023.–10. joulukuuta pidetyssä NeurIPS 16 -konferenssissa painotettiin erityisesti generatiivisia tekoälyä ja suuria kielimalleja (LLM). Kun otetaan huomioon viimeaikaiset uraauurtavat edistysaskeleet tällä alalla, ei ollut yllätys, että nämä aiheet hallitsivat keskusteluja.

Yksi tämän vuoden konferenssin ydinteemoista oli tehokkaampien tekoälyjärjestelmien etsiminen. Tutkijat ja kehittäjät etsivät aktiivisesti tapoja rakentaa tekoälyä, joka ei vain opi nykyistä LLM:tä nopeammin, vaan jolla on myös paremmat päättelyominaisuudet ja joka kuluttaa vähemmän laskentaresursseja. Tämä pyrkimys on ratkaisevan tärkeä kilpailussa yleisen tekoälyn (AGI) saavuttamiseksi, tavoitteen, joka näyttää yhä paremmin saavutettavissa olevan lähitulevaisuudessa.

Kutsutut keskustelut NeurIPS 2023:ssa heijastivat näitä dynaamisia ja nopeasti kehittyviä kiinnostuksen kohteita. Esiintyjät tekoälytutkimuksen eri osa-alueilta jakoivat viimeisimmät saavutuksensa ja tarjosivat ikkunan uusimpaan tekoälykehitykseen. Tässä artikkelissa perehdymme näihin keskusteluihin, poimimme ja keskustelemme tärkeimmistä poiminnoista ja opinnoista, jotka ovat välttämättömiä tekoälyinnovaatioiden nykyisten ja tulevien maisemien ymmärtämiseksi.

NextGenAI: Skaalauksen harha ja generatiivisen tekoälyn tulevaisuus 

In hänen puheensa, Björn Ommer, Münchenin Ludwig Maximilianin yliopiston Computer Vision & Learning Groupin päällikkö, kertoi, kuinka hänen laboratorionsa tuli kehittämään vakaata diffuusiota, joitain oppitunteja, joita he oppivat tästä prosessista, ja viimeaikaisesta kehityksestä, mukaan lukien kuinka voimme yhdistää diffuusiomalleja muun muassa virtaussovitus, haun lisäys ja LoRA-likiarvot.

Avaimet:

• Generatiivisen tekoälyn aikakaudella siirryimme näkömallien havainnoinnin (eli objektin tunnistamisen) keskittymisestä puuttuvien osien ennustamiseen (esim. kuvan ja videon luominen diffuusiomalleilla).
• 20 vuoden ajan tietokonenäkö keskittyi benchmark-tutkimukseen, joka auttoi keskittymään näkyvimpiin ongelmiin. Generatiivisessa tekoälyssä meillä ei ole vertailuarvoja, joita varten optimoida, mikä avasi kentän kaikille mennä omaan suuntaansa.
• Diffuusiomallit yhdistävät aikaisempien generatiivisten mallien edut olemalla pistepohjaisia, vakaan harjoitusprosessin ja tehokkaan näyteeditoinnin, mutta ne ovat kalliita pitkän Markov-ketjunsa vuoksi.
• Vahvojen todennäköisyysmallien haasteena on, että suurin osa biteistä menee yksityiskohtiin, joita ihmissilmä tuskin havaitsee, kun taas tärkeimmän semantiikan koodaus vie vain muutaman bitin. Skaalaus yksinään ei ratkaise tätä ongelmaa, koska laskentaresurssien kysyntä kasvaa 9 kertaa nopeammin kuin GPU-tarjonta.
• Ehdotettu ratkaisu on yhdistää diffuusiomallien ja ConvNetien vahvuudet, erityisesti konvoluutioiden tehokkuus paikallisten yksityiskohtien esittämisessä ja diffuusiomallien ilmaisukyky pitkän kantaman kontekstissa.
• Björn Ommer ehdottaa myös virtaussovitusmenetelmän käyttöä korkearesoluutioisen kuvasynteesin mahdollistamiseksi pienistä latenteista diffuusiomalleista.
• Toinen tapa lisätä kuvasynteesin tehokkuutta on keskittyä kohtauksen sommitteluun ja käyttää haun lisäystä yksityiskohtien täyttämiseen.
• Lopuksi hän esitteli iPoke-lähestymistavan ohjattua stokastista videosynteesiä varten.

Jos tämä perusteellinen sisältö on sinulle hyödyllistä, tilaa AI-postituslistamme hälytys, kun julkaisemme uutta materiaalia. 

Vastuullisen tekoälyn monet kasvot 

In hänen esityksensä, Google Researchin tutkija Lora Aroyo korosti perinteisten koneoppimislähestymistapojen keskeistä rajoitusta: niiden riippuvuutta datan binääriluokitteluista positiivisina tai negatiivisina esimerkkeinä. Hän väitti, että tämä liiallinen yksinkertaistaminen jättää huomioimatta todellisten skenaarioiden ja sisällön monimutkaisen subjektiivisuuden. Erilaisten käyttötapausten kautta Aroyo osoitti, kuinka sisällön monitulkintaisuus ja luonnollinen vaihtelu ihmisten näkökulmissa johtavat usein väistämättömiin erimielisyyksiin. Hän korosti, että on tärkeää käsitellä näitä erimielisyyksiä mielekkäinä signaaleina pelkkänä meluna.

Tässä keskustelun keskeisiä poimintoja:

• Ihmistyöläisten väliset erimielisyydet voivat olla tuottavia. Sen sijaan, että Lora Aroyo olisi käsitellyt kaikkia vastauksia joko oikeina tai väärinä, hän esitteli "totuuden erimielisyydellä", jakauman totuuden lähestymistavan tietojen luotettavuuden arvioimiseksi hyödyntämällä arvioijien erimielisyyttä.
• Tiedon laatu on vaikeaa jopa asiantuntijoiden kanssa, koska asiantuntijat ovat yhtä mieltä kuin joukkotyöläiset. Nämä erimielisyydet voivat olla paljon informatiivisempia kuin yksittäisen asiantuntijan vastaukset.
  • Turvallisuusarviointitehtävissä asiantuntijat ovat eri mieltä 40 % esimerkeistä. Sen sijaan, että yritämme ratkaista näitä erimielisyyksiä, meidän on kerättävä lisää tällaisia ​​esimerkkejä ja käytettävä niitä mallien ja arviointimittojen parantamiseen.
• Lora Aroyo esitteli myös omansa Turvallisuutta monimuotoisuudella menetelmä tietojen tarkastamiseksi sen suhteen, mitä siinä on ja kuka ne on kommentoinut.
  • Tämä menetelmä tuotti vertailutietojoukon, jossa LLM-turvallisuusarvioinnit vaihtelivat useissa arvioijaryhmissä (yhteensä 2.5 miljoonaa arviota).
  • 20 %:ssa keskusteluista oli vaikea päättää, oliko chatbotin vastaus Turvallinen vai Turvaton, sillä suurin piirtein yhtä monta vastaajaa piti niitä joko turvallisina tai vaarallisina.
• Arvioijien ja tietojen monimuotoisuus on ratkaisevassa roolissa mallien arvioinnissa. Inhimillisten näkökulmien ja sisällön moniselitteisyyden tunnustamatta jättäminen voi haitata koneoppimisen suorituskyvyn yhdenmukaistamista todellisten odotusten kanssa.
• 80 % tekoälyn turvatoimista on jo melko hyviä, mutta loput 20 % vaativat kaksinkertaistamisen, jotta voidaan käsitellä reunatapauksia ja kaikkia muunnelmia monimuotoisuuden äärettömässä avaruudessa.

Koherenssitilastot, itse luotu kokemus ja miksi nuoret ihmiset ovat paljon älykkäämpiä kuin nykyinen tekoäly 

In hänen puheensa, Linda Smith, arvostettu professori Indiana University Bloomingtonista, tutki datan harvalukuisuutta imeväisten ja pienten lasten oppimisprosesseissa. Hän keskittyi erityisesti esineiden tunnistamiseen ja nimen oppimiseen ja pohtii, kuinka pikkulasten itse tuottamien kokemusten tilastot tarjoavat mahdollisia ratkaisuja datan harvakseltaan.

Avaimet:

• Kolmen vuoden iässä lapset ovat kehittäneet kyvyn olla yksikertaisia ​​oppijoita eri aloilla. Neljättä syntymäpäivää edeltävän alle 16,000 1,000 valvetunnin aikana he onnistuvat oppimaan yli XNUMX XNUMX esineluokkaa, hallitsemaan äidinkielensä syntaksin ja omaksumaan ympäristönsä kulttuuriset ja sosiaaliset vivahteet.
• Tohtori Linda Smith ja hänen tiiminsä löysivät kolme ihmisen oppimisen periaatetta, joiden avulla lapset voivat vangita niin paljon näin niukoista tiedoista:
  • Oppijat hallitsevat syötteitä hetkestä hetkeen he muokkaavat ja jäsentävät panosta. Esimerkiksi muutaman ensimmäisen elämänsä kuukauden aikana vauvat katsovat enemmän esineitä, joilla on yksinkertainen reuna.
  • Koska vauvojen tietämys ja kyvyt kehittyvät jatkuvasti, he noudattavat erittäin rajoitettua opetussuunnitelmaa. Tiedot, joille he altistuvat, on järjestetty erittäin merkittävillä tavoilla. Esimerkiksi alle 4 kuukauden ikäiset vauvat viettävät eniten aikaa kasvojen katselemiseen, noin 15 minuuttia tunnissa, kun taas yli 12 kuukauden ikäiset keskittyvät pääasiassa käsiin ja tarkkailevat niitä noin 20 minuuttia tunnissa.
  • Oppimisjaksot koostuvat sarjasta toisiinsa liittyviä kokemuksia. Tilalliset ja ajalliset korrelaatiot luovat koherenssia, mikä puolestaan ​​helpottaa pysyvien muistojen muodostumista kertaluonteisista tapahtumista. Esimerkiksi kun lapset saavat satunnaisen valikoiman leluja, he keskittyvät usein muutamiin "suosikkileluihin". He ovat tekemisissä näiden lelujen kanssa käyttämällä toistuvia kuvioita, mikä auttaa oppimaan tavaroita nopeammin.
• Ohimenevät (työ)muistit säilyvät pidempään kuin aistisyöte. Ominaisuuksia, jotka tehostavat oppimisprosessia, ovat multimodaalisuus, assosiaatiot, ennustavat suhteet ja menneiden muistojen aktivointi.
• Nopeaa oppimista varten tarvitset tiedon tuottavien mekanismien ja oppivien mekanismien välisen liiton.

Luonnos: ydintyökalut, oppimisen lisääminen ja mukautuva kestävyys 

Jelani Nelson, sähkötekniikan ja tietojenkäsittelytieteen professori UC Berkeleyssä, esitteli datan "luonnokset" käsitteen – muistiin pakattu esitys tietojoukosta, joka silti mahdollistaa hyödyllisten kyselyiden vastaamisen. Vaikka puhe oli melko tekninen, se tarjosi erinomaisen yleiskatsauksen joistakin perustavanlaatuisista luonnostyökaluista, mukaan lukien viimeaikaiset edistysaskeleet.

Tärkeimmät takeawayt:

• CountSketch, keskeinen luonnostyökalu, otettiin käyttöön ensimmäisen kerran vuonna 2002 "raskaiden osumien" ongelman ratkaisemiseksi. Se raportoi pienen luettelon yleisimmistä kohteista tietyssä kohdevirrassa. CountSketch oli ensimmäinen tunnettu tähän tarkoitukseen käytetty sublineaarinen algoritmi.
• Kaksi raskaiden hitterien suoratoistosovellusta ovat:
  • Interior point-based method (IPM), joka antaa asymptoottisesti nopeimman tunnetun algoritmin lineaariseen ohjelmointiin.
  • HyperAttention-menetelmä, joka vastaa laskennalliseen haasteeseen, jonka LLM:issä käytettävien pitkien kontekstien kasvava monimutkaisuus aiheuttaa.
• Suuri osa viimeaikaisesta työstä on keskittynyt luonnosten suunnitteluun, jotka ovat kestäviä adaptiiviseen vuorovaikutukseen. Pääideana on käyttää adaptiivisen data-analyysin oivalluksia.

Skaalauspaneelin lisäksi 

Tämä loistava paneeli suurille kielimalleille moderaattorina toimi Alexander Rush, Cornell Techin apulaisprofessori ja Hugging Facen tutkija. Muita osallistujia olivat mm.

• Aakanksha Chowdhery – Google DeepMindin tutkija, joka on kiinnostunut järjestelmistä, LLM-esikoulutuksesta ja multimodaalisuudesta. Hän oli osa tiimiä, joka kehitti PaLMia, Geminiä ja Pathwaysia.
• Angela Fan – Meta Generative AI:n tutkija, jonka tutkimusintressit ovat kohdistus, datakeskukset ja monikielisyys. Hän osallistui Llama-2:n ja Meta AI Assistantin kehittämiseen.
• Percy Liang – Stanfordin professori, joka tutkii sisällöntuottajia, avointa lähdekoodia ja luovia agentteja. Hän on Stanfordin perusmallien tutkimuskeskuksen (CRFM) johtaja ja Together AI:n perustaja.

Keskustelu keskittyi neljään keskeiseen aiheeseen: (1) arkkitehtuurit ja suunnittelu, (2) data ja kohdistus, (3) arviointi ja läpinäkyvyys sekä (4) tekijät ja avustajat.

Tässä muutamia poimintoja tästä paneelista:

• Nykyisten kielimallien kouluttaminen ei ole luonnostaan ​​vaikeaa. Suurin haaste Llama-2-7b:n kaltaisen mallin koulutuksessa on infrastruktuurivaatimukset ja tarve koordinoida useiden GPU:iden, datakeskusten jne. välillä. Jos parametrien määrä on kuitenkin tarpeeksi pieni mahdollistamaan harjoittelun yhdellä GPU:lla, jopa ylioppilas voi hallita sitä.
• Vaikka autoregressiivisiä malleja käytetään yleensä tekstin luomiseen ja diffuusiomalleihin kuvien ja videoiden luomiseen, on kokeiltu näiden lähestymistapojen kääntämistä. Erityisesti Gemini-projektissa käytetään autoregressiivistä mallia kuvan luomiseen. Myös diffuusiomallien käyttöä tekstin luomiseen on tutkittu, mutta ne eivät ole vielä osoittautuneet riittävän tehokkaiksi.
• Koska englanninkielistä tietoa on rajoitetusti koulutusmalleissa, tutkijat etsivät vaihtoehtoisia lähestymistapoja. Yksi mahdollisuus on kouluttaa multimodaalisia malleja tekstin, videon, kuvien ja äänen yhdistelmällä, sillä oletetaan, että näistä vaihtoehtoisista menetelmistä opitut taidot voivat siirtyä tekstiin. Toinen vaihtoehto on synteettisten tietojen käyttö. On tärkeää huomata, että synteettinen data sekoittuu usein todelliseen dataan, mutta tämä integrointi ei ole satunnaista. Verkossa julkaistu teksti on tyypillisesti ihmisen kuratoinnin ja editoinnin läpi, mikä saattaa tuoda lisäarvoa mallikoulutukseen.
• Avoimen perustan malleja pidetään usein hyödyllisinä innovaatioille, mutta mahdollisesti haitallisiksi tekoälyn turvallisuudelle, koska pahantahtoiset toimijat voivat hyödyntää niitä. Tohtori Percy Liang kuitenkin väittää, että avoimet mallit edistävät myös turvallisuutta. Hän väittää, että koska ne ovat saavutettavissa, ne tarjoavat useammalle tutkijalle mahdollisuuksia tehdä tekoälyn turvallisuustutkimusta ja tarkastella malleja mahdollisten haavoittuvuuksien varalta.
• Nykyään tietojen merkitseminen vaatii huomattavasti enemmän asiantuntemusta merkintäalalla kuin viisi vuotta sitten. Jos tekoälyavustajat kuitenkin toimivat odotetulla tavalla tulevaisuudessa, saamme käyttäjiltä arvokkaampaa palautedataa, mikä vähentää riippuvuutta annotaattorien laajasta datasta.

Perustusmallien järjestelmät ja järjestelmien pohjamallit 

In tämä puhe, Christopher Ré, Stanfordin yliopiston tietojenkäsittelytieteen laitoksen apulaisprofessori, osoittaa, kuinka perusmallit muuttivat rakentamiamme järjestelmiä. Hän myös tutkii, kuinka rakentaa tehokkaasti perustusmalleja lainaten tietokantajärjestelmien tutkimuksesta saatuja oivalluksia, ja keskustelee mahdollisesti tehokkaammista perusmallien arkkitehtuureista kuin Transformer.

Tässä tärkeimmät poiminta tästä keskustelusta:

• Säätiömallit ovat tehokkaita "kuolemaan 1000 leikkauksella" -ongelmissa, joissa jokainen yksittäinen tehtävä voi olla suhteellisen yksinkertainen, mutta tehtävien laaja ja monimuotoisuus ovat merkittävä haaste. Hyvä esimerkki tästä on tietojen puhdistusongelma, jonka LLM:t voivat nyt auttaa ratkaisemaan paljon tehokkaammin.
• Kiihdyttimien nopeutuessa muisti tulee usein pullonkaulana. Tämä on ongelma, jota tietokantatutkijat ovat käsitelleet vuosikymmeniä, ja voimme omaksua joitain heidän strategioistaan. Esimerkiksi Flash Attention -lähestymistapa minimoi tulo-lähtövirrat eston ja aggressiivisen fuusion kautta: aina kun pääsemme käsiksi tietoon, suoritamme sille mahdollisimman monta toimintoa.
• On olemassa uusi signaalinkäsittelyyn perustuva arkkitehtuuriluokka, joka voisi olla tehokkaampi kuin Transformer-malli, erityisesti pitkien sekvenssien käsittelyssä. Signaalinkäsittely tarjoaa vakautta ja tehokkuutta, mikä luo perustan innovatiivisille malleille, kuten S4.

Online-vahvistusoppiminen digitaalisissa terveysinterventioissa 

In hänen puheensa, Susan Murphy, tilastotieteen ja tietojenkäsittelytieteen professori Harvardin yliopistosta, jakoi ensimmäiset ratkaisut joihinkin haasteisiin, joita he kohtaavat kehitettäessä online-RL-algoritmeja käytettäväksi digitaalisissa terveydenhuollon interventioissa.

Tässä muutamia poimintoja esityksestä:

• Tohtori Susan Murphy keskusteli kahdesta projektista, joiden parissa hän on työskennellyt:
  • HeartStep, jossa toimintoja on ehdotettu älypuhelimien ja puettavien seurantalaitteiden tietojen perusteella
  • Oralytics for oral health coaching, jossa interventiot perustuivat elektronisesta hammasharjasta saatuihin sitoutumistietoihin.
• Tekoälyagentin käyttäytymispolitiikkaa kehittäessään tutkijoiden on varmistettava, että se on itsenäinen ja että se voidaan toteuttaa laajemmassa terveydenhuoltojärjestelmässä. Tämä edellyttää sen varmistamista, että henkilön sitoutumiseen kuluva aika on kohtuullinen ja että suositellut toimet ovat sekä eettisesti perusteltuja että tieteellisesti uskottavia.
• Ensisijaisia ​​haasteita kehitettäessä RL-agenttia digitaalisiin terveysinterventioihin kuuluvat korkeiden melutasojen käsittely, koska ihmiset johtavat elämäänsä eivätkä välttämättä aina pysty vastaamaan viesteihin, vaikka he haluaisivat, sekä voimakkaiden, viivästyneiden negatiivisten vaikutusten hallinta. .

Kuten näet, NeurIPS 2023 on tarjonnut valaisevan välähdyksen tekoälyn tulevaisuuteen. Kutsutut keskustelut korostivat suuntausta kohti tehokkaampia, resurssittietoisempia malleja ja uusien arkkitehtuurien tutkimista perinteisten paradigmien ulkopuolella.

Nautitko tästä artikkelista? Tilaa lisää AI-tutkimuspäivityksiä.

Ilmoitamme sinulle, kun julkaisemme lisää tämänkaltaisia ​​yhteenvetoartikkeleita.

liittyvä

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://www.topbots.com/neurips-2023-invited-talks/