esittely
Luokan opettajasi ei luultavasti näyttänyt sinulle, kuinka 20-numeroisia lukuja lisätään. Mutta jos osaat lisätä pienempiä numeroita, tarvitset vain paperia ja kynää sekä hieman kärsivällisyyttä. Aloita niistä paikoista ja työskentele vasemmalle askel askeleelta, niin pian pinoat kvintiloonia helposti.
Tällaiset ongelmat ovat helppoja ihmisille, mutta vain jos lähestymme niitä oikealla tavalla. "Se, miten me ihmiset ratkaisemme nämä ongelmat, ei ole "tuijottamista ja sitten vastauksen kirjoittamista", sanoi Eran Malach, koneoppimisen tutkija Harvardin yliopistossa. "Kävelemme itse asiassa portaiden läpi."
Tämä oivallus on inspiroinut tutkijoita tutkimaan suuria kielimalleja, jotka käyttävät ChatGPT:n kaltaisia chatbotteja. Vaikka näissä järjestelmissä saattaa olla kysymyksiä, jotka sisältävät muutaman aritmeettisen vaiheen, ne usein ratkaisevat monia vaiheita sisältäviä ongelmia, kuten kahden suuren luvun summan laskeminen. Mutta vuonna 2022 Googlen tutkijoiden ryhmä osoittivat että kielimallien pyytäminen luomaan vaiheittaisia ratkaisuja auttoi mallien avulla ratkaisemaan ongelmia, jotka olivat aiemmin tuntuneet heidän ulottumattomistaan. Heidän tekniikkansa, jota kutsutaan ajatusketjun kehotukseksi, tuli pian laajalle levinneeksi, vaikka tutkijat kamppailivat ymmärtääkseen, mikä saa sen toimimaan.
Nyt useat ryhmät ovat tutkineet ajatusketjun päättelyn voimaa käyttämällä tekniikoita teoreettisen tietojenkäsittelytieteen vaikeaselkoisesta haarasta, jota kutsutaan laskennallisen monimutkaisuuden teoriaksi. Se on viimeisin luku tutkimuksessa, joka käyttää monimutkaisuusteoriaa kielimallien luontaisten kykyjen ja rajoitusten tutkimiseen. Nämä pyrkimykset selventävät, missä meidän pitäisi odottaa mallien epäonnistuvan, ja ne saattavat viitata kohti uusia lähestymistapoja niiden rakentamiseen.
"Ne poistavat osan taikuudesta", sanoi Dimitris Papailiopoulos, koneoppimisen tutkija Wisconsinin yliopistossa, Madisonissa. "Se on hyvä asia."
Muuntajien koulutus
Suuret kielimallit rakennetaan matemaattisten rakenteiden ympärille, joita kutsutaan keinotekoisiksi hermoverkoiksi. Näiden verkkojen monet "neuronit" suorittavat yksinkertaisia matemaattisia operaatioita pitkille numerosarjoille, jotka edustavat yksittäisiä sanoja, muuntaen jokaisen verkon läpi kulkevan sanan toiseksi. Tämän matemaattisen alkemian yksityiskohdat riippuvat toisesta numerojoukosta, jota kutsutaan verkon parametreiksi, jotka kvantifioivat neuronien välisten yhteyksien vahvuuden.
Kouluttaakseen kielimallin tuottamaan yhtenäisiä tuloksia, tutkijat aloittavat tyypillisesti hermoverkosta, jonka kaikilla parametreilla on satunnaisia arvoja, ja syöttävät sen sitten datariitoja Internetistä. Joka kerta kun malli näkee uuden tekstilohkon, se yrittää ennustaa jokaisen sanan vuorotellen: Se arvaa toisen sanan ensimmäisen perusteella, kolmannen kahden ensimmäisen perusteella ja niin edelleen. Se vertaa jokaista ennustetta todelliseen tekstiin ja muuttaa sitten sen parametreja eron pienentämiseksi. Jokainen säätö muuttaa mallin ennusteita vain vähän, mutta jotenkin niiden kollektiivinen vaikutus mahdollistaa mallin reagoimaan johdonmukaisesti syötteisiin, joita se ei ole koskaan nähnyt.
Tutkijat ovat kouluttaneet hermoverkkoja käsittelemään kieltä 20 vuoden ajan. Mutta työ lähti todella vauhtiin vuonna 2017, kun Googlen tutkijat esittelivät a uudenlainen verkko kutsutaan muuntajaksi.
"Tätä ehdotettiin seitsemän vuotta sitten, mikä näyttää esihistorialta", sanoi Pablo Barceló, koneoppimisen tutkija Chilen paavillisessa katolisessa yliopistossa.
Mikä teki muuntajista niin muuttavia, on se, että niitä on helppo skaalata suuremmaksi – parametrien ja harjoitustietojen määrän lisäämiseksi – tekemättä koulutuksesta kohtuuttoman kallista. Ennen muuntajia neuroverkoilla oli korkeintaan muutama sata miljoonaa parametria; nykyään suurimmissa muuntajapohjaisissa malleissa on yli biljoona. Suuri osa kielimallin suorituskyvyn parannuksista viimeisen viiden vuoden aikana tulee yksinkertaisesti skaalaamisesta.
Muuntajat tekivät tämän mahdolliseksi käyttämällä erityisiä matemaattisia rakenteita, joita kutsutaan huomiopäiksi, jotka antavat heille eräänlaisen lintuperspektiivin luettavasta tekstistä. Kun muuntaja lukee uuden tekstilohkon, sen huomiopäät skannaavat nopeasti koko asian ja tunnistavat merkitykselliset yhteydet sanojen välillä – ehkä huomioiden, että neljäs ja kahdeksas sana ovat todennäköisesti hyödyllisimpiä 10.:n ennustamisessa. Sitten huomiopäät välittävät sanoja valtavaan neuroniverkkoon, jota kutsutaan eteenpäinkytkentäverkostoksi, mikä tekee raskaan lukujen murskauksen, joka tarvitaan oppimaan auttavien ennusteiden luomiseen.
Todellisissa muuntajissa on useita kerroksia huomiopäitä, jotka on erotettu syöttöverkoista, ja ne sylkevät ennusteita vasta viimeisen kerroksen jälkeen. Mutta jokaisessa kerroksessa huomiopäät ovat jo tunnistaneet kullekin sanalle osuvimman kontekstin, joten laskennallisesti intensiivinen eteenpäinkytkentävaihe voi tapahtua samanaikaisesti jokaiselle tekstin sanalle. Tämä nopeuttaa koulutusprosessia, mikä mahdollistaa muuntajien opettamisen yhä suuremmille datasarjoille. Vielä tärkeämpää on, että sen avulla tutkijat voivat jakaa valtavan neuroverkon harjoittamisen valtavan laskentakuorman monien rinnakkain toimivien prosessorien kesken.
Jotta saat kaiken irti massiivisista tietojoukoista, "sinun on tehtävä malleista todella suuria", sanoi David Chiang, koneoppimisen tutkija Notre Damen yliopistossa. "Heitä ei vain ole käytännöllistä kouluttaa, ellei sitä ole rinnakkaistettu."
Rinnakkaisrakenne, joka tekee muuntajien kouluttamisesta niin helppoa, ei kuitenkaan auta harjoituksen jälkeen – siinä vaiheessa ei tarvitse ennustaa olemassa olevia sanoja. Normaalin toiminnan aikana muuntajat lähettävät yhden sanan kerrallaan ja yhdistävät jokaisen lähdön takaisin tuloon ennen seuraavan sanan luomista, mutta ne ovat silti jumissa rinnakkaiskäsittelyyn optimoidussa arkkitehtuurissa.
Kun muuntajapohjaiset mallit kasvoivat ja tietyt tehtävät aiheuttivat heille edelleen ongelmia, jotkut tutkijat alkoivat ihmetellä, oliko työntö kohti rinnakkaisempia malleja tullut kalliiksi. Oliko keino ymmärtää muuntajien käyttäytymistä teoreettisesti?
Transformersin monimutkaisuus
Neuroverkkojen teoreettiset tutkimukset kohtaavat monia vaikeuksia, varsinkin kun ne yrittävät ottaa huomioon koulutusta. Neuroverkot käyttävät hyvin tunnettua menettelyä säätääkseen parametrejaan jokaisessa koulutusprosessin vaiheessa. Mutta voi olla vaikea ymmärtää, miksi tämä yksinkertainen menettely konvergoi hyvän parametrijoukon kanssa.
Sen sijaan, että pohtisivat, mitä koulutuksen aikana tapahtuu, jotkut tutkijat tutkivat muuntajien luontaisia ominaisuuksia kuvitellen, että on mahdollista säätää niiden parametreja mihin tahansa mielivaltaiseen arvoon. Tämä tarkoittaa muuntajan käsittelemistä erityisenä ohjelmoitavana tietokoneena.
"Sinulla on tietokonelaite ja haluat tietää: 'No, mitä se voi tehdä? Millaisia funktioita se voi laskea?” Chiang sanoi.
Nämä ovat keskeisiä kysymyksiä laskennan muodollisessa tutkimuksessa. Ala juontaa juurensa vuoteen 1936, jolloin Alan Turing ensimmäisen kerran kuvitteli a mielikuvituksellinen laite, jota nykyään kutsutaan Turingin koneeksi, joka voisi suorittaa minkä tahansa laskennan lukemalla ja kirjoittamalla symboleja äärettömälle nauhalle. Laskennallisen monimutkaisuuden teoreetikot rakensivat myöhemmin Turingin työhön todistamalla, että laskennalliset ongelmat kuuluvat luonnollisesti erilaisiin monimutkaisuusluokat määrittävät niiden ratkaisemiseen tarvittavat resurssit.
Vuonna 2019 Barceló ja kaksi muuta tutkijaa osoittautui että muuntajan idealisoitu versio kiinteällä määrällä parametreja voisi olla yhtä tehokas kuin Turingin kone. Jos asetat muuntajan syöttämään ulostulonsa toistuvasti takaisin tulona ja asetat parametrit sopiviin arvoihin tietylle ratkaistavalle ongelmalle, se lopulta sylkee oikean vastauksen.
Tämä tulos oli lähtökohta, mutta se perustui joihinkin epärealistisiin oletuksiin, jotka todennäköisesti yliarvioivat muuntajien tehon. Sen jälkeen tutkijat ovat työskennelleet kehittääkseen realistisempia teoreettisia puitteita.
Yksi tällainen yritys alkoi vuonna 2021, jolloin William Merrill, joka on nyt jatko-opiskelija New Yorkin yliopistossa, oli jättämässä kaksivuotisen apurahan Allen Institute for Artificial Intelligence -instituutissa Seattlessa. Siellä ollessaan hän analysoi muuntyyppisiä hermoverkkoja käyttämällä tekniikoita, jotka tuntuivat huonosti soveltuvilta muuntajien rinnakkaisarkkitehtuuriin. Vähän ennen lähtöä hän aloitti keskustelun Allen Institute for AI -tutkijan kanssa Ashish Sabharwal, joka oli opiskellut kompleksisuusteoriaa ennen siirtymistään tekoälytutkimukseen. He alkoivat epäillä, että monimutkaisuusteoria voisi auttaa heitä ymmärtämään muuntajien rajat.
”Vaikutti siltä, että se on yksinkertainen malli; täytyy olla joitain rajoituksia, jotka voidaan vain naulata", Sabharwal sanoi.
Pari analysoi muuntajia käyttämällä laskennallisen monimutkaisuuden teorian haaraa, jota kutsutaan piirin kompleksiudeksi, jota käytetään usein rinnakkaislaskennan tutkimiseen. äskettäin sovellettu muuntajien yksinkertaistettuihin versioihin. Seuraavan vuoden aikana he tarkensivat useita edellisen työn epärealistisia oletuksia. Tutkiakseen, kuinka muuntajien rinnakkaisrakenne voisi rajoittaa niiden kykyjä, pari harkitsi tapausta, jossa muuntajat eivät syöttäneet ulostuloaan takaisin tuloonsa - sen sijaan niiden ensimmäisen ulostulon olisi oltava lopullinen vastaus. Ne osoittautui että tämän teoreettisen viitekehyksen muuntajat eivät pystyneet ratkaisemaan laskennallisia ongelmia, jotka ovat tietyn kompleksisuusluokan ulkopuolella. Ja monien matemaattisten tehtävien, mukaan lukien suhteellisen yksinkertaisten, kuten lineaaristen yhtälöiden ratkaisemisen, uskotaan olevan tämän luokan ulkopuolella.
Pohjimmiltaan he osoittivat, että samansuuntaisuudesta tuli maksaa - ainakin silloin, kun muuntajien piti sylkeä vastaus heti. "Transformerit ovat melko heikkoja, jos käytät niitä niin, että annat syötteen ja odotat vain välitöntä vastausta", Merrill sanoi.
Ajatuskokeita
Merrillin ja Sabharwalin tulokset herättivät luonnollisen kysymyksen – kuinka paljon tehokkaampia muuntajia tulee, kun niiden annetaan kierrättää tuotosaan? Barceló ja hänen kirjoittajansa olivat tutkineet tätä tapausta vuoden 2019 idealisoitujen muuntajien analyysissaan, mutta realistisemmilla olettamuksilla kysymys jäi avoimeksi. Ja välivuosina tutkijat olivat havainneet ajatusketjun kehotuksen, mikä antoi kysymykselle uutta merkitystä.
Merrill ja Sabharwal tiesivät, että heidän puhtaasti matemaattinen lähestymistapansa ei kyennyt vangitsemaan kaikkia ajatusketjun päättelyn näkökohtia todellisissa kielimalleissa, joissa kehotteen sanamuoto voi olla erittäin tärkeä. Mutta riippumatta siitä, miten kehote on muotoiltu, niin kauan kuin se saa kielimallin tulostamaan vaiheittaisia ratkaisuja, malli voi periaatteessa käyttää uudelleen välivaiheiden tuloksia seuraavissa muuntajan läpikulkuissa. Tämä voisi tarjota tavan kiertää rinnakkaislaskennan rajoja.
Samaan aikaan Pekingin yliopiston tiimi oli ajatellut samalla tavalla, ja heidän alustavat tulokset olivat positiivisia. Toukokuussa 2023 julkaistussa artikkelissa he tunnistivat matemaattisia ongelmia, joiden pitäisi olla mahdottomia tavallisille muuntajille Merrillin ja Sabharwalin puitteissa. osoittivat että muuntajat pystyivät ratkaisemaan nämä ongelmat välivaiheilla.
Lokakuussa Merrill ja Sabharwal jatkoivat aikaisempaa työtään a yksityiskohtainen teoreettinen tutkimus ajatusketjun laskennallisesta tehosta. He määrittelivät, kuinka tämä ylimääräinen laskentateho riippuu välivaiheiden määrästä, jota muuntaja saa käyttää, ennen kuin sen on syljettävä lopullinen vastaus. Yleisesti ottaen tutkijat odottavat, että minkä tahansa ongelman ratkaisemiseen tarvittavien välivaiheiden määrä riippuu ongelman syötteen koosta. Esimerkiksi yksinkertaisin strategia kahden 20-numeroisen luvun lisäämiseksi vaatii kaksi kertaa niin monta välilaskuvaihetta kuin sama lähestymistapa kahden 10-numeroisen luvun lisäämiseen.
Tämänkaltaiset esimerkit viittaavat siihen, että muuntajat eivät hyötyisi paljon käyttämällä vain muutamaa välivaihetta. Todellakin, Merrill ja Sabharwal osoittivat, että ajatusketju alkaa todella auttaa, kun välivaiheiden määrä kasvaa suhteessa syötteen kokoon, ja monet ongelmat vaativat välivaiheiden määrän kasvamista vielä paljon suuremmiksi.
Tuloksen perusteellisuus teki tutkijoihin vaikutuksen. "He todella kiinnittivät tämän", sanoi Daniel Hsu, koneoppimisen tutkija Columbian yliopistossa.
Merrillin ja Sabharwalin viimeaikaiset työt osoittavat, että ajatusketju ei ole ihmelääke – periaatteessa se voi auttaa muuntajia ratkaisemaan vaikeampia ongelmia, mutta vain suuren laskennallisen vaivan kustannuksella.
"Olemme kiinnostuneita erilaisista tavoista kiertää muuntajien rajoitukset yhdellä askeleella", Merrill sanoi. "Ajatusketju on yksi tapa, mutta tämä paperi osoittaa, että se ei ehkä ole taloudellisin tapa."
Takaisin todellisuuteen
Silti tutkijat varoittavat, että tällainen teoreettinen analyysi voi paljastaa vain niin paljon todellisista kielimalleista. Positiiviset tulokset – todisteet siitä, että muuntajat voivat periaatteessa ratkaista tiettyjä ongelmia – eivät tarkoita, että kielimalli todella oppii nämä ratkaisut koulutuksen aikana.
Ja jopa tulokset, jotka käsittelevät muuntajien rajoituksia, sisältävät varoituksia: Ne osoittavat, että mikään muuntaja ei pysty ratkaisemaan tiettyjä ongelmia täydellisesti kaikissa tapauksissa. Se on tietysti aika korkea rima. "Ongelmista voi olla erityisiä tapauksia, jotka se voisi hoitaa hienosti", Hsu sanoi.
Näistä varoituksista huolimatta uusi työ tarjoaa mallin erilaisten hermoverkkoarkkitehtuurien analysointiin, jotka saattavat lopulta korvata muuntajia. Jos monimutkaisuusteoriaanalyysi viittaa siihen, että tietyntyyppiset verkot ovat tehokkaampia kuin toiset, se olisi todiste siitä, että nämä verkot voisivat pärjätä paremmin myös todellisessa maailmassa.
Chiang korosti myös, että muuntajien rajoitusten tutkimus on sitäkin arvokkaampaa, kun kielimalleja käytetään yhä enemmän monissa reaalimaailman sovelluksissa, mikä tekee niiden kykyjen yliarvioimisesta helppoa.
"On itse asiassa monia asioita, joita he eivät tee niin hyvin, ja meidän on oltava hyvin, hyvin tietoisia rajoituksista", Chiang sanoi. – Siksi tällainen työ on todella tärkeää.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://www.quantamagazine.org/how-chain-of-thought-reasoning-helps-neural-networks-compute-20240321/
- :on
- :On
- :ei
- :missä
- ][s
- $ YLÖS
- 10.
- 20
- 20 vuotta
- 2017
- 2019
- 2021
- 2022
- 2023
- a
- kyvyt
- Meistä
- Tili
- poikki
- todellinen
- todella
- lisätä
- lisää
- Lisäksi
- osoite
- säätää
- Jälkeen
- sitten
- AI
- ai tutkimusta
- Alan
- Alan Turing
- Alkemia
- Kaikki
- allen
- sallittu
- mahdollistaa
- pitkin
- jo
- Myös
- määrä
- määrät
- an
- analyysi
- analysoidaan
- analysointi
- ja
- Toinen
- vastaus
- Kaikki
- sovellukset
- lähestymistapa
- lähestymistavat
- sopiva
- mielivaltainen
- vaikeaselkoinen
- arkkitehtuuri
- arkkitehtuurit
- OVAT
- noin
- keinotekoinen
- tekoäly
- AS
- pyytäminen
- näkökohdat
- oletukset
- At
- huomio
- pois
- takaisin
- baari
- perustua
- BE
- tuli
- tulevat
- ollut
- ennen
- alkoi
- alkaa
- käyttäytyminen
- Paremmin
- välillä
- Jälkeen
- Bitti
- Tukkia
- Sivuliike
- rakentaa
- Rakentaminen
- rakennettu
- mutta
- by
- laskettaessa
- nimeltään
- CAN
- kyvyt
- kaapata
- tapaus
- tapauksissa
- syyt
- varovaisuus
- keskeinen
- tietty
- ketju
- Muutokset
- Luku
- chatbots
- ChatGPT
- Chile
- luokka
- JOHDONMUKAINEN
- Kollektiivinen
- COLUMBIA
- Tulla
- tulee
- monimutkaisuus
- laskeminen
- laskennallinen
- laskentateho
- laskennallisesti
- Laskea
- tietokone
- Tietojenkäsittelyoppi
- tietojenkäsittely
- Liitännät
- Harkita
- harkittu
- tausta
- jatkui
- Keskustelu
- korjata
- Hinta
- voisi
- Kurssi
- tiedot
- tietueita
- Päivämäärät
- määritelty
- riippua
- riippuu
- yksityiskohdat
- kehittää
- laite
- DID
- ero
- eri
- vaikea
- vaikeudet
- löysi
- do
- ei
- ei
- Dont
- alas
- aikana
- kukin
- Aikaisemmin
- helpottaa
- helppo
- vaikutus
- vaivaa
- ponnisteluja
- Kahdeksas
- käytössä
- mahdollistaa
- valtava
- yhtälöt
- erityisesti
- kiertää
- Jopa
- lopulta
- Joka
- näyttö
- esimerkki
- olla
- odottaa
- kallis
- tutkitaan
- lisää
- Kasvot
- FAIL
- Pudota
- harvat
- ala
- lopullinen
- loppu
- Etunimi
- sovittaa
- viisi
- kiinteä
- seurannut
- jälkeen
- varten
- muodollinen
- Neljäs
- Puitteet
- puitteet
- alkaen
- tehtävät
- Saada
- general
- tuottaa
- tuottaa
- saada
- saada
- Antaa
- Antaminen
- menee
- hyvä
- sai
- luokka
- valmistua
- kasvoi
- Kasvaa
- kasvaa
- HAD
- kahva
- tapahtua
- tapahtuu
- kovemmin
- Harvard
- Harvardin yliopisto
- Olla
- he
- päät
- raskas
- auttaa
- auttaa
- Korkea
- hänen
- Miten
- Miten
- http
- HTTPS
- Ihmiset
- sata
- tunnistettu
- tunnistaa
- if
- kuvitellut
- Välitön
- tärkeä
- mahdoton
- vaikuttunut
- parannus
- in
- Mukaan lukien
- Kasvaa
- yhä useammin
- todellakin
- osoittaa
- ilmaisee
- henkilökohtainen
- Ääretön
- ING
- panos
- tuloa
- sisällä
- tietoa
- innoittamana
- sen sijaan
- Instituutti
- Älykkyys
- kiinnostunut
- Internet
- välissä oleva
- tulee
- luontainen
- käyttöön
- johon
- IT
- SEN
- vain
- laji
- erilaisia
- Tietää
- Kieli
- suuri
- suurempi
- suurin
- Sukunimi
- myöhemmin
- uusin
- kerros
- kerrokset
- OPPIA
- oppiminen
- vähiten
- jättäen
- valehdella
- pitää
- Todennäköisesti
- RAJOITA
- rajoitukset
- rajat
- linja
- lineaarinen
- linjat
- kuormitus
- Pitkät
- Erä
- kone
- koneoppiminen
- tehty
- aikakauslehti
- taika-
- tehdä
- TEE
- Tekeminen
- monet
- massiivinen
- matematiikka
- matemaattinen
- asia
- Saattaa..
- merrill
- ehkä
- miljoona
- malli
- mallit
- lisää
- eniten
- liikkuvat
- paljon
- moninkertainen
- täytyy
- Luonnollinen
- Tarve
- tarvitaan
- verkko
- verkot
- hermo-
- neuroverkkomallien
- hermoverkkoihin
- neuronien
- ei ikinä
- Uusi
- New York
- seuraava
- Nro
- huomata
- nyt
- numero
- numerot
- lokakuu
- of
- pois
- Tarjoukset
- usein
- on
- ONE
- yhdet
- vain
- päälle
- avata
- toiminta
- Operations
- optimoitu
- tavallinen
- Muut
- Muuta
- ulos
- ulostulo
- lähdöt
- ulkopuolella
- yli
- pari
- ihmelääke
- Paperi
- Parallel
- parametrit
- kulkea
- kulkee
- Ohi
- Kärsivällisyys
- Peking
- täydellisesti
- Suorittaa
- suorituskyky
- ehkä
- Paikka
- Platon
- Platonin tietotieto
- PlatonData
- Kohta
- kehno
- positiivinen
- mahdollinen
- teho
- voimakas
- Käytännön
- ennustaa
- ennustamiseen
- ennustus
- Ennusteet
- alustava
- aika
- edellinen
- aiemmin
- periaate
- todennäköisesti
- Ongelma
- ongelmia
- menettelyt
- prosessi
- käsittely
- prosessorit
- tuottaa
- ohjelmoitava
- todisteet
- osa
- ehdotettu
- osoittautui
- toimittaa
- osoittautumassa
- puhtaasti
- Työnnä
- Kvantamagatsiini
- määrälliset
- kysymys
- kysymykset
- nopeasti
- melko
- esille
- satunnainen
- alue
- tavoittaa
- Lukeminen
- todellinen
- todellinen maailma
- realistinen
- Todellisuus
- ihan oikeesti
- äskettäinen
- vähentää
- puhdistettu
- suhteellisesti
- Merkitys
- merkityksellinen
- pysyi
- poistaa
- TOISTUVASTI
- korvata
- edustavat
- edellyttää
- tarvitaan
- Vaatii
- tutkimus
- tutkija
- Tutkijat
- Esittelymateriaalit
- Vastata
- johtua
- tulokset
- uudelleenkäyttö
- paljastaa
- oikein
- Said
- sama
- Asteikko
- skaalaus
- skannata
- Koulu
- tiede
- Seattle
- Toinen
- näytti
- näyttää
- nähneet
- näkee
- setti
- Setit
- seitsemän
- useat
- Pian
- shouldnt
- näyttää
- osoittivat
- Näytä
- samankaltainen
- Yksinkertainen
- yksinkertaistettu
- yksinkertaisesti
- samanaikaisesti
- koska
- Koko
- pienempiä
- So
- Ratkaisumme
- SOLVE
- Solving
- jonkin verran
- jollakin tavalla
- pian
- erityinen
- erityinen
- nopeudet
- levitä
- pinoaminen
- Alkaa
- Aloita
- Vaihe
- Askeleet
- Yhä
- Strategia
- vahvuus
- rakenne
- rakenteet
- opiskelija
- tutkittu
- opinnot
- tutkimus
- Opiskelu
- myöhempi
- niin
- ehdottaa
- Ehdottaa
- järjestelmät
- Tandem
- tehtävät
- joukkue-
- tiimit
- tekniikka
- tekniikat
- sapluuna
- teksti
- kuin
- että
- -
- heidän
- Niitä
- sitten
- teoreettinen
- teoria
- Siellä.
- Nämä
- ne
- asia
- asiat
- Ajattelu
- kolmas
- tätä
- ne
- ajatus
- Kautta
- aika
- että
- tänään
- otti
- kohti
- Juna
- koulutus
- transformatiivinen
- muuntaja
- muuntajat
- käsittelemällä
- Biljoona
- ongelmia
- yrittää
- Turing
- VUORO
- nipistää
- tweaks
- Kahdesti
- kaksi
- tyyppi
- tyypit
- tyypillisesti
- ymmärtää
- yliopisto
- ellei
- käyttää
- käytetty
- hyödyllinen
- käyttötarkoituksiin
- käyttämällä
- arvokas
- arvot
- versio
- versiot
- hyvin
- Näytä
- kävellä
- haluta
- oli
- Tapa..
- tavalla
- we
- heikko
- verkko
- WebP
- HYVIN
- tunnettu
- olivat
- Mitä
- kun
- onko
- joka
- vaikka
- koko
- jonka
- miksi
- leveä
- Laaja valikoima
- laajalle levinnyt
- tulee
- with
- ilman
- ihme
- sana
- sanamuoto
- sanoja
- Referenssit
- työskenteli
- työskentely
- maailman-
- olisi
- kirjoittaa
- kirjoittaminen
- vuosi
- vuotta
- york
- Voit
- zephyrnet