CCC toetas selle aasta AAAS-i aastakonverentsil kolme teaduslikku seanssi ja kui te ei saanud isiklikult osaleda, teeme iga seansi kokkuvõtte. Sel nädalal teeme kokkuvõtte sessiooni panelistide ettekannete tipphetkedest, "Suured keelemudelid: abivalmis assistendid, romantilised partnerid või petturid?” See paneel, modereeris Dr Maria Gini, CCC nõukogu liige ning Minnesota ülikooli arvutiteaduse ja inseneriteaduse professor Dr Ece Kamar, Microsoft Researchi AI Frontiersi tegevdirektor, Dr Hal Daumé III, Marylandi ülikooli arvutiteaduse professor ja Dr Jonathan May, Lõuna-California ülikooli infoteaduste instituudi arvutiteaduse professor.
Suured keelemudelid on tänapäeval ühiskonnas vestluste esirinnas ja žürii on nõus, kas nad täidavad neid ümbritsevat hüpet. Selle AAAS-i sessiooni panelistid käsitlesid LLM-ide võimalusi, väljakutseid ja potentsiaali.
Esimene panelist oli dr Ece Kamar (Microsoft Research). Ta kirjeldas tehisintellekti praegust olekut kui "faasi üleminekut". Ta pakkus ainulaadset vaatenurka inimesena, kes on näinud muutusi tehisintellektis tööstuses ja süvaõppe mudelite eksponentsiaalset kasvu, mida väga vähesed eeldasid, et see jätkub 2024. aastal.
Kasvu põhjustas LLM-i koolitatud andmete hulga suurenemine ja suurem arhitektuur, mida nimetatakse trafodeks. Huvitav arusaam, mida dr Kamar graafiku kohta jagas, on see, et mudelid skaleeruvad nii kiiresti, kuna neid õpetati algselt konkreetse ülesande jaoks; ülesanne, mida nad saaksid usaldusväärselt täita. ChatGPT näitas, et kui skaleerite piisavalt suureks, sealhulgas mudeli arvessevõetavate parameetrite arvu, võivad mudelid hakata ülesandeid täitma sarnaselt mudeliga, mis on spetsiaalselt koolitatud samu ülesandeid täitma.
See on LLM-i faasisiirde määratlus: mudeleid ei pea enam konkreetse ülesande jaoks spetsiaalselt koolitama, vaid neid saab üldiselt koolitada ja seejärel täita paljusid ülesandeid. Ja pole märke, et nende võimete kasv aeglustuks.
Dr Kamaril oli GPT-4-le varane juurdepääs ja selle katsetamise ajal avaldasid talle muljet selle olulised täiustused, mis kaasnesid mastaabi ja andmetega, ning asjaolu, et see suudab sünkroonselt täita erinevaid ülesandeid.
Mida toob nende LLM-ide tulevik? Dr Kamar eeldab, et LLM-id lähevad inimkeelest kaugemale ja õpivad masinkeelt ning suudavad tõlkida kahe keele vahel. See suurendaks sisendi ja väljundi modaalsuste võimalusi, mis võib viia selleni, et mudelid suudavad mitte ainult keelt genereerida, vaid ka käitumise toiminguid ja ennustusi.
Järgmisena käsitles dr Kamar andmetöötluses toimuvat olulist faasisiiret. Tänapäeval arendatakse süsteeme väga erinevalt ja see areng eeldab uue andmetöötlusparadigma loomist, millele me praegu oleme ainult kriimustatud. See, kuidas me arvutitega suhtleme, näeb lähiaastatel palju teistsugune välja ja see nõuab inimese ja arvuti interaktsiooni (HCI) ümbermõtestamist.
Teine muudatus on viis, kuidas inimesed edasi liikudes töötavad. Microsoft on läbi viinud uuringud, mille kohaselt võib töötajate tootlikkus AI abil kirjutatud koodiridade osas kahekordistuda. See on uskumatu saavutus, kuid see, kuidas see tehnoloogia töötab ja kust selle intelligentsus pärineb, on suures osas teadmata, seega on selles valdkonnas palju uurimisküsimusi.
Samuti on palju küsimusi selliste LLM-ide võimaliku väärkasutuse kohta. Muret tekitavad õiglus, erinevad demograafilised riskid ja muud veelgi drastilisemad tagajärjed. Kuigi teadusliku avastamise potentsiaal on suur, on ka suur potentsiaal kahju tekitamiseks; Näiteks veenda vanemaid oma lapsi mitte vaktsineerima, last tegema midagi halba või veenma kedagi, et maailm on lame. LLM-ide arendamiseks on tehtud palju ohutusega seotud jõupingutusi ja avatud hankimine võib olla väga kasulik ka selles valdkonnas edu saavutamiseks.
Seejärel esitas dr Kamar teadusringkondadele küsimusi:
- Kuidas muutub teadus AI katkemisega?
- Kas astume samme järgmise põlvkonna harimise ja koolitamise muutmiseks?
- Kas ehitate tehnoloogilist infrastruktuuri, et sellest faasi üleminekust kasu saada?
- Kas valmistame tulevasi põlvkondi ette uueks maailmaks?
Lõpuks rõhutas dr Kamar, et faasisiirde üks tähelepanuväärseid põhiaspekte on LLM-ide arenemise kiirus. Need mudelid paranevad väga lühikese aja jooksul märkimisväärselt ja andmetöötlusteadlastel on palju ees teha.
Teine paneeli liige dr Hal Daumé III (Marylandi ülikool) alustas oma kõnet selgitamisega, et tehisintellekti mudelid tuleks välja töötada, et aidata inimestel teha asju, mida nad tahavad; suurendada inimtööd, mitte automatiseerida. See automatiseerimise nägemus on ühiskonda levinud alates 60ndatest. Selle asemel, et aidata inimestel malet paremini mängida, töötasid teadlased välja süsteemi, mis mängib malet iseseisvalt.
See filosoofia ei vii kuhugi; AI on tänapäeval endiselt uudisväärtuslik, kui see on piisavalt intelligentne, et iseseisvalt ülesannet täita. See on AI sügaval veres. Enne kui kulutame aega ja raha süsteemi automatiseerimisele, tuleks esmalt peatuda ja küsida, kas see on meie huvides?
Dr Daumé lükkas esile suurendamise kontseptsiooni: kuidas saab tehisintellekti tööriistana kasutada? Sellised süsteemid nagu Githubi kaaspiloot suurendavad tootlikkust, kuid tootlikkuse suurendamisest ei piisa. Süsteemi kasutaja ütles, et see võimaldas neil keskenduda lõbusatele kodeerimise osadele, mis on palju paremini kooskõlas AI loomisega.
AI-teadlased ei peaks tahtma eemaldada inimese tööst lõbusaid osi; nad peaksid prioriteediks olema tööjõu eemaldamine. See peaks parandama inimelusid, mitte ainult parandama ettevõtte lõpptulemust.
Dr Daumé oli neid punkte tõstatava artikli kaasautor ja ilmnes vastuargument, et tehnilisest vaatenurgast on eriti masinõppetehnoloogiat kasutavate süsteemide ehitamine sageli palju lihtsam automatiseerida kui täiendada. Seda seetõttu, et süsteemi treenimiseks vajalikke andmeid on lihtne hankida. Pakume seda teavet oma tööd tehes ja ML-i on lihtne õpetada inimkäitumist jäljendama. Süsteemi on palju raskem õpetada, et aidata kellelgi ülesannet täita. See teave on hajutatud NSF-i kirjandusülevaadete, programmeerija poolt paberile kirjutamise jms vahel. Andmeid, mis on vajalikud inimese ülesannete täitmiseks, ei salvestata.
Teine oluline aspekt kasulike süsteemide loomisel on küsida kasutajalt, millised süsteemid oleksid tema elu jaoks kasulikud. Näiteks pimedate vajadused on väga erinevad nägevate inimeste vajadustest (mis erinevad ka nägevate inimeste vajadustest mõtlema pimedate vajadused on). Dr Daumé jagatud näide oli see, et visuaalne süsteem võib paljastada, et objekt on soodapurk, kuid pime inimene saab seda tavaliselt ise mõista. Sooda koostisosad oleksid neile palju kasulikumad. Süsteemi vastuste kvaliteedi ja lihtsalt juurdepääsetavuse küsimuste mõistmise vahel on tohutu lõhe ja see lõhe suureneb.
Täiendav näide kogukonna vajaduste esmase kindlaksmääramise tähtsusest enne tehnoloogia loomist, et neid "aidata", on sisu modereerimine. Paljud vabatahtlikud sisumoderaatorid osalevad töös, sest tahavad muuta maailma paremaks kohaks ja aidata luua kogukonda, mida nad peavad oluliseks. Kui neilt küsitakse, millist tööriista nad oma rolli aidata soovivad, ei taha nad sageli, et nende töö oleks täielikult automatiseeritud, vaid lihtsalt igavate osade, näiteks vestlusajaloo otsimise hõlbustamiseks.
Dr Daumé lõpetab selle arutelu viimase näitega oma autot armastavast emast, kes armastab autosid ja keeldub automaatautodega sõitmast. Ta valib manuaalkäigukasti ja tema jaoks on see valik väga oluline. Inimesed peaksid kontrollima, kas nad tahavad, et nende ülesanded oleksid automatiseeritud või mitte.
Dr Daumé jätkab vestlust, pakkudes alternatiive ligipääsetavuse tehnoloogia praegustele lähenemisviisidele. Näiteks viipekeele tuvastamise tööriista loomisel, selle asemel, et otsida Internetist videoid allkirja andvatest inimestest (millel on palju nõusolekut ja privaatsusprobleeme, lisaks on enamik neist videotest professionaalidelt ja ilma taustamüra/häireteta, mis on t realistlik), pöörduge kogukonna poole ja algatage projekt, mis annab neile võimaluse tööriistade koolitamiseks videoid esitada. Sellised kogukonnapõhised strateegiad on eetilisemad ja vastutustundlikumad ning annavad kasutajatele suurema kontrolli.
Dr Daumé järeldab, et LLM-id ja muud tööriistad tuleks välja töötada, et seada esikohale kasulikkus, mitte intelligentsus. Mida kasulikum see on, seda rohkem võib see aidata inimestel teha midagi, mida nad ei saa või ei taha teha, selle asemel, et automatiseerida midagi, mis inimestel juba hästi läheb ja mida nad naudivad.
Järgmisena esines dr Jonathan May (Lõuna-California Ülikooli Infoteaduste Instituut), kes alustas oma kõnet mõtiskledes konverentsi teema üle: „Seinteta teaduse poole”. Ta väidab, et kuigi hiljutine LLM-i areng mõne inimese jaoks lööb müürid maha, ehitab see paljude jaoks müüre.
Esmalt arutleb ta selle üle, kuidas internet alandas palju tõkkeid uuringute läbiviimiseks; kui ta oli 17-aastane, mõtles ta, miks Tähesõdadel ja Sõrmuste isandal on väga sarnased süžeed, ja ta pidi sõitma raamatukokku ja leidma vastusega raamatu. Ta tegi oma doktoritöö jaoks suurema panusega, kuid sama vaevarikka uurimistöö, kuid õppimise aja lõpuks loodi sellel teemal Wikipedia leht ja seejärel Interneti-otsing ning nüüd on autovaba uurimine norm.
Dr May jätkas, öeldes, et tal on privilegeeritud olla LLM-ide sihtrühma demograafilises rühmas. Ta ei kodeeri sageli ega õppinud kunagi palju kodeerimisoskusi, kuid kui ta seda oma tööks vajab, võib ta küsida ChatGPT-d ja see teeb suurepärast tööd.
LLM-ide kasulikkuse laialdaseks levitamiseks on aga palju seinu:
- Keeleseinad: mudelid töötavad seda paremini, mida rohkem andmeid neil on koolitatud. Kuigi tänapäeva kommertslikud LLM-id on mitmekeelsed, on neil suur kaalukus inglise keele poole. Näiteks ChatGPT on koolitatud 92% inglise keeles. Lisaks on juhiste andmed, mis on LLM-ide "salajane kaste", valdav enamus ingliskeelsed (näiteks 96% ChatGPT-dest). Praegu tehakse nende mudelite keeleülese jõudluse parandamiseks väga vähe jõupingutusi, vaatamata olemasolevate testide süsteemsetele jõudluslünkadele, mis on mõistlik üldise konsensuse tõttu, et masintõlge (MT) on "lahendatud" ja jõupingutused tuleks keskenduda muudele ülesannetele.
- Identiteedi seinad: kui küsite ChatGPT-lt, mida peaksite jõulude ajal tegema, keskendub see erinevatele tegevustele ja traditsioonidele, millega saate tegeleda; see ei maini, et sa võiksid tööle minna. On näidatud, et LLM-id käituvad erinevate demograafiliste rühmade kirjeldamisel erinevalt, väljendades rohkem negatiivseid tundeid ja mõnel juhul isegi otsest toksilisust. Võimalikud on stereotüüpsed laused, mis võivad tekitada kahju sellistes kogukondades nagu LGBTQ+ või juudid; üldiselt on palju erapoolikusi ja sellel on oma tagajärjed kasutusele võetud otsuste tegemisel. Sisseehitatud on mõned kaitsemehhanismid ja selgesõnalisemad uurimisküsimused saavad vähem tõenäoliselt mürgiseid vastuseid, kuid mudelid eelistavad tõenäoliselt stereotüüpseid väiteid ja tulemusi ning see on koht, kus on kahju, eriti kui kasutatakse mudeleid allavoolu funktsioonides, kus te ei näe väljund (st laenukõlblikkus). Ta tõi näite, kuidas LLM-id näitavad erapoolikust inimeste nägude loomisel nende töö põhjal; madalamalt tasustatud töökohad on näidatud naiste ja vähemustena, kõrgemalt tasustatud töökohad on aga valged mehed.
- Keskkonnaseinad (tarkvara): LLM-id vajavad tootmiseks ja käitamiseks märkimisväärsel hulgal energiat. Isegi kõige “tagasihoidlikumad” LM-id kasutavad aastas kolm korda rohkem energiat kui üksik inimene. Suurimate keelemudelite (nt ChatGPT) andmetes on ka märkimisväärne lünk, kuid neid omavad ettevõtted keelavad selgesõnaliselt juurdepääsu oma energiatarbimisele.
- Keskkonnaseinad (riistvara): kiipide tootmiseks, mida kõik LLM-id nõuavad, vajate konfliktimaterjale, nagu tantaal (kaevandatakse Kongos) ja hafnium (kaevandatakse Senegalis ja Venemaal). USA-s peaksid ettevõtted teatama konflikti mineraalide kogusest, mida nad kasutavad, kuid USA näitab avalikult nende materjalide kasutamise vähenemist, mis ei saa olla tõsi. Lisaks sellele on palju sotsiaalpoliitilisi probleeme, nagu Hiina piirab germaaniumi ja galliumi kättemaksuks USA ekspordipiirangutele.
Dr May väljendab, et need kategooriad paljastavad mõned paljudest LLM-i tekitatud kahjuga seotud probleemidest ja juhtumitest, kus inimesed sellest kasu ei saa. On põhjust muretsemiseks, kuid on ka võimalusi uuringuteks ja/või käitumise muutusteks, mis leevendaksid mõnda neist kahjudest:
- Keel: suunata rohkem teadusuuringute rahastamist mitmekeelsusele (mitte ainult hegemoonilisele tõlkele inglise keelde ja inglise keelest).
- Identiteet: alt-üles ja kogukonda kaasav uuring. Mudeli muutmine ja testimine enne kasutuselevõttu
- Keskkond: Algoritmi arendus, mis kasutab vähem andmeid ja muudab vähem parameetreid (nt LoRA, adapterid, mitte-RL PO). Olge arvutamisel kohusetundlik ja nõudke avatust regulatiivsel tasandil
Dr. May lõpetas paneeli, kordades dr Daumé seisukohta, et inimestele tuleks LLM-idega suhtlemisel kasu saada nii, nagu nad soovivad, ja seda tuleb arendamisetapis silmas pidada.
Tänan teid väga lugemise eest ja kuulake homme, et lugeda seansi küsimuste ja vastuste osa kokkuvõtet.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://feeds.feedblitz.com/~/874484594/0/cccblog~CCC-AAAS-Large-Language-Models-Helpful-Assistants-Romantic-Partners-or-Con-Artists-Part-One/
- :on
- :on
- :mitte
- : kus
- $ UP
- 1
- 17
- 2024
- 225
- 300
- 7
- a
- Võimalik
- MEIST
- juurdepääs
- kättesaadavus
- täitma
- konto
- üle
- meetmete
- tegevus
- Täiendavad lisad
- adresseeritud
- adresseerimine
- AI
- AI tööstuses
- AI mudelid
- algoritm
- Materjal: BPA ja flataatide vaba plastik
- juba
- Ka
- alternatiive
- hulgas
- summa
- an
- ja
- aastane
- vastus
- vastuseid
- Oodatud
- ootab
- kuskil
- lähenemisviisid
- arhitektuur
- OLEME
- PIIRKOND
- ümber
- Kunstnikud
- AS
- küsima
- küsib
- aspekt
- aspektid
- abistama
- assistendid
- abistab
- At
- osalema
- publik
- suurendama
- automatiseerima
- Automatiseeritud
- Automaatne
- automatiseerimine
- Automaatika
- tagapõhi
- Halb
- tõkked
- põhineb
- BE
- sest
- olnud
- enne
- hakkas
- käitumine
- käitumist
- on
- kasu
- kasuks
- Parem
- vahel
- Peale
- erapoolikus
- Blogi
- veri
- juhatus
- raamat
- Bore
- põhi
- ehitama
- Ehitus
- ehitatud
- kuid
- by
- California
- kutsutud
- tuli
- CAN
- ei saa
- võimeid
- autod
- juhul
- juhtudel
- kategooriad
- Põhjus
- põhjustatud
- ccc
- CCC ajaveeb
- CCC nõukogu
- väljakutseid
- muutma
- Vaidluste lahendamine
- vestlus
- ChatGPT
- Male
- laps
- Hiina
- laastud
- valik
- valib
- jõulud
- kood
- Kodeerimine
- Tulema
- tuleb
- tulevad
- kaubandus-
- Ühenduste
- kogukond
- Ettevõtted
- ettevõte
- täitma
- lõpetamist
- Arvutama
- arvuti
- Arvutiteadus
- arvutid
- arvutustehnika
- mõiste
- Murettekitav
- Murettekitav
- järeldab
- läbi
- Juhtimine
- Konverents
- konflikt
- Kongo
- üksmeel
- nõusolek
- Tagajärjed
- tarbimine
- sisu
- jätkama
- jätkas
- pidev
- kontrollida
- Vestlus
- vestlused
- tuum
- võiks
- nõukogu
- loodud
- loomine
- Praegune
- Praegu
- andmed
- Otsuse tegemine
- vähenema
- sügav
- sügav õpe
- määratlus
- demograafiliste
- lähetatud
- kirjeldatud
- Kirjeldades
- kavandatud
- Vaatamata
- määrates kindlaks
- arenenud
- arenev
- & Tarkvaraarendus
- DID
- erinev
- erinevalt
- Juhataja
- avastus
- arutleb
- arutelu
- Katkestus
- do
- ei
- Ei tee
- teeme
- Ära
- kahekordistada
- alla
- dr
- ajam
- kaks
- ajal
- e
- iga
- Varajane
- lihtsam
- lihtne
- harima
- jõupingutusi
- abikõlblikkus
- tekkinud
- rõhutas
- annab volitusi
- lõpp
- energia
- Energiakulu
- tegelema
- Inseneriteadus
- Inglise
- suurendama
- nautima
- tohutu
- piisavalt
- Võrdselt
- eriti
- jms
- eetiline
- Isegi
- näide
- olemasolevate
- laiendatud
- selgitades
- selgesõnaliselt
- eksponentsiaalne
- hüppelise kasvu
- eksport
- väljendab
- väljendades
- ulatuslik
- nägu
- asjaolu
- õiglus
- vägitegu
- Objekte
- viga
- vähe
- vähem
- lõplik
- leidma
- esimene
- flat
- Keskenduma
- keskendunud
- keskendub
- eest
- esirinnas
- edasi
- Alates
- Frontiers
- täielikult
- lõbu
- rahastamise
- edasi
- tulevik
- lõhe
- lünki
- andis
- Üldine
- üldiselt
- tekitama
- teeniva
- põlvkond
- Põlvkonnad
- GitHub
- Andma
- Go
- läheb
- läinud
- graafik
- suur
- Grupi omad
- Kasv
- olnud
- raskem
- riistvara
- kahju
- kahjustab
- Olema
- HCl
- he
- tugevalt
- aitama
- kasulik
- aidates
- siin
- Suur
- rohkem
- rõhutab
- tema
- ajalugu
- hoidma
- Kuidas
- HTTPS
- inim-
- Inimestel
- hype
- i
- if
- tähtsus
- oluline
- muljet avaldatud
- parandama
- parandusi
- Paranemist
- in
- Kaasa arvatud
- Suurendama
- kasvav
- uskumatu
- inimesed
- tööstus
- info
- Infrastruktuur
- esialgu
- algatama
- sisend
- ülevaade
- Näiteks
- selle asemel
- Instituut
- Intelligentsus
- Intelligentne
- suhelda
- suhtlevad
- suhtlemist
- huvi
- huvitav
- Internet
- sisse
- küsimustes
- IT
- ITS
- juudi
- töö
- Tööturg
- jonathan
- jpeg
- lihtsalt
- Võti
- lapsed
- Laps
- keel
- Keeled
- suur
- suurelt jaolt
- suurem
- suurim
- viima
- Õppida
- õppinud
- õppimine
- vähem
- laskma
- Raamatukogu
- elu
- nagu
- Tõenäoliselt
- joon
- liinid
- kirjandus
- Elab
- elu-
- LLM
- laen
- enam
- Vaata
- otsin
- Sõrmuste isand
- Partii
- armastab
- vähendada
- Soodsam
- masin
- masinõpe
- Enamus
- tegema
- TEEB
- Tegemine
- juhtiv
- Müügijuht
- käsiraamat
- palju
- Mary
- Maryland
- materjalid
- max laiuse
- mai..
- liige
- mainima
- Microsoft
- võib
- meeles
- kaevandatud
- mineraalid
- vähemuste
- kuritarvitamine
- Leevendada
- ML
- mudel
- mudelid
- mõõdukus
- ema
- raha
- rohkem
- kõige
- liikuv
- MT
- palju
- vajalik
- Vajadus
- vajadustele
- negatiivne
- mitte kunagi
- Uus
- uudisväärtuslik
- järgmine
- ei
- nüüd
- NSF
- number
- objekt
- esineb
- of
- pakkumine
- sageli
- on
- kunagi
- ONE
- ainult
- avatud
- Avatus
- Võimalused
- or
- et
- Muu
- meie
- välja
- tulemusi
- väljund
- otse
- enda
- lehekülg
- paneel
- Paber
- paradigma
- parameetrid
- vanemad
- osa
- eriline
- partnerid
- osad
- paus
- pöörates
- Inimesed
- täitma
- jõudlus
- periood
- inimene
- perspektiiv
- läbistanud
- faas
- phd
- filosoofia
- tükk
- Koht
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängima
- mängib
- palun
- pluss
- PO
- Punkt
- võrra
- osa
- tulenevad
- võimalused
- potentsiaal
- Ennustused
- eelistama
- ettevalmistamisel
- Ettekanded
- Eelnev
- Prioriteet
- privaatsus
- privilegeeritud
- tõenäoliselt
- tõenäosused
- probleeme
- tootma
- tootlikkus
- spetsialistid
- Õpetaja
- Programmeerija
- Edu
- projekt
- tingimusel
- avalikult
- lükatakse
- Küsimused ja vastused
- kvaliteet
- Küsimused
- tõstmine
- kiiresti
- pigem
- jõudma
- Lugenud
- Lugemine
- realistlik
- tõesti
- tagasivõtmine
- saama
- hiljuti
- tunnustamine
- dokumenteeritud
- peegeldav
- regulatiivne
- korrates
- tähelepanuväärne
- kõrvaldama
- eemaldades
- aru
- nõudma
- teadustöö
- Teadlased
- vastuste
- vastutav
- piirav
- piirangud
- avalduma
- Arvustused
- riskide
- Roll
- jooks
- Venemaa
- tagatisi
- ohutus
- sama
- ütlus
- Skaala
- ketendamine
- laiali
- teadus
- TEADUSED
- teaduslik
- teadlased
- Otsing
- Teine
- vaata
- nähtud
- tunne
- tunne
- istung
- istungid
- jagatud
- ta
- Lühike
- peaks
- näitas
- näidates
- näidatud
- kirjutama
- märkimisväärne
- märgatavalt
- allkirjastamine
- Märgid
- sarnane
- lihtsalt
- alates
- ühekordne
- oskused
- Aeglustub
- So
- Ühiskond
- tarkvara
- mõned
- Keegi
- midagi
- Allhange
- Lõunapoolne
- Kõneleja
- konkreetse
- eriti
- kiirus
- Kulutused
- Stage
- täht
- Tähtede sõda
- algus
- alustatud
- avaldused
- olek
- Sammud
- Veel
- strateegiad
- uuringud
- Õppimine
- esitama
- Kokku võtta
- varustama
- Toetatud
- peaks
- Pind
- ümbritsev
- süsteem
- süsteemne
- süsteemid
- võtab
- võtmine
- rääkima
- sihtmärk
- Ülesanne
- ülesanded
- Tehniline
- tehnoloogiline
- Tehnoloogia
- öelda
- tingimused
- Testimine
- testid
- kui
- et
- .
- Tulevik
- Graafik
- maailm
- oma
- Neile
- teema
- SIIS
- Seal.
- Need
- väitekiri
- nad
- asjad
- mõtlema
- see
- sel nädalal
- kolm
- aeg
- et
- täna
- tänane
- homme
- tööriist
- töövahendid
- ülemine
- teema
- suunas
- Rong
- koolitatud
- Muutma
- trafod
- üleminek
- tõlkima
- Tõlge
- edastamine
- tõsi
- meloodia
- kaks
- tüüpiliselt
- mõistmine
- ainulaadne
- Ülikool
- tundmatu
- us
- kasutama
- Kasutatud
- kasulik
- Kasutaja
- Kasutajad
- kasutusalad
- kasutamine
- suur
- väga
- Videod
- nägemus
- visuaalne
- vabatahtlik
- tahan
- oli
- Tee..
- we
- nädal
- Hästi
- olid
- M
- millal
- samas kui
- mis
- kuigi
- valge
- WHO
- miks
- laialt levinud
- Wikipedia
- will
- koos
- ilma
- Naised
- Töö
- töötab
- maailm
- oleks
- Pakendatud
- kirjutamine
- kirjalik
- aastat
- sa
- sephyrnet