Generatiivinen tekoäly on keskellä upean kasvun aikaa. Yhä tehokkaampia perusmalleja julkaistaan jatkuvasti, ja suuret kielimallit (LLM) ovat yksi näkyvimmistä malliluokista. LLM:t ovat malleja, jotka koostuvat miljardeista parametreista, jotka on koulutettu laajoilla tekstikorkeuksilla, jopa satoihin miljardeihin tai jopa biljoonaan tokeneihin. Nämä mallit ovat osoittautuneet erittäin tehokkaiksi monenlaisissa tekstipohjaisissa tehtävissä, kysymyksiin vastaamisesta mielialan analysointiin.
LLM:ien voima tulee heidän kyvystään oppia ja yleistää laajasta ja monipuolisesta koulutusdatasta. Näiden mallien peruskoulutus suoritetaan useilla eri tavoitteilla, joko ohjattuna, valvomattomana tai hybridinä. Tekstin täydentäminen tai imputointi on yksi yleisimmistä valvomattomista tavoitteista: kun annetaan pala tekstiä, malli oppii ennustamaan tarkasti, mitä seuraavaksi tapahtuu (esimerkiksi ennustamaan seuraava lause). Malleja voidaan myös kouluttaa valvotulla tavalla tunnistettujen tietojen avulla tehtävien suorittamiseen (esimerkiksi onko tämä elokuva-arvostelu positiivinen, negatiivinen vai neutraali). Olipa malli koulutettu tekstin viimeistelyyn tai johonkin muuhun tehtävään, se ei usein ole se tehtävä, johon asiakkaat haluavat mallia käyttää.
Parantaaksemme esikoulutetun LLM:n suorituskykyä tietyssä tehtävässä, voimme virittää mallin käyttämällä esimerkkejä kohdetehtävästä prosessissa, joka tunnetaan nimellä ohjeiden hienosäätö. Käskyjen hienosäätö käyttää joukkoa merkittyjä esimerkkejä {prompt, response} -parien muodossa kouluttaakseen esikoulutettua mallia riittävästi ennustamaan kehotteen antama vastaus. Tämä prosessi muuttaa mallin painoja.
Tämä viesti kuvaa kuinka suorittaa LLM:n, nimittäin FLAN T5 XL:n, ohjeiden hienosäätö käyttämällä Amazon SageMaker Jumpstart. Näytämme, kuinka tämä saavutetaan käyttämällä sekä Jumpstart-käyttöliittymää että muistikirjaa Amazon SageMaker Studio. Löydät mukana oleva muistikirja vuonna amazon-sagemaker-esimerkkejä GitHub-arkisto.
Ratkaisun yleiskatsaus
Tämän viestin tavoitetehtävänä on palauttaa tekstiin liittyviä kysymyksiä, jotka liittyvät tekstiin, mutta joihin ei voida vastata sen sisältämien tietojen perusteella, kun otetaan huomioon kehotteen tekstiosa. Tämä on hyödyllinen tehtävä tunnistaa puuttuvat tiedot kuvauksesta tai selvittää, tarvitseeko kysely lisätietoa vastatakseen.
FLAN T5 -mallit ovat opasteita, jotka on hienosäädetty monenlaisiin tehtäviin näiden mallien nollasuorituskyvyn parantamiseksi monissa yleisissä tehtävissä[1]. Lisäohjeiden hienosäätö tiettyä asiakastehtävää varten voi entisestään lisätä näiden mallien tarkkuutta, varsinkin jos kohdetehtävää ei ole aiemmin käytetty FLAN T5 -mallin kouluttamiseen, kuten meidän tehtävämme on.
Esimerkkitehtävässämme olemme kiinnostuneita luomaan oleellisia mutta vastaamattomia kysymyksiä. Tätä tarkoitusta varten käytämme Stanford Question Answering Datasetin (SQuAD2)[2.0] version 2 osajoukkoa mallin hienosäätämiseen. Tämä tietojoukko sisältää kysymyksiä, joita ihmisten annotaattorit ovat esittäneet Wikipedia-artikkeleissa. Vastauksellisten kysymysten lisäksi SQuAD2.0 sisältää noin 50,000 XNUMX vastaamatonta kysymystä. Tällaiset kysymykset ovat uskottavia, mutta niihin ei voida vastata suoraan artikkelien sisällöstä. Käytämme vain vastaamattomia kysymyksiä. Tietomme on rakennettu JSON Lines -tiedostoksi, ja jokainen rivi sisältää kontekstin ja kysymyksen.
Edellytykset
Aloitaksesi tarvitset vain AWS-tilin, jolla voit käyttää Studiota. Sinun on luotava Studiolle käyttäjäprofiili, jos sinulla ei vielä ole sellaista.
Hienosäädä FLAN-T5 Jumpstart-käyttöliittymällä
Hienosäätääksesi mallia Jumpstart-käyttöliittymällä, suorita seuraavat vaiheet:
- Avaa Studio SageMaker-konsolissa.
- Alle SageMaker Jumpstart valitse siirtymisruudussa Mallit, muistikirjat, ratkaisut.
Näet luettelon perusmalleista, mukaan lukien FLAN T5 XL, joka on merkitty hienosäädettäväksi.
- Valita Näytä malli.
- Alle Tietolähde, voit antaa polun harjoitustietoihisi. Tässä viestissä käytettyjen tietojen lähde on oletuksena.
- Voit säilyttää oletusarvon käyttöönottokokoonpanossa (mukaan lukien ilmentymän tyyppi), suojauksessa ja hyperparametreissa, mutta sinun tulee kasvattaa aikakausien määrää vähintään kolmeen saadaksesi hyviä tuloksia.
- Valita Juna kouluttaa mallia.
Voit seurata koulutustyön tilaa käyttöliittymästä.
- Kun harjoitus on valmis (tapauksessamme noin 53 minuutin jälkeen), valitse Sijoittaa ottaa käyttöön hienosäädetyn mallin.
Kun päätepiste on luotu (muutama minuutti), voit avata muistikirjan ja alkaa käyttää hienosäädettyä malliasi.
Hienosäädä FLAN-T5 Python-muistikirjalla
Esimerkkimuistikirjamme näyttää, kuinka Jumpstart- ja SageMaker-ohjelmalla hienosäädetään ja otetaan käyttöön FLAN T5 XL -malli ohjelmallisesti. Se voidaan suorittaa Studiossa tai paikallisesti.
Tässä osiossa käymme ensin läpi yleiset asetukset. Sitten hienosäädä mallia käyttämällä SQuADv2-tietosarjoja. Seuraavaksi otat mallin esikoulutetun version käyttöön SageMaker-päätepisteen takana ja teet saman hienosäädetyn mallin kanssa. Lopuksi voit tiedustella päätepisteitä ja verrata esiopetetun ja hienosäädetyn mallin tulosteen laatua. Huomaat, että hienosäädetyn mallin tulos on paljon laadukkaampi.
Aseta edellytykset
Aloita asentamalla ja päivittämällä tarvittavat paketit. Käynnistä ydin uudelleen seuraavan koodin suorittamisen jälkeen:
Hanki seuraavaksi nykyiseen muistikirjan ilmentymään liittyvä suoritusrooli:
Voit määrittää kätevän pudotusvalikon, jossa luetellaan hienosäätöön käytettävissä olevat mallikoot:
Jumpstart hakee automaattisesti sopivat koulutus- ja päättelyilmentymien tyypit valitsemallesi mallille:
Olet nyt valmis aloittamaan hienosäädön.
Opeta malli uudelleen hienosäätötietojoukossa
Kun asennus on valmis, suorita seuraavat vaiheet:
Käytä seuraavaa koodia hakeaksesi tarvittavien artefaktien URI:n:
Harjoitustiedot sijaitsevat julkisesti Amazonin yksinkertainen tallennuspalvelu (Amazon S3)-kauha.
Käytä seuraavaa koodia osoittaaksesi tietojen sijaintiin ja määritäksesi tulostussijainnin tilisi ämpäriin:
Alkuperäiset tiedot eivät ole muodossa, joka vastaa tehtävää, jota varten hienosäädät mallia, joten voit muotoilla sen uudelleen:
Nyt voit määrittää koulutukselle joitain hyperparametreja:
Olet nyt valmis aloittamaan koulutustyön:
Hienosäätötietojen koosta ja valitusta mallista riippuen hienosäätö voi kestää jopa pari tuntia.
Voit seurata suorituskykymittareita, kuten koulutusta ja validoinnin menetystä, käyttämällä amazonin pilvikello harjoittelun aikana. Kätevästi voit myös hakea uusimman tilannekuvan mittareista suorittamalla seuraavan koodin:
Kun koulutus on suoritettu, sinulla on hienosäädetty malli osoitteessa model_uri
. Käytetään sitä!
Voit luoda kaksi päättelypäätepistettä: yhden alkuperäiselle esiopetetulle mallille ja toisen hienosäädetylle mallille. Tämän avulla voit verrata mallin molempien versioiden tuloksia. Seuraavassa vaiheessa otat käyttöön päättelypäätepisteen esikoulutetulle mallille. Sitten otat käyttöön päätepisteen hienosäädetylle mallillesi.
Ota esikoulutettu malli käyttöön
Aloitetaan ottamalla käyttöön esikoulutettu malli, joka noutaa päätelmän Docker-kuvan URI:n. Tämä on Hugging Face -säiliökuva. Käytä seuraavaa koodia:
Voit nyt luoda päätepisteen ja ottaa käyttöön esiopetetun mallin. Huomaa, että sinun on läpäistävä Predictor-luokka, kun otat mallin käyttöön Model-luokan kautta, jotta voit suorittaa päätelmiä SageMaker API:n kautta. Katso seuraava koodi:
Päätepisteen luominen ja mallin käyttöönotto voi kestää muutaman minuutin, minkä jälkeen päätepiste on valmis vastaanottamaan päättelykutsuja.
Ota käyttöön hienosäädetty malli
Otetaan käyttöön hienosäädetty malli omaan päätepisteeseensä. Prosessi on lähes identtinen sen kanssa, jota käytimme aiemmin esikoulutetussa mallissa. Ainoa ero on, että käytämme hienosäädettyä mallin nimeä ja URI:tä:
Kun tämä prosessi on valmis, sekä esikoulutetut että hienosäädetyt mallit otetaan käyttöön omien päätepisteidensä takana. Verrataanpa heidän tuloksiaan.
Luo tulos ja vertaa tuloksia
Määritä joitain apufunktioita päätepisteen kyselyä varten ja vastauksen jäsentämiseksi:
Seuraavassa koodinpätkässä määritämme kehotteen ja testitiedot. Se kuvaa kohdetehtäväämme, joka on tuottaa kysymyksiä, jotka liittyvät annettuun tekstiin, mutta joihin ei voida vastata sen perusteella.
Testitiedot koostuvat kolmesta eri kappaleesta, joista yksi koskee Australian Adelaiden kaupunkia sen Wikipedia-sivun kaksi ensimmäistä kappaletta, yksi koskee Amazonin elastisten lohkojen myymälä (Amazon EBS) alkaen Amazon EBS -dokumentaatio, ja yksi niistä Amazonin käsitys mistä Amazon Comprehend -dokumentaatio. Odotamme mallin tunnistavan näihin kappaleisiin liittyviä kysymyksiä, mutta niihin ei voida vastata niissä annetuilla tiedoilla.
Voit nyt testata päätepisteitä esimerkkiartikkeleiden avulla
Testitiedot: Adelaide
Käytämme seuraavaa kontekstia:
Esikoulutetun mallin vastaus on seuraava:
Hienosäädetyt mallivastaukset ovat seuraavat:
Testitiedot: Amazon EBS
Käytämme seuraavaa kontekstia:
Esiopetetut mallivastaukset ovat seuraavat:
Hienosäädetyt mallivastaukset ovat seuraavat:
Testitiedot: Amazon Comprehend
Käytämme seuraavaa kontekstia:
Esiopetetut mallivastaukset ovat seuraavat:
Hienosäädetyt mallivastaukset ovat seuraavat:
Ero esiopetetun mallin ja hienosäädetyn mallin välillä on jyrkkä. Hienosäädetyn mallin kysymykset koskevat laajempaa aihepiiriä. Ne ovat systemaattisesti merkityksellisiä kysymyksiä, mikä ei aina pidä paikkaansa esikoulutetun mallin kohdalla, kuten Amazon EBS -esimerkissä havainnollistetaan.
Vaikka tämä ei ole muodollinen ja systemaattinen arviointi, on selvää, että hienosäätöprosessi on parantanut mallin vastausten laatua tässä tehtävässä.
Puhdistaa
Muista lopuksi puhdistaa ja poistaa päätepisteet:
Yhteenveto
Tässä viestissä näytimme, kuinka ohjeiden hienosäätöä käytetään FLAN T5 -malleilla Jumpstart-käyttöliittymällä tai Studiossa toimivalla Jupyter-kannetulla. Toimitimme koodin, joka selittää, kuinka mallia voidaan kouluttaa uudelleen käyttämällä kohdetehtävän tietoja ja ottaa hienosäädetty malli käyttöön päätepisteen takana. Tämän viestin tavoitetehtävänä oli tunnistaa kysymyksiä, jotka liittyvät syötteessä annettuun tekstiosaan, mutta joihin ei voida vastata tekstissä annettujen tietojen perusteella. Osoitimme, että tähän tehtävään hienosäädetty malli tuottaa parempia tuloksia kuin esikoulutettu malli.
Nyt kun tiedät kuinka hienosäätää mallia Jumpstartilla, voit luoda tehokkaita malleja, jotka on räätälöity sovelluksellesi. Kerää tietoja käyttötapaustasi varten, lataa se Amazon S3:een ja käytä joko Studio-käyttöliittymää tai kannettavaa FLAN T5 -mallin virittämiseen!
Viitteet
[1] Chung, Hyung Won et ai. "Ohjeiden hienosäädettyjen kielimallien skaalaus." arXiv preprint arXiv:2210.11416 (2022).
[2] Rajpurkar, Pranav, Robin Jia ja Percy Liang. "Tiedä mitä et tiedä: vastaamattomia kysymyksiä SQuADille." Laskennallisen lingvistiikan liiton 56. vuosikokouksen aineisto (Nide 2: Lyhyet esitelmät). 2018.
Tietoja kirjoittajista
Laurent Callot on johtava soveltuva tutkija ja johtaja AWS AI Labsissa, joka on työskennellyt useiden koneoppimisongelmien parissa perustavanlaatuisista malleista ja generatiivisesta tekoälystä ennustamiseen, poikkeamien havaitsemiseen, syy-yhteyteen ja tekoälytoimintoihin.
Andrei Kan on vanhempi sovellettu tutkija AWS AI Labsissa, jonka kiinnostuksen kohteet ja kokemukset ovat koneoppimisen eri aloilla. Näitä ovat perustusmallien tutkimus sekä ML-sovellukset kuvaajille ja aikasarjoille.
Tohtori Ashish Khetan on vanhempi soveltuva tutkija, jolla on sisäänrakennetut Amazon SageMaker -algoritmit ja auttaa kehittämään koneoppimisalgoritmeja. Hän sai tohtorin tutkinnon Illinois Urbana Champaignin yliopistosta. Hän on aktiivinen koneoppimisen ja tilastollisen päättelyn tutkija ja on julkaissut useita artikkeleita NeurIPS-, ICML-, ICLR-, JMLR-, ACL- ja EMNLP-konferensseissa.
Baris Kurt on soveltuva tutkija AWS AI Labsissa. Hänen kiinnostuksen kohteitaan ovat aikasarjapoikkeamien havaitseminen ja perustamismallit. Hän rakastaa käyttäjäystävällisten ML-järjestelmien kehittämistä.
Jonas Kübler on soveltuva tutkija AWS AI Labsissa. Hän työskentelee perusmallien parissa, jonka tavoitteena on helpottaa käyttötapauskohtaisia sovelluksia.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoAiStream. Web3 Data Intelligence. Tietoa laajennettu. Pääsy tästä.
- Tulevaisuuden lyöminen Adryenn Ashley. Pääsy tästä.
- Osta ja myy osakkeita PRE-IPO-yhtiöissä PREIPO®:lla. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/instruction-fine-tuning-for-flan-t5-xl-with-amazon-sagemaker-jumpstart/
- :on
- :On
- :ei
- $ YLÖS
- 000
- 1
- 10
- 100
- 11
- 12
- 13
- 17
- 1M
- 20
- 2018
- 2022
- 22
- 40
- 50
- 60
- 7
- 8
- 80
- 9
- a
- pystyy
- Meistä
- Hyväksyä
- pääsy
- saatavilla
- suorittaa
- Tili
- tarkkuus
- tarkasti
- aktiivinen
- Lisäksi
- lisä-
- asianmukaisesti
- Jälkeen
- AI
- AL
- algoritmit
- Kaikki
- mahdollistaa
- jo
- Myös
- aina
- Amazon
- Amazonin käsitys
- Amazon Sage Maker
- Amazon SageMaker JumpStart
- Amazon Web Services
- an
- analyysi
- analysoida
- ja
- vuotuinen
- poikkeavuuden havaitseminen
- vastauksia
- Kaikki
- api
- API
- Hakemus
- sovellukset
- sovellettu
- sopiva
- OVAT
- ALUE
- perustelu
- artikkeli
- artikkelit
- AS
- liittyvä
- Yhdistys
- At
- Australia
- australialainen
- automaattisesti
- saatavissa
- AWS
- pohja
- perustua
- BE
- Ranta
- Palkki
- takana
- ovat
- alle
- Paremmin
- välillä
- miljardeja
- Tukkia
- elin
- tappi
- sekä
- sisäänrakennettu
- mutta
- by
- nimeltään
- Puhelut
- CAN
- ei voi
- kyvyt
- kykenee
- Koko
- pääoma
- tapaus
- keskus
- muuttaa
- valinta
- Valita
- valitsi
- valittu
- Kaupunki
- luokka
- luokat
- luokittelu
- selkeä
- asiakas
- Rannikko
- koodi
- tulee
- Yhteinen
- verrata
- täydellinen
- valmistuminen
- kokoonpanossa
- ymmärtää
- konferenssit
- Konfigurointi
- Console
- muodostaa
- Kontti
- sisältää
- pitoisuus
- tausta
- jatkuva
- jatkuvasti
- Mukava
- vastaa
- voisi
- Pari
- luoda
- luotu
- Luominen
- luominen
- Nykyinen
- asiakassuhde
- asiakas
- Asiakkaat
- räätälöityjä
- tiedot
- tietokannat
- aineistot
- oletusarvo
- osoittaa
- osoittivat
- Riippuen
- sijoittaa
- käyttöön
- levityspinnalta
- käyttöönotto
- kuvaus
- Detection
- Määrittää
- kehittää
- kehittämällä
- kehittää
- laite
- Laitteet
- ero
- eri
- suoraan
- näyttö
- useat
- do
- Satamatyöläinen
- asiakirja
- asiakirjat
- ei
- ei
- hallitseva
- Dont
- ajaa
- aikana
- dynaamisesti
- E&T
- kukin
- Aikaisemmin
- Itään
- Tehokas
- myöskään
- elementtejä
- muu
- loppu
- päätepiste
- Koko
- yksiköt
- kokonaisuus
- aikakausi
- aikakausia
- erityisesti
- arviointi
- Jopa
- tutkia
- esimerkki
- Esimerkit
- suorittaa
- teloitus
- odottaa
- experience
- selitetään
- avoin
- ulottuu
- laajentaminen
- laaja
- uute
- erittäin
- Kasvot
- helpottamaan
- paljon
- Muoti
- Ominaisuus
- Ominaisuudet
- harvat
- Fields
- filee
- Asiakirjat
- Vihdoin
- Löytää
- loppu
- Etunimi
- jälkeen
- seuraa
- varten
- muoto
- muodollinen
- muoto
- löytyi
- perusta
- Neljäs
- Puitteet
- usein
- ystävällinen
- alkaen
- tehtävät
- edelleen
- kerätä
- general
- tuottaa
- syntyy
- tuottaa
- sukupolvi
- generatiivinen
- Generatiivinen AI
- saada
- GitHub
- tietty
- tavoite
- hyvä
- kaaviot
- suuri
- suurempi
- Kasvu
- Kova
- kiintolevy
- Olla
- he
- auttaa
- korkeampi
- Hills
- hänen
- TUNTIA
- Miten
- Miten
- HTML
- http
- HTTPS
- HalaaKasvot
- ihmisen
- Sadat
- Hybridi
- i
- ID
- identtinen
- tunnistaa
- ids
- if
- Illinois
- kuva
- tuoda
- parantaa
- parani
- in
- sisältää
- Mukaan lukien
- Kasvaa
- yhä useammin
- itsenäisesti
- tiedot
- tiedot
- informatiivinen
- ensimmäinen
- panos
- tuloa
- oivalluksia
- asentaa
- asentaminen
- esimerkki
- kiinnostunut
- etu
- esittely
- IT
- SEN
- Job
- Työpaikat
- jpg
- json
- Pitää
- avain
- Tietää
- tunnettu
- Labs
- Kieli
- kielet
- suuri
- suurin
- käynnistää
- OPPIA
- oppiminen
- vähiten
- Pituus
- Taso
- elämä
- pitää
- linja
- linjat
- Lista
- OTK
- paikallisesti
- sijaitsevat
- sijainti
- ylevä
- Pitkät
- pitkän aikavälin
- pois
- rakastaa
- kone
- koneoppiminen
- johtaja
- monet
- merkitty
- max
- Saattaa..
- mielekäs
- kokous
- mainitsee
- valikko
- Metrics
- minuuttia
- puuttuva
- ML
- malli
- mallit
- monitori
- lisää
- eniten
- ASENNA
- elokuva
- paljon
- täytyy
- nimi
- nimittäin
- Luonnollinen
- Luonnollinen kielen käsittely
- suunnistus
- välttämätön
- Tarve
- tarvitaan
- tarpeet
- negatiivinen
- verkostoituminen
- Neutraali
- Uusi
- uusia tuotteita
- seuraava
- NLP
- Pohjoiseen
- muistikirja
- nyt
- numero
- tavoitteet
- saada
- of
- on
- ONE
- vain
- avata
- or
- alkuperäinen
- Muut
- meidän
- ulostulo
- yli
- ohittaa
- oma
- omistajat
- paketit
- paria
- lasi
- paperit
- parametrit
- osa
- erityinen
- erityisesti
- kulkea
- polku
- Ihmiset
- Suorittaa
- suorituskyky
- aika
- sitkeys
- lausekkeet
- Platon
- Platonin tietotieto
- PlatonData
- uskottava
- Kohta
- väestö
- positiivinen
- Kirje
- teho
- voimakas
- ennustaa
- ennustamiseen
- Predictor
- aiemmin
- ensisijainen
- Pääasiallinen
- tulostus
- ongelmia
- prosessi
- käsittely
- Tuotteemme
- Profiili
- Edistyminen
- todistettu
- toimittaa
- mikäli
- tarjoaa
- julkinen
- julkaistu
- Python
- laatu
- kyselyt
- kysymys
- kysymykset
- nopeasti
- satunnainen
- alue
- raaka
- valmis
- reaaliaikainen
- vastaanottaa
- äskettäinen
- tunnustaminen
- tunnistaa
- tunnustaa
- suositella
- suositeltu
- suhteen
- regex
- alue
- liittyvä
- julkaistu
- merkityksellinen
- luottaa
- muistaa
- säilytyspaikka
- edellyttää
- tarvitaan
- Vaatii
- tutkimus
- tutkija
- asukkaiden
- Esittelymateriaalit
- vastaus
- vasteet
- rajoittaa
- tulokset
- palata
- Tuotto
- arviot
- punarinta
- Rooli
- ajaa
- juoksu
- s
- sagemaker
- sama
- skannata
- Tiedemies
- Haku
- Toinen
- Osa
- turvallisuus
- nähdä
- valinta
- vanhempi
- tuomita
- näkemys
- Sarjat
- palvelu
- Palvelut
- Istunto
- setti
- Setit
- setup
- useat
- Lyhyt
- shouldnt
- osoittivat
- Näytä
- Yksinkertainen
- Koko
- koot
- pieni
- Kuva
- So
- sosiaalinen
- Sosiaalinen verkostoituminen
- jonkin verran
- lähde
- Etelä
- erityinen
- jakaa
- Stanford
- karu
- Alkaa
- alkoi
- Osavaltio
- tilastollinen
- Tila
- Vaihe
- Askeleet
- Yhä
- Levytila
- verkkokaupasta
- rakenne
- jäsennelty
- studio
- Upea
- niin
- tuki
- Tuetut
- ympäröivä
- järjestelmä
- järjestelmät
- ottaa
- Kohde
- Tehtävä
- tehtävät
- sapluuna
- testi
- kuin
- että
- -
- Alue
- Pääkaupunki
- tiedot
- Lähde
- Valtion
- Länsi
- maailma
- heidän
- Niitä
- sitten
- siinä
- Nämä
- ne
- tätä
- ne
- kolmella
- Kautta
- aika
- Aikasarja
- että
- tokens
- ylin
- Aiheet
- kosketa
- raita
- perinteinen
- Juna
- koulutettu
- koulutus
- Biljoona
- totta
- kaksi
- tyyppi
- tyypit
- ui
- ymmärtäminen
- yliopisto
- Päivitykset
- ladattu
- käyttää
- käyttölaukku
- käytetty
- käyttäjä
- käyttämällä
- hyödyllisyys
- validointi
- arvo
- arvot
- lajike
- versio
- Vincent
- näkyvä
- tilavuus
- volyymit
- W
- haluta
- oli
- Tapa..
- we
- verkko
- verkkopalvelut
- HYVIN
- Länsi
- Mitä
- Mikä on
- kun
- onko
- joka
- vaikka
- KUKA
- leveä
- Laaja valikoima
- laajempi
- leveys
- wikipedia
- tulee
- with
- sisällä
- Voitetut
- sana
- työskenteli
- työskentely
- maailman-
- olisi
- Voit
- Sinun
- zephyrnet