Gradnja temeljnih modelov (FM) zahteva gradnjo, vzdrževanje in optimizacijo velikih gruč za usposabljanje modelov z več deset do sto milijardami parametrov na ogromnih količinah podatkov. Ustvarjanje prožnega okolja, ki lahko obravnava napake in okoljske spremembe, ne da bi izgubili dneve ali tedne napredka pri usposabljanju modela, je operativni izziv, ki od vas zahteva izvajanje skaliranja gruče, proaktivno spremljanje zdravja, kontrolne točke opravil in zmogljivosti za samodejno nadaljevanje usposabljanja, če pride do napak ali težav .
Veseli smo, da to delimo Amazon SageMaker HyperPod je zdaj splošno na voljo za omogočanje modelov temeljev za usposabljanje s tisoči pospeševalnikov do 40 % hitreje z zagotavljanjem zelo odpornega okolja za usposabljanje, hkrati pa odpravlja nediferencirano dvigovanje težkih predmetov, ki je vključeno v delovanje obsežnih grozdov za usposabljanje. S SageMaker HyperPod lahko izvajalci strojnega učenja (ML) urijo FM tedne in mesece brez motenj in brez okvare strojne opreme.
Stranke, kot je Stability AI, uporabljajo SageMaker HyperPod za usposabljanje svojih temeljnih modelov, vključno s Stable Diffusion.
»Kot vodilno odprtokodno generativno podjetje z umetno inteligenco je naš cilj čim bolj povečati dostopnost sodobne umetne inteligence. Gradimo temeljne modele z več deset milijardami parametrov, ki zahtevajo infrastrukturo za optimalno prilagajanje učinkovitosti usposabljanja. Z upravljano infrastrukturo in knjižnicami za optimizacijo SageMaker HyperPod lahko zmanjšamo čas in stroške usposabljanja za več kot 50 %. Zaradi tega je naše usposabljanje modelov bolj odporno in zmogljivo za hitrejšo izdelavo najsodobnejših modelov.«
– Emad Mostaque, ustanovitelj in izvršni direktor Stability AI.
Da bo celoten cikel razvoja FM-jev odporen na okvare strojne opreme, vam SageMaker HyperPod pomaga ustvarjati gruče, spremljati stanje gruče, sproti popravljati in zamenjati okvarjena vozlišča, shraniti pogoste kontrolne točke in samodejno nadaljevati usposabljanje brez izgube napredka. Poleg tega je SageMaker HyperPod vnaprej konfiguriran z Amazon SageMaker porazdeljene knjižnice za usposabljanje, vključno z Knjižnica paralelizma podatkov SageMaker (SMDDP) in Knjižnica paralelizma modelov SageMaker (SMP), za izboljšanje učinkovitosti usposabljanja FM tako, da omogoči preprosto razdelitev podatkov in modelov za usposabljanje na manjše kose in njihovo vzporedno obdelavo v vozliščih gruče, pri čemer v celoti izkoristi računalniško in omrežno infrastrukturo gruče. SageMaker HyperPod integrira Slurm Workload Manager za gručo in usklajevanje opravil usposabljanja.
Pregled Slurm Workload Manager
slurm, prej znan kot Simple Linux Utility for Resource Management, je razporejevalnik opravil za izvajanje opravil v porazdeljeni računalniški gruči. Zagotavlja tudi okvir za izvajanje vzporednih opravil z uporabo NVIDIA Collective Communications Library (NCCL) or Vmesnik za posredovanje sporočil (MPI) standardi. Slurm je priljubljen odprtokodni sistem za upravljanje virov gruče, ki ga pogosto uporabljajo visoko zmogljivo računalništvo (HPC) in generativne delovne obremenitve usposabljanja AI in FM. SageMaker HyperPod zagotavlja enostaven način za vzpostavitev in delovanje z gručo Slurm v nekaj minutah.
Sledi visokonivojski arhitekturni diagram, kako uporabniki komunicirajo s SageMaker HyperPod in kako različne komponente gruče komunicirajo med seboj in drugimi storitvami AWS, kot je npr. Amazon FSx za Luster in Preprosta storitev shranjevanja Amazon (Amazon S3).
Slurm opravila se predložijo z ukazi v ukazni vrstici. Ukazi za izvajanje opravil Slurm so srun
in sbatch
. srun
ukaz izvaja usposabljanje v interaktivnem in blokirajočem načinu ter sbatch
deluje v načinu paketne obdelave in brez blokiranja. srun
se večinoma uporablja za izvajanje takojšnjih opravil, medtem ko sbatch
se lahko uporabijo za poznejše izvedbe opravil.
Za informacije o dodatnih ukazih in konfiguraciji Slurm glejte Dokumentacija Slurm Workload Manager.
Zmožnosti samodejnega nadaljevanja in zdravljenja
Ena od novih funkcij SageMaker HyperPod je možnost samodejnega nadaljevanja vaših delovnih mest. Prej, ko je delovno vozlišče odpovedalo med izvajanjem opravila usposabljanja ali natančnega prilagajanja, je moral uporabnik preveriti status opravila, znova zagnati opravilo z zadnje kontrolne točke in nadaljevati s spremljanjem opravila skozi celotno izvajanje. Pri izobraževalnih opravilih ali opravilih natančnega prilagajanja, ki morajo potekati dneve, tedne ali celo mesece naenkrat, to postane drago zaradi dodatnih administrativnih stroškov uporabnika, ki mora porabiti cikle za spremljanje in vzdrževanje opravila v primeru, da zrušitve vozlišča, pa tudi stroške časa nedejavnosti dragih primerkov pospešenega računanja.
SageMaker HyperPod obravnava odpornost delovnega mesta z uporabo avtomatiziranih zdravstvenih pregledov, zamenjave vozlišča in obnovitve delovnega mesta. Opravila Slurm v SageMaker HyperPod se spremljajo z vtičnikom Slurm po meri SageMaker z uporabo okvir SPANK. Ko opravilo usposabljanja ne uspe, bo SageMaker HyperPod pregledal stanje gruče s pomočjo nabora pregledov stanja. Če je v gruči najdeno okvarjeno vozlišče, bo SageMaker HyperPod vozlišče samodejno odstranil iz gruče, ga nadomestil z zdravim vozliščem in znova zagnal opravilo usposabljanja. Pri uporabi kontrolne točke v izobraževalnih opravilih se lahko vsako prekinjeno ali neuspešno opravilo nadaljuje od zadnje kontrolne točke.
Pregled rešitev
Za uvedbo vašega SageMaker HyperPod morate najprej pripraviti svoje okolje tako, da konfigurirate svoj Navidezni zasebni oblak Amazon (Amazon VPC) omrežja in varnostne skupine, uvajanje podpornih storitev, kot je FSx za Luster v vašem VPC, in objavljanje skriptov življenjskega cikla Slurm v vedru S3. Nato uvedete in konfigurirate svoj SageMaker HyperPod in se povežete z glavnim vozliščem, da začnete svoja usposabljanja.
Predpogoji
Preden ustvarite svoj SageMaker HyperPod, morate najprej konfigurirati svoj VPC, ustvariti datotečni sistem FSx za Luster in vzpostaviti vedro S3 z želenimi skripti življenjskega cikla gruče. Potrebujete tudi najnovejšo različico programa Vmesnik ukazne vrstice AWS (AWS CLI) in nameščen vtičnik CLI za Upravitelj sej AWS, zmožnost Upravitelj sistemov AWS.
SageMaker HyperPod je popolnoma integriran z vašim VPC. Za informacije o ustvarjanju novega VPC glejte Ustvarite privzeti VPC or Ustvarite VPC. Če želite omogočiti brezhibno povezavo z najvišjo zmogljivostjo med viri, morate ustvariti vse svoje vire v isti regiji in območju razpoložljivosti ter zagotoviti, da povezana pravila varnostne skupine omogočajo povezavo med viri gruče.
Naprej ti ustvarite FSx za datotečni sistem Lustre. To bo služilo kot visoko zmogljiv datotečni sistem za uporabo med našim usposabljanjem za modele. Prepričajte se, da FSx za Luster in varnostne skupine gruče dovoljujejo vhodno in izhodno komunikacijo med viri gruče in datotečnim sistemom FSx za Luster.
Če želite nastaviti skripte življenjskega cikla gruče, ki se zaženejo, ko pride do dogodkov, kot je nov primerek gruče, ustvarite vedro S3 ter nato kopirate in po želji prilagodite privzete skripte življenjskega cikla. V tem primeru shranimo vse skripte življenjskega cikla v predpono vedra lifecycle-scripts
.
Najprej prenesete vzorčne skripte življenjskega cikla iz GitHub repo. Prilagodite jih tako, da ustrezajo želenemu vedenju gruč.
Nato ustvarite vedro S3 za shranjevanje prilagojenih skriptov življenjskega cikla.
Nato kopirajte privzete skripte življenjskega cikla iz lokalnega imenika v želeno vedro in uporabite predpono aws s3 sync
:
Končno, če želite nastaviti odjemalca za poenostavljeno povezavo z glavnim vozliščem gruče, morate namestite ali posodobite AWS CLI in namestite Vtičnik CLI AWS Session Manager omogočiti interaktivnim terminalskim povezavam za upravljanje gruče in izvajanje izobraževalnih opravil.
Ustvarite lahko gručo SageMaker HyperPod bodisi z razpoložljivimi viri na zahtevo bodisi tako, da zahtevate rezervacijo kapacitete pri SageMakerju. Če želite ustvariti rezervacijo zmogljivosti, ustvarite zahtevo za povečanje kvote, da rezervirate določene vrste računalniških instanc in dodelitev zmogljivosti na nadzorni plošči Kvote storitev.
Nastavite svoj grozd za usposabljanje
Če želite ustvariti gručo SageMaker HyperPod, izvedite naslednje korake:
- Na konzoli SageMaker izberite Upravljanje grozdov pod Grozdi HyperPod v podoknu za krmarjenje.
- Izberite Ustvarite gručo.
- Ponudnik ime gruče in po želji morebitne oznake, ki jih želite uporabiti za vire gruče, nato izberite Naslednji.
- Izberite Ustvari skupino primerkov in podajte ime skupine primerkov, potrebno vrsto primerkov, želeno količino primerkov ter vedro S3 in pot predpone, kamor ste prej kopirali skripte življenjskega cikla gruče.
Priporočljivo je, da imate različne skupine primerkov za krmilna vozlišča, ki se uporabljajo za upravljanje gruče in oddajo opravil, ter delovna vozlišča, ki se uporabljajo za izvajanje izobraževalnih opravil z uporabo pospešenih računalniških primerkov. Po želji lahko konfigurirate dodatno skupino primerkov za prijavna vozlišča.
- Najprej ustvarite skupino primerkov krmilnika, ki bo vključevala glavno vozlišče gruče.
- Za ta primer skupine AWS upravljanje identitete in dostopa (IAM) vloga, izberite Ustvari novo vlogo in podajte katera koli vedra S3, do katerih želite, da imajo dostop primerki gruče v skupini primerkov.
Ustvarjeni vlogi bo privzeto dodeljen dostop samo za branje do navedenih veder.
- Izberite Ustvari vlogo.
- V poziv za skript ob ustvarjanju vnesite ime skripta, ki se bo izvajal ob vsaki kreaciji primerka. V tem primeru se kliče skript ob ustvarjanju
on_create.sh
. - Izberite Shrani.
- Izberite Ustvari skupino primerkov da ustvarite skupino primerkov delavca.
- Navedite vse zahtevane podrobnosti, vključno z vrsto primerka in želeno količino.
Ta primer uporablja štiri pospešene primerke ml.trn1.32xl za izvajanje našega usposabljanja. Uporabite lahko isto vlogo IAM kot prej ali prilagodite vlogo za instance delavca. Podobno lahko za to skupino delovnih primerkov uporabite drugačne skripte življenjskega cikla ob ustvarjanju kot za prejšnjo skupino primerkov.
- Izberite Naslednji nadaljevati.
- Izberite želeni VPC, podomrežje in varnostne skupine za svoje primerke gruče.
Primerke gruče gostimo v enem samem območju razpoložljivosti in podomrežju, da zagotovimo nizko zakasnitev.
Upoštevajte, da če boste pogosto dostopali do podatkov S3, je priporočljivo ustvariti končno točko VPC, ki je povezana z usmerjevalno tabelo zasebnega podomrežja, da zmanjšate morebitne stroške prenosa podatkov.
- Izberite Naslednji.
- Preglejte povzetek podrobnosti gruče in izberite Prijave se.
Druga možnost je, da ustvarite svoj SageMaker HyperPod z AWS CLI, najprej prilagodite parametre JSON, uporabljene za ustvarjanje gruče:
Nato z naslednjim ukazom ustvarite gručo z uporabo podanih vnosov:
Opravite svoje prvo usposabljanje z Llama 2
Upoštevajte, da uporabo modela Llama 2 ureja licenca Meta. Če želite prenesti uteži modela in tokenizator, obiščite spletna stran in sprejmite licenco, preden zahtevate dostop do Spletna stran Meta's Hugging Face.
Ko se gruča zažene, se prijavite z upraviteljem sej z ID-jem gruče, imenom skupine primerkov in ID-jem primerka. Za ogled podrobnosti gruče uporabite naslednji ukaz:
Zabeležite si ID gruče, vključen v ARN gruče v odgovoru.
Z naslednjim ukazom pridobite ime skupine primerkov in ID primerka, ki sta potrebna za prijavo v gručo.
Upoštevajte InstanceGroupName
in InstanceId
v odgovoru, saj bodo ti uporabljeni za povezavo z instanco z upraviteljem sej.
Zdaj uporabljate upravitelja sej, da se prijavite v glavno vozlišče ali eno od vozlišč za prijavo in zaženete svoje opravilo usposabljanja:
Nato bomo pripravili okolje in prenesli Llama 2 in nabor podatkov RedPajama. Za celotno kodo in navodila po korakih sledite navodilom na AWSome Distributed Training Repo za GitHub.
Sledite korakom, podrobno opisanim v 2.test_cases/8.neuronx-nemo-megatron/README.md
mapa. Ko sledite korakom za pripravo okolja, pripravo modela, prenos in tokenizacijo nabora podatkov ter predhodno prevajanje modela, morate urediti 6.pretrain-model.sh
scenarij in sbatch
ukaz za oddajo opravila, da vključite parameter, ki vam bo omogočil, da izkoristite funkcijo samodejnega nadaljevanja SageMaker HyperPod.
Uredite sbatch
vrstica videti takole:
Po oddaji dela boste prejeli a JobID
ki ga lahko uporabite za preverjanje stanja opravila z naslednjo kodo:
Poleg tega lahko nadzirate opravilo tako, da sledite izhodnemu dnevniku opravila z naslednjo kodo:
Čiščenje
Če želite izbrisati svojo gručo SageMaker HyperPod, uporabite konzolo SageMaker ali naslednji ukaz AWS CLI:
zaključek
Ta objava vam je pokazala, kako pripraviti svoje okolje AWS, razmestiti svojo prvo gručo SageMaker HyperPod in usposobiti model Llama 7 s 2 milijardami parametrov. SageMaker HyperPod je danes na splošno na voljo v regijah Amerike (N. Virginia, Ohio in Oregon), azijsko-pacifiške regije (Singapur, Sydney in Tokio) in Evrope (Frankfurt, Irska in Stockholm). Razmestiti jih je mogoče prek konzole SageMaker, AWS CLI in AWS SDK-jev, podpirajo pa družine primerkov p4d, p4de, p5, trn1, inf2, g5, c5, c5n, m5 in t3.
Če želite izvedeti več o SageMaker HyperPod, obiščite Amazon SageMaker HyperPod.
O avtorjih
Brad Doran je višji tehnični vodja računa pri Amazon Web Services, osredotočen na generativno umetno inteligenco. Odgovoren je za reševanje inženirskih izzivov za generativne stranke umetne inteligence v tržnem segmentu digitalnih domačih podjetij. Prihaja iz ozadja razvoja infrastrukture in programske opreme, trenutno pa opravlja doktorski študij in raziskave na področju umetne inteligence in strojnega učenja.
Keita Watanabe je višji arhitekt specialist za rešitve GenAI pri Amazon Web Services, kjer pomaga pri razvoju rešitev za strojno učenje z uporabo projektov OSS, kot sta Slurm in Kubernetes. Njegovo ozadje je na področju raziskav in razvoja strojnega učenja. Preden se je Keita pridružil podjetju AWS, je delal v industriji e-trgovine kot raziskovalec, ki je razvijal sisteme za iskanje slik za iskanje izdelkov. Keita je doktoriral iz znanosti na Univerzi v Tokiu.
Justin Pirtle je glavni arhitekt rešitev pri Amazon Web Services. Redno svetuje generativnim strankam AI pri načrtovanju, uvajanju in prilagajanju njihove infrastrukture. Je reden govorec na konferencah AWS, vključno z re:Invent, ter na drugih dogodkih AWS. Justin je diplomiral iz informacijskih sistemov upravljanja na Univerzi v Teksasu v Austinu in magistriral iz programskega inženiringa na Univerzi v Seattlu.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-to-train-foundation-models-at-scale/
- : je
- :kje
- $GOR
- 1
- 100
- 12
- 14
- 24
- 7
- a
- sposobnost
- O meni
- pospešeno
- pospeševalniki
- Sprejmi
- dostop
- dostopnost
- Dostop
- Račun
- čez
- Poleg tega
- Dodatne
- naslovi
- dajanje
- upravno
- Prednost
- po
- AI
- vsi
- dodelitev
- omogočajo
- omogoča
- Prav tako
- Amazon
- Amazon SageMaker
- Amazon Web Services
- Americas
- zneski
- an
- in
- kaj
- Uporabi
- architectural
- SE
- pojavijo
- umetni
- Umetna inteligenca
- Umetna inteligenca in strojno učenje
- AS
- asia
- azijska pacifična
- povezan
- At
- Austin
- Avtomatizirano
- samodejno
- razpoložljivost
- Na voljo
- AWS
- ozadje
- BE
- postane
- pred
- vedenja
- med
- milijardah
- blokiranje
- izgradnjo
- Building
- poslovni
- by
- se imenuje
- CAN
- Zmogljivosti
- zmožnost
- kapaciteta
- ceo
- izziv
- izzivi
- Spremembe
- preveriti
- Pregledi
- Izberite
- stranke
- Grozd
- Koda
- Kolektivna
- prihaja
- Komunikacija
- Communications
- podjetje
- dokončanje
- deli
- Izračunajte
- računalništvo
- konference
- konfiguracija
- konfiguriranje
- Connect
- povezava
- povezave
- Konzole
- naprej
- krmilnik
- strošek
- drago
- stroški
- ustvarjajo
- Ustvarjanje
- Oblikovanje
- Trenutno
- po meri
- Stranke, ki so
- prilagodite
- meri
- cikel
- ciklov
- Armaturna plošča
- datum
- Dnevi
- ponudba
- privzeto
- Stopnja
- razporedi
- razporejeni
- uvajanja
- oblikovanje
- želeno
- podrobno
- Podrobnosti
- Razvoj
- razvoju
- Razvoj
- drugačen
- Difuzija
- digitalni
- Motnje
- porazdeljena
- porazdeljeno računalništvo
- razdeljeno usposabljanje
- prenesi
- 2
- med
- vsak
- elektronskem poslovanju
- bodisi
- odstranjevanje
- omogočajo
- Končna točka
- Inženiring
- zagotovitev
- Celotna
- okolje
- okolja
- vzpostaviti
- Evropa
- Tudi
- Event
- dogodki
- Primer
- razburjen
- drago
- dodatna
- Obraz
- ni uspelo
- ne uspe
- Napaka
- napake
- družine
- hitreje
- napačno
- Feature
- Lastnosti
- file
- prva
- osredotočena
- sledi
- po
- za
- prej
- je pokazala,
- Fundacija
- Ustanovitelj
- Ustanovitelj in izvršni direktor
- štiri
- Okvirni
- Frankfurt
- pogosto
- pogosto
- iz
- polno
- v celoti
- splošno
- ustvarila
- generativno
- Generativna AI
- dobili
- GitHub
- Cilj
- dogaja
- urejeno
- odobreno
- skupina
- Skupine
- ročaj
- strojna oprema
- Imajo
- ob
- he
- Glava
- zdravljenje
- Zdravje
- zdravo
- težka
- težko dvigovanje
- Pomaga
- visoka
- na visoki ravni
- visokozmogljivo
- najvišja
- zelo
- njegov
- drži
- gostitelj
- Kako
- Kako
- hpc
- HTML
- http
- HTTPS
- Stotine
- ID
- identiteta
- Mirovanje
- if
- slika
- Takojšen
- izvajati
- izboljšanje
- in
- vključujejo
- vključeno
- Vključno
- Povečajte
- Industrija
- Podatki
- Informacijski sistemi
- Infrastruktura
- vhodi
- namestitev
- nameščen
- primer
- Navodila
- integrirana
- Integrira
- Intelligence
- interakcijo
- interaktivno
- vmesnik
- prekinjen
- v
- Predstavljamo
- vključeni
- Irska
- Vprašanja
- IT
- Job
- Delovna mesta
- pridružil
- jpg
- json
- Justin
- znano
- velika
- obsežne
- Latenca
- pozneje
- Zadnji
- vodi
- UČITE
- učenje
- knjižnice
- Knjižnica
- Licenca
- življenski krog
- dviganje
- kot
- vrstica
- linux
- Llama
- lokalna
- prijavi
- prijava
- Poglej
- izgleda kot
- izgube
- nizka
- stroj
- strojno učenje
- vzdrževati
- vzdrževanje
- Znamka
- IZDELA
- Izdelava
- upravlja
- upravljanje
- upravitelj
- Tržna
- poveljnika
- Matter
- Povečajte
- Meta
- Minute
- ML
- način
- Model
- modeli
- sodobna
- monitor
- spremljati
- spremljanje
- mesecev
- več
- večinoma
- Ime
- materni
- ostalo
- Nimate
- potrebna
- potrebujejo
- mreža
- Novo
- Nove funkcije
- Vozel
- vozlišča
- Upoštevajte
- zdaj
- Nvidia
- of
- Ohio
- on
- Na zahtevo
- ONE
- odprite
- open source
- deluje
- operativno
- optimizacija
- optimizacijo
- or
- orkestracijo
- Oregon
- Oss
- Ostalo
- naši
- izhod
- več
- Pacific
- podokno
- vzporedno
- parameter
- parametri
- Podaje
- pot
- Izvedite
- performance
- Dr.
- platon
- Platonova podatkovna inteligenca
- PlatoData
- vključiti
- Popular
- Prispevek
- potencial
- Pripravimo
- prejšnja
- prej
- , ravnateljica
- Predhodna
- zasebna
- Proaktivna
- nadaljujte
- obravnavati
- Izdelek
- Napredek
- projekti
- če
- zagotavlja
- zagotavljanje
- Založništvo
- Količina
- RE
- priporočeno
- okrevanje
- zmanjša
- glejte
- okolica
- regije
- redni
- redno
- odstrani
- popravilo
- zamenjajte
- zamenjava
- zahteva
- zahteva
- zahteva
- Raziskave
- raziskave in razvoj
- Rezervacija
- Reserve
- odporno
- vir
- viri
- Odgovor
- odgovorna
- Nadaljuj
- vloga
- usmerjanje
- pravila
- Run
- tek
- deluje
- sagemaker
- Enako
- Shrani
- Lestvica
- skaliranje
- Znanost
- Znanstvenik
- script
- skripte
- sdks
- brezšivne
- Iskalnik
- Seattle
- varnost
- glej
- Segment
- višji
- služijo
- Storitev
- Storitve
- Zasedanje
- nastavite
- Delite s prijatelji, znanci, družino in partnerji :-)
- shouldnt
- je pokazala,
- podobno
- Enostavno
- poenostavljeno
- Singapur
- sam
- manj
- Software
- Razvoj programske opreme
- inženiring programske opreme
- rešitve
- Reševanje
- vir
- Zvočniki
- specialist
- specifična
- določeno
- preživeti
- po delih
- Stabilnost
- stabilna
- standardi
- Začetek
- state-of-the-art
- Status
- Koraki
- shranjevanje
- trgovina
- naravnost
- Študije
- predložitev
- predloži
- predložen
- subnet
- taka
- Suit
- apartma
- POVZETEK
- podpora
- Podpora
- Preverite
- sydney
- sinhronizacijo.
- sistem
- sistemi
- miza
- Bodite
- tehnični
- deset
- terminal
- texas
- kot
- da
- O
- njihove
- Njih
- POTEM
- te
- jih
- ta
- tisoče
- skozi
- vsej
- čas
- do
- danes
- tokenizirati
- tokio
- Vlak
- usposabljanje
- prenos
- tip
- Vrste
- pod
- univerza
- Univerza v Tokiu
- Nadgradnja
- uporaba
- Rabljeni
- uporabnik
- Uporabniki
- uporablja
- uporabo
- pripomoček
- Uporaben
- različnih
- Popravljeno
- različica
- preko
- Poglej
- Virginia
- Virtual
- obisk
- walkthrough
- je
- način..
- we
- web
- spletne storitve
- Weeks
- Dobro
- kdaj
- ki
- medtem
- pogosto
- Wikipedia
- bo
- z
- v
- brez
- delal
- delavec
- bi
- Vi
- Vaša rutina za
- zefirnet