Hiljutised arengud süvaõppes on viinud üha suuremate mudeliteni, nagu GPT-3, BLOOM ja OPT, millest mõned on juba üle 100 miljardi parameetri. Kuigi suuremad mudelid kipuvad olema võimsamad, nõuab selliste mudelite väljaõpe märkimisväärseid arvutusressursse. Isegi täiustatud hajutatud koolitusteekide (nt FSDP ja DeepSpeed) kasutamisel on tavaline, et koolitustöödeks on mitu nädalat või kuud korraga vaja sadu kiirendusseadmeid.
2022. aasta lõpus teatas AWS selle üldisest kättesaadavusest Amazon EC2 Trn1 eksemplarid powered by AWS Trainium– sihipäraselt ehitatud masinõppe (ML) kiirendi, mis on optimeeritud pakkuma suure jõudlusega, kulutõhusat ja ulatuslikult skaleeritavat platvormi sügava õppemudelite õpetamiseks pilves. Trn1 eksemplarid on saadaval mitmes suuruses (vt järgmist tabelit), kuni 16 Trainiumi kiirendit eksemplari kohta.
Eksemplari suurus | Trainiumi kiirendid | Kiirendi mälu (GB) | vCPU-d | Eksemplari mälu (GiB) | Võrgu ribalaius (Gbps) |
trn1.2xsuur | 1 | 32 | 8 | 32 | Kuni 12.5 |
trn1.32xsuur | 16 | 512 | 128 | 512 | 800 |
trn1n.32xlarge (varsti tulemas) | 16 | 512 | 128 | 512 | 1600 |
Trn1 eksemplare saab kasutada kas eraldiseisvate eksemplaridena väiksemate koolitustööde jaoks või väga skaleeritavates ultraklastrites, mis toetavad hajutatud koolitust kümnete tuhandete Trainiumi kiirendite vahel. Kõik Trn1 eksemplarid toetavad eraldiseisvat konfiguratsiooni, samas kui Trn1 ultraklastrid nõuavad trn1.32xlarge või trn1n.32xlarge eksemplare. Ultraklastris paiknevad mitu Trn1 eksemplari antud AWS-i saadavuse tsoonis ja on ühendatud kiire, madala latentsusajaga elastse kangaadapteri (EFA) võrguga, mis tagab 800 Gbps mitteblokeeriva võrgu ribalaiuse eksemplari kohta kollektiivsete arvutustoimingute jaoks. . 1. aasta alguses käivitatav eksemplaritüüp trn32n.2023xlarge suurendab selle ribalaiuse 1600 Gbps-ni eksemplari kohta.
Paljud ettevõttekliendid otsustavad juurutada oma süvaõppe töökoormused Kubernetese abil, mis on pilves konteinerite orkestreerimise de facto standard. AWS-i kliendid juurutavad neid töökoormusi sageli kasutades Amazoni elastse Kubernetese teenus (Amazon EKS). Amazon EKS on hallatav Kubernetese teenus, mis lihtsustab Kubernetese klastrite loomist, konfigureerimist, elutsüklit ja jälgimist, pakkudes samas Kubernetesi ülesvoolu täielikku paindlikkust.
Meil on täna hea meel teatada ametlikust toest hajutatud koolitustöödele, kasutades Amazon EKS-i ja EC2 Trn1 eksemplare. Selle teadaandega saate nüüd Amazon EKS-is hõlpsasti teostada suuremahulisi konteinerõppe töid, kasutades samal ajal täielikult ära Trn1 eksemplaride pakutavat hinna-jõudlust, mastaapsust ja kasutuslihtsust.
Koos selle teadaandega avaldame ka üksikasjaliku õpetuse, mis juhendab teid Amazon EKS-i ja Trn1 eksemplare kasutades mitme eksemplari hajutatud koolitustöö (BERT 1. faasi eelkoolitus) käitamiseks. Selles postituses saate teada lahenduse arhitektuurist ja vaadata läbi õpetuse mitmed põhietapid. Vaadake ametlik õpetuste hoidla täieliku otsast lõpuni töövoo jaoks.
Jätkuks laialdane tundmine AWS-i põhiteenustega, nagu Amazon Elastic Compute Cloud (Amazon EC2) ja Amazon EKS on kaudne ning abiks oleks põhjaliku õppimise ja PyTorchi põhiteadmised.
Lahenduse arhitektuur
Järgnev diagramm illustreerib lahenduse arhitektuuri.
Lahendus koosneb järgmistest põhikomponentidest:
- EKS-i klaster
- EKS-i sõlmerühm, mis koosneb trn1.32xsuurtest eksemplaridest
- . AWS Neuron SDK
- EKS-i pistikprogrammid Neuronile ja EFA-le
- An Amazoni elastsete konteinerite register (Amazon ECR) Repository
- Treeningu konteineri pilt
- An Amazon FSx Lusteri jaoks failisüsteemi
- Volcano partii planeerija ja etcd server
- TorchX universaalne töökäivitaja
- TorchX DDP moodul Trainiumi jaoks
Lahenduse keskmes on EKS-klaster, mis pakub teile EKS-i teenuse lõpp-punkti kaudu Kubernetesi põhilisi haldusfunktsioone. Amazon EKS-i üks eeliseid on see, et teenus jälgib ja skaleerib aktiivselt juhtimistasapinda koormuse alusel, mis tagab suure jõudluse suurte töökoormuste, näiteks hajutatud treeningute korral. EKS-klastri sees on sõlmerühm, mis koosneb kahest või enamast trn1.32xsuurest Trainiumi-põhisest eksemplarist, mis asuvad samas saadavuse tsoonis.
Neuron SDK on tarkvarapakk, mis pakub draiverit, kompilaatorit, käitusaega, raamistiku integreerimist (nt PyTorch Neuron) ja kasutajatööriistu, mis võimaldavad teil pääseda juurde Trainiumi kiirendite eelistele. Neuroni seadme draiver töötab otse EKS-i sõlmedes (Trn1 eksemplarid) ja annab juurdepääsu Trainiumi kiipidele sõlmedes käivitatud koolitusmahutitest. Neuron ja EFA pistikprogrammid on installitud EKS-klastrisse, et pakkuda juurdepääsu hajutatud koolituseks vajalikele Trainiumi kiipidele ja EFA võrguseadmetele.
Treeningkonteinerite kujutiste salvestamiseks kasutatakse ECR hoidlat. Need pildid sisaldavad Neuroni SDK-d (v.a Neuroni draiver, mis töötab otse Trn1 eksemplaridel), PyTorchi koolitusskripti ja vajalikke sõltuvusi. Kui EKS-klastris koolitustöö käivitatakse, tõmmatakse konteineri kujutised esmalt Amazon ECR-ist EKS-i sõlmedesse ja PyTorchi töötajate konteinerid instantseeritakse seejärel piltidest.
Jagatud salvestusruumi pakutakse suure jõudlusega FSx for Luster failisüsteemi abil, mis eksisteerib samas saadavuse tsoonis kui trn1.32xlarge eksemplarid. Failisüsteemi FSx for Luster loomist ja lisamist EKS-klastrisse vahendab Amazon FSx Luster CSI draiveri jaoks. Selles lahenduses kasutatakse ühismälu treeningu andmestiku ja treeningprotsessi käigus loodud logide või artefaktide salvestamiseks.
Lahendus kasutab TorchX universaalne töökäivitaja käivitada Amazon EKS-is hajutatud koolitustööd. TorchX-il on kaks olulist sõltuvust: Volcano partii planeerija ja etcd server. Volcano tegeleb koolitustööde ajakava ja järjekorda seadmisega, samas kui etcd server on võtmeväärtuste salvestus, mida TorchElastic kasutab töö käivitamisel sünkroonimiseks ja partnerite leidmiseks.
Kui koolitustöö käivitatakse TorchX-i abil, kasutab käivituskäsk Trainiumi jaoks kaasasolevat TorchX-i hajutatud DDP-moodulit, et konfigureerida üldine treeningtöö ja seejärel käivitada vastavad torchrun-käsud igas PyTorchi tööpuldis. Kui töö töötab, saab seda jälgida standardsete Kubernetese tööriistade (nt kubectl) või standardsete ML-tööriistakomplektide (nt TensorBoard) abil.
Lahenduse ülevaade
Vaatame selle lahenduse olulisi samme. Kogu selles ülevaates viitame Käivitage TorchX-i ja EKS-i abil Trainiumis mitme sõlmega PyTorch Neuron Training Job õpetus GitHubis.
Looge EKS-klaster
Trn1 eksemplaridega Amazon EKS-is hajutatud koolitustööde alustamiseks looge esmalt EKS-klaster, nagu on kirjeldatud õpetus GitHubis. Klastrite loomist saab saavutada standardsete tööriistade, näiteks eksctl
ja AWS CloudFormation.
Looge EKS-i sõlmede rühm
Järgmiseks peame looma EKS-i sõlmerühma, mis sisaldab toetatud piirkonnas kahte või enamat trn1.32xlarge eksemplari. Õpetuses AWS CloudFormationit kasutatakse Trainiumi-spetsiifilise EC2 käivitusmalli loomiseks, mis tagab, et Trn1 eksemplarid käivitatakse sobiva Amazon Machine Image (AMI) ja õige EFA võrgukonfiguratsiooniga, mis on vajalik hajutatud koolituse toetamiseks. AMI sisaldab ka Neuron seadme draiverit, mis toetab Trainiumi kiirendi kiipe. Koos eksctl
Amazon EKS-i haldustööriista abil saate hõlpsalt luua Trainiumi sõlmerühma, kasutades YAML-i põhimanifesti, mis viitab vastloodud käivitusmallile. Näiteks:
Eelmises manifestis on konfigureeritud mitu atribuuti, et võimaldada Trn1 eksemplaride kasutamist EKS-klastris. Esiteks metadata.region
on seatud ühele piirkonnale, mis toetab Trn1 eksemplare (praegu us-east-1
ja us-west-2
). Järgmiseks nõuab Amazon EKS kättesaadavustsoonide jaoks, et määrata kaks saadavuse tsooni. Üks nendest saadavuse tsoonidest peab toetama Trn1 eksemplaride kasutamist, samas kui teise saab valida juhuslikult. Õpetus näitab, kuidas määrake, millised saadavuse tsoonid lubavad teie AWS-i kontol Trn1 juhtumeid. Sama Trn1-toega saadavuse tsoon tuleb määrata ka kasutades availabiltyZones
EKS-i sõlmerühmaga seotud atribuut. efaEnabled
on seatud väärtusele true
sõlmede konfigureerimiseks sobiva EFA võrgukonfiguratsiooniga, mis on vajalik hajutatud koolituseks. Lõpuks, launchTemplate.id
sõlmerühmaga seotud atribuut osutab varasemas etapis AWS CloudFormationi kaudu loodud EC2 käivitusmallile.
Eeldusel, et olete juba CloudFormationi malli rakendanud ja installinud eksctl
haldustööriista abil saate luua Trainium-toega EKS-i sõlmerühma, käivitades järgmise koodi:
Installige Kubernetese pistikprogrammid Trainiumi ja EFA seadmetele
Kui sõlmede rühm on paigas, on järgmise sammuna installida Kubernetes'i pistikprogrammid, mis pakuvad tuge Trainiumi kiirenditele (Neuroni pistikprogrammi kaudu) ja EFA seadmetele (EFA pistikprogrammi kaudu). Neid pistikprogramme saab standardeid kasutades hõlpsasti klastrisse installida kubectl
haldustööriist, nagu õpetuses näidatud.
TorchX universaalse PyTorchi käivitusprogrammi kasutamiseks hajutatud koolitustööde käivitamiseks on vaja kahte eeltingimust: Volcano pakettplaanija ja etcd server. Sarnaselt Neuron ja EFA pistikprogrammidega saame kasutada kubectl
tööriist Volcano ja etcd serveri installimiseks EKS-klastrisse.
Ühendage jagatud salvestusruum EKS-klastriga
Selles õpetuses kasutatakse FSx for Lusteri suure jõudlusega jagatud failisüsteemi pakkumiseks, millele pääsevad juurde erinevad EKS-i töötajad. Seda jagatud salvestusruumi kasutatakse koolituse andmestiku, aga ka treeningprotsessi käigus loodud artefaktide ja logide majutamiseks. Õpetus kirjeldab, kuidas ühismälu luua ja klastriga ühendada, kasutades Amazon FSx Luster CSI draiveri jaoks.
Looge treeningkonteineri pilt
Järgmiseks peame looma treeningkonteineri kujutise, mis sisaldab PyTorchi treeningskripti koos mis tahes sõltuvustega. Õpetusse on lisatud Dockerfile'i näide, mis sisaldab BERT-i eelkoolituse skripti ja selle tarkvara sõltuvusi. Dockerfile'i kasutatakse koolituskonteineri kujutise koostamiseks ja pilt lükatakse seejärel ECR-i hoidlasse, kust PyTorchi töötajad saavad pildi tõmmata, kui klastris koolitustöö käivitatakse.
Seadistage treeningu andmed
Enne koolitustöö käivitamist kopeeritakse koolitusandmed esmalt FSx for Lustre jagatud salvestusmahule. Õpetus kirjeldab, kuidas luua ajutist Kubernetese kausta, millel on juurdepääs jagatud salvestusmahule, ja näidatakse, kuidas logida sisse, et treeningandmekogum standardsete Linuxi kestakäskude abil alla laadida ja ekstraktida.
Erinevate infrastruktuuri ja tarkvara eelduste olemasolul saame nüüd keskenduda lahenduse Trainiumi aspektidele.
Eelkompileerige oma mudel
Neuron SDK toetab PyTorchi integratsioonikihi kaudu PyTorchi neuron. Vaikimisi töötab PyTorch Neuron just-in-time kompileerimisega, kus erinevad närvivõrgu arvutusgraafikud treeningtöös koostatakse nii, nagu neid treeningprotsessi käigus kokku puututakse. Suuremate mudelite puhul võib olla mugavam kasutada kaasasolevat neuron_parallel_compile
tööriist erinevate arvutusgraafikute eelkompileerimiseks ja vahemällu salvestamiseks, et vältida graafikute koostamist treeningu ajal. Enne koolitustöö käivitamist EKS-klastris näitab õpetus, kuidas esmalt käivitada eelkompileerimistöö TorchX-i kaudu, kasutades neuron_parallel_compile
tööriist. Pärast eelkompileerimistöö lõpetamist on Neuroni kompilaator tuvastanud ja koostanud kõik närvivõrgu arvutusgraafikud ning vahemällu salvestanud need jagatud salvestusmahule, et neid hiljem kasutada tegeliku BERT-i eelkoolitustöö käigus.
Käivitage hajutatud koolitustöö
Kui eelkompileerimine on lõppenud, kasutatakse TorchX-i seejärel 64 töötajaga hajutatud koolitustöö käivitamiseks kahe trn1.32xsuure eksemplari vahel, kus iga eksemplari kohta on 32 töötajat. Kasutame 32 töötajat eksemplari kohta, kuna iga trn1.32xlarge eksemplar sisaldab 16 Trainium kiirendit, millest iga kiirendi annab 2 NeuronCores. Igale NeuronCore'ile pääseb juurde ainulaadsena PyTorch XLA seade koolituse käsikirjas. TorchX-i käivituskäskluse näide õpetusest näeb välja järgmine kood:
Erinevaid käsurea argumente eelnevas TorchX käsus kirjeldatakse üksikasjalikult õpetuses. Koolitustöö konfigureerimisel on aga kõige olulisemad järgmised argumendid:
- -cfg queue=test – Määrab treeningtöö jaoks kasutatava Volcano järjekorra
- -cfg image_repo – Määrab TorchX konteineri kujutiste jaoks kasutatava ECR hoidla
- –script_args – Määrab kõik argumendid, mis tuleks PyTorchi treeningskriptile edastada
- –nnodes ja –nproc_per_node – Koolitustööks kasutatavate eksemplaride ja töötajate arv eksemplari kohta
- –Skript – treeningkonteineris käivitatava PyTorchi treeningskripti nimi
- –Pilt – Tee koolituskonteineri pildini Amazon ECR-is
- –bf16 – Kas lubada andmetüüp BF16 või mitte
Jälgige koolitustööd
Pärast koolitustöö käivitamist on töö jälgimiseks erinevaid võimalusi. Õpetus näitab, kuidas jälgida põhilisi treeningskripti mõõdikuid käsureal, kasutades kubectl
, kuidas visuaalselt jälgida treeningskripti edenemist TensorBoardis (vt järgmist ekraanipilti) ja kuidas jälgida Trainium kiirendi kasutamist neuron-top
tööriist Neuron SDK-st.
Puhastage või taaskasutage keskkond
Kui koolitustöö on lõpetatud, saab klastri uuesti kasutada või konfigureerida täiendavate koolitustööde jaoks. Näiteks saab EKS-i sõlmerühma kiiresti suurendada, kasutades eksctl
käsk, et toetada koolitustöid, mis nõuavad täiendavaid Trn1 eksemplare. Samamoodi saab kaasasolevaid Dockerfile'i ja TorchX-i käivituskäske hõlpsasti muuta, et toetada täiendavaid süvaõppemudeleid ja koolituse topoloogiaid.
Kui klastrit enam ei vajata, sisaldab õpetus ka kõiki samme, mis on vajalikud EKS-i infrastruktuuri ja sellega seotud ressursside eemaldamiseks.
Järeldus
Selles postituses uurisime, kuidas Trn1 eksemplarid ja Amazon EKS pakuvad hallatavat platvormi suure jõudlusega, kulutõhusa ja ulatuslikult skaleeritava süvaõppemudelite hajutatud koolituse jaoks. Jagasime ka põhjalikku õpetust, mis näitab, kuidas Amazon EKS-is reaalset mitme eksemplari hajutatud koolitustööd Trn1 eksemplare kasutades juhtida, ning tõime esile mitu lahenduse põhietappi ja komponenti. Seda õpetuse sisu saab hõlpsasti kohandada muude mudelite ja töökoormustega ning see pakub teile põhilahendust süvaõppemudelite hajutatud koolituseks AWS-is.
Trainiumi toega Trn1 eksemplaride kasutamise alustamise kohta lisateabe saamiseks vaadake Neuronide dokumentatsioon.
Autoritest
Scott Perry on lahenduste arhitekt AWS-i Annapurna ML-i kiirendimeeskonnas. Kanadas asuv ta aitab klientidel juurutada ja optimeerida süvaõppe koolitust ja järelduste töökoormust, kasutades AWS Inferentia ja AWS Trainium. Tema huvide hulka kuuluvad suured keelemudelid, sügav õpe, asjade internet ja genoomika.
Lorea Arrizabalaga on lahenduste arhitekt, kes on seotud Ühendkuningriigi avaliku sektoriga, kus ta aitab klientidel kavandada ML-lahendusi rakendusega Amazon SageMaker. Ta on ka riistvarakiirendusele pühendatud tehnilise valdkonna kogukonna liige ning aitab testida ja võrrelda AWS Inferentia ja AWS Trainium töökoormust.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/scaling-distributed-training-with-aws-trainium-and-amazon-eks/
- 1
- 100
- 11
- 2022
- 2023
- 7
- a
- Võimalik
- MEIST
- kiirendi
- kiirendid
- juurdepääs
- pääses
- saavutada
- üle
- aktiivselt
- Täiendavad lisad
- edendama
- edasijõudnud
- ADEelis
- joondatud
- Materjal: BPA ja flataatide vaba plastik
- juba
- Kuigi
- Amazon
- Amazon EC2
- Amazon SageMaker
- ja
- Teatama
- teatas
- Teadaanne
- rakendatud
- asjakohane
- arhitektuur
- argumendid
- aspektid
- seotud
- kinnitage
- atribuudid
- kättesaadavus
- saadaval
- AWS
- AWS CloudFormation
- AWS Inferentia
- Bandwidth
- põhineb
- põhiline
- sest
- enne
- võrdlusuuringud
- Kasu
- Miljard
- Õitsema
- lai
- ehitama
- Cache
- kutsutud
- Kanada
- laastud
- Vali
- valitud
- Cloud
- Cluster
- kood
- Kollektiivne
- tulevad
- Peagi
- ühine
- kogukond
- täitma
- lõpetamist
- komponendid
- terviklik
- Arvutama
- konfiguratsioon
- seotud
- Koosneb
- Konteiner
- Konteinerid
- sisaldab
- sisu
- kontrollida
- Mugav
- tuum
- kuluefektiivne
- looma
- loodud
- loomine
- loomine
- CSI
- Praegu
- Kliendid
- andmed
- DDP
- pühendunud
- sügav
- sügav õpe
- vaikimisi
- juurutada
- lähetatud
- kirjeldatud
- Disain
- detail
- üksikasjalik
- arenguid
- seade
- seadmed
- otse
- avastus
- jagatud
- jagatud koolitus
- levitamine
- lae alla
- juht
- ajal
- iga
- Ajalugu
- Varajane
- kasutusmugavus
- kergesti
- kumbki
- võimaldama
- Lõpuks-lõpuni
- Lõpp-punkt
- tagab
- ettevõte
- Isegi
- näide
- erutatud
- välja arvatud
- olemas
- uurida
- väljavõte
- kangas
- Tuttav
- väli
- fail
- esimene
- Paindlikkus
- Keskenduma
- järgima
- Järel
- Raamistik
- Alates
- täis
- funktsionaalsus
- Üldine
- genoomika
- saama
- GitHub
- antud
- graafik
- graafikud
- Grupp
- juhendid
- Varred
- riistvara
- süda
- kasulik
- aitab
- Suur
- suur jõudlus
- Esiletõstetud
- kõrgelt
- võõrustaja
- Kuidas
- Kuidas
- aga
- HTML
- HTTPS
- sajad
- ID
- tuvastatud
- pilt
- pildid
- kaudselt
- oluline
- in
- sisaldama
- lisatud
- hõlmab
- Suurendama
- üha rohkem
- Infrastruktuur
- paigaldama
- paigaldatud
- Näiteks
- integratsioon
- el
- asjade Interneti
- IT
- töö
- Tööturg
- Võti
- Laps
- keel
- suur
- suuremahuline
- suurem
- Hilja
- algatama
- käivitatud
- käivitamine
- kiht
- Õppida
- õppimine
- Led
- raamatukogud
- joon
- Linux
- koormus
- enam
- Vaata
- välimus
- masin
- masinõpe
- põhiline
- juhitud
- juhtimine
- massiliselt
- Mälu
- Metaandmed
- Meetrika
- ML
- mudelid
- modifitseeritud
- moodulid
- Jälgida
- jälgitakse
- järelevalve
- monitorid
- kuu
- rohkem
- kõige
- mitmekordne
- nimi
- Vajadus
- võrk
- võrgustike loomine
- Närvivõrgus
- järgmine
- sõlme
- sõlmed
- number
- pakutud
- pakkumine
- ametlik
- ONE
- tegutseb
- Operations
- optimeerima
- optimeeritud
- Korraldus
- et
- Muu
- välja toodud
- piirjooned
- üldine
- ülevaade
- parameetrid
- osa
- Vastu võetud
- tee
- peer
- jõudlus
- faas
- Koht
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- plugin
- pluginad
- võrra
- post
- sisse
- võimas
- eeldused
- protsess
- Edu
- anda
- tingimusel
- annab
- pakkudes
- avalik
- Kirjastamine
- lükatakse
- pütorch
- kiiresti
- juhuslik
- päris maailm
- viited
- piirkond
- piirkondades
- seotud
- kõrvaldama
- Hoidla
- nõudma
- nõutav
- Vajab
- Vahendid
- läbi
- jooks
- jooksmine
- salveitegija
- sama
- Skaalautuvus
- skaalautuvia
- Kaalud
- ketendamine
- SDK
- sektor
- teenus
- Teenused
- komplekt
- mitu
- jagatud
- Shell
- peaks
- näidatud
- Näitused
- märkimisväärne
- Samamoodi
- suurused
- väiksem
- So
- tarkvara
- lahendus
- Lahendused
- mõned
- määratletud
- Kestab
- standalone
- standard
- alustatud
- käivitamisel
- Samm
- Sammud
- Veel
- ladustamine
- salvestada
- selline
- toetama
- Toetatud
- Toetab
- Sünkroonimine
- süsteem
- tabel
- võtmine
- meeskond
- Tehniline
- šabloon
- ajutine
- Testimine
- .
- Suurbritannia
- oma
- tuhandeid
- Läbi
- läbi kogu
- aeg
- et
- tööriist
- töövahendid
- koolitus
- tõsi
- juhendaja
- Uk
- ainulaadne
- Universaalne
- kasutama
- Kasutaja
- eri
- versioon
- kaudu
- maht
- kuidas
- nädalat
- kas
- mis
- kuigi
- will
- jooksul
- töötaja
- töötajate
- oleks
- yaml
- sa
- Sinu
- sephyrnet
- tsoonid