A mély tanulás legújabb fejlesztései egyre nagyobb modellekhez vezettek, mint például a GPT-3, a BLOOM és az OPT, amelyek közül néhány már meghaladja a 100 milliárd paramétert. Bár a nagyobb modellek általában erősebbek, az ilyen modellek betanítása jelentős számítási erőforrásokat igényel. Még a fejlett elosztott képzési könyvtárak, például az FSDP és a DeepSpeed használata mellett is gyakori, hogy a képzési feladatokhoz több száz gyorsítóeszközre van szükség több héten vagy hónapon keresztül.
2022 végén az AWS bejelentette, hogy általánosan elérhető Amazon EC2 Trn1 példányok powered by AWS Trainium– egy célra épített gépi tanulási (ML) gyorsító, amelyet úgy optimalizáltak, hogy nagy teljesítményű, költséghatékony és masszívan méretezhető platformot biztosítson a mély tanulási modellek felhőben való betanításához. A Trn1 példányok számos méretben állnak rendelkezésre (lásd a következő táblázatot), példányonként legfeljebb 16 Trainium-gyorsítóval.
Példány mérete | Trainium gyorsítók | Gyorsító memória (GB) | vCPU-k | Példánymemória (GiB) | Hálózati sávszélesség (Gbps) |
trn1.2xlarge | 1 | 32 | 8 | 32 | Akár 12.5 |
trn1.32xlarge | 16 | 512 | 128 | 512 | 800 |
trn1n.32xlarge (hamarosan) | 16 | 512 | 128 | 512 | 1600 |
A Trn1 példányok önálló példányként üzembe helyezhetők kisebb képzési feladatokhoz, vagy nagymértékben méretezhető ultrafürtökben, amelyek támogatják az elosztott képzést több tízezer Trainium-gyorsító között. Minden Trn1 példány támogatja az önálló konfigurációt, míg a Trn1 ultraclusterekhez trn1.32xlarge vagy trn1n.32xlarge példány szükséges. Egy ultrafürtben több Trn1 példány található egy adott AWS elérhetőségi zónában, és nagy sebességű, alacsony késleltetésű, Elastic Fabric Adapter (EFA) hálózattal csatlakozik, amely példányonként 800 Gbps nem blokkoló hálózati sávszélességet biztosít a kollektív számítási műveletekhez. . A 1 elején induló trn32n.2023xlarge példánytípus ezt a sávszélességet példányonként 1600 Gbps-ra növeli.
Sok vállalati ügyfél dönt úgy, hogy a Kubernetes – a felhőben történő konténer-hangszerelés de facto szabványa – használatával telepíti mély tanulási munkaterhelését. Az AWS-ügyfelek gyakran úgy helyezik üzembe ezeket a munkaterheléseket Amazon Elastic Kubernetes szolgáltatás (Amazon EKS). Az Amazon EKS egy felügyelt Kubernetes-szolgáltatás, amely leegyszerűsíti a Kubernetes-fürtök létrehozását, konfigurálását, életciklusát és figyelését, miközben továbbra is teljes rugalmasságot kínál az upstream Kubernetes számára.
Ma örömmel jelentjük be, hogy hivatalosan támogatjuk az Amazon EKS és EC2 Trn1 példányokat használó elosztott képzési munkákat. Ezzel a bejelentéssel most könnyedén futtathat nagyszabású konténeres képzési feladatokat az Amazon EKS-en belül, miközben teljes mértékben kihasználja a Trn1 példányok által kínált ár-teljesítmény, skálázhatóság és egyszerű használat előnyeit.
Ezzel a bejelentéssel együtt egy részletes oktatóanyagot is közzéteszünk, amely végigvezeti Önt a többpéldányos elosztott képzési feladat (BERT 1. fázisú előképzés) Amazon EKS és Trn1 példányok használatával történő futtatásához szükséges lépéseken. Ebben a bejegyzésben megismerheti a megoldás architektúráját, és áttekintheti az oktatóanyag néhány kulcsfontosságú lépését. Utal hivatalos oktatóanyag tárház a teljes, végpontok közötti munkafolyamathoz.
Következzen az alapvető AWS szolgáltatások széles körű ismerete, mint pl Amazon rugalmas számítási felhő (Amazon EC2) és Amazon EKS, és hasznos lenne a mély tanulás és a PyTorch alapvető ismerete.
Megoldás architektúra
A következő ábra a megoldás architektúráját mutatja be.
A megoldás a következő fő összetevőkből áll:
- Egy EKS klaszter
- Egy EKS csomópontcsoport, amely trn1.32xnagy példányokból áll
- A AWS Neuron SDK
- EKS bővítmények a Neuron és az EFA számára
- An Amazon Elastic Container Registry (Amazon ECR) Repository
- Képzési konténer kép
- An Amazon FSx Lusterhez fájlrendszer
- A Volcano kötegelt ütemező és etcd szerver
- A TorchX univerzális munkaindító
- A TorchX DDP modul a Trainiumhoz
A megoldás középpontjában egy EKS-fürt áll, amely alapvető Kubernetes-felügyeleti funkciókat biztosít az EKS-szolgáltatás végpontján keresztül. Az Amazon EKS egyik előnye, hogy a szolgáltatás aktívan figyeli és terhelés alapján skálázza a vezérlősíkot, ami nagy teljesítményt biztosít nagy terheléseknél, például megosztott edzéseknél. Az EKS-fürtön belül van egy csomópontcsoport, amely két vagy több trn1.32xlarge Trainium-alapú példányból áll, amelyek ugyanabban az elérhetőségi zónában találhatók.
A Neuron SDK az a szoftvercsomag, amely biztosítja az illesztőprogramot, a fordítót, a futtatókörnyezetet, a keretrendszer-integrációt (például PyTorch Neuron) és a felhasználói eszközöket, amelyek lehetővé teszik a Trainium-gyorsítók előnyeinek elérését. A Neuron eszközillesztő közvetlenül az EKS csomópontokon (Trn1 példányokon) fut, és hozzáférést biztosít a Trainium chipekhez a csomópontokon elindított betanító tárolókon belül. Neuron és EFA bővítmények vannak telepítve az EKS klaszteren belül, hogy hozzáférést biztosítsanak az elosztott képzéshez szükséges Trainium chipekhez és EFA hálózati eszközökhöz.
Az edzéstároló képeinek tárolására egy ECR-tárat használnak. Ezek a lemezképek tartalmazzák a Neuron SDK-t (kivéve a Neuron illesztőprogramot, amely közvetlenül a Trn1 példányokon fut), a PyTorch betanító szkriptet és a szükséges függőségeket. Amikor egy betanítási feladatot elindítanak az EKS-fürtön, a konténerképek először az Amazon ECR-ből az EKS-csomópontokra kerülnek, majd a PyTorch-munkakonténerek példányosításra kerülnek a képekből.
A megosztott tárhelyet egy nagy teljesítményű FSx for Luster fájlrendszer biztosítja, amely ugyanabban az elérhetőségi zónában található, mint a trn1.32xlarge példányok. Az FSx for Luster fájlrendszer létrehozását és az EKS-fürthöz való csatolását a Amazon FSx Luster CSI illesztőprogramhoz. Ebben a megoldásban a megosztott tároló a betanítási adatkészlet és a betanítási folyamat során létrehozott naplók vagy műtermékek tárolására szolgál.
A megoldás a TorchX univerzális munkaindító elosztott képzési munkákat indítani az Amazon EKS-en belül. A TorchX-nek két fontos függősége van: a Volcano kötegelt ütemező és az etcd szerver. A Volcano kezeli a betanítási feladatok ütemezését és sorba állítását, míg az etcd szerver egy kulcsérték tároló, amelyet a TorchElastic használ a szinkronizáláshoz és a peer-felderítéshez a jobok indításakor.
Amikor egy betanítási feladatot elindítanak a TorchX használatával, az indítási parancs a Trainium számára biztosított TorchX elosztott DDP-modult használja az általános betanítási feladat konfigurálásához, majd a megfelelő torchrun parancsok futtatásához mindegyik PyTorch worker podon. Amikor egy job fut, a szabványos Kubernetes-eszközök (például kubectl) vagy szabványos ML-eszközkészletek, például a TensorBoard segítségével figyelhető meg.
Megoldás áttekintése
Nézzük meg ennek a megoldásnak a fontos lépéseit. Ebben az áttekintésben mindvégig utalunk a Több csomópontos PyTorch Neuron Training Job indítása a Trainiumon a TorchX és az EKS segítségével oktatóanyag a GitHubon.
Hozzon létre egy EKS-fürtöt
Az elosztott képzési feladatok megkezdéséhez az Amazon EKS-ben Trn1 példányokkal, először hozzon létre egy EKS-fürtöt a oktatóanyag a GitHubon. A klaszter létrehozása szabványos eszközökkel valósítható meg, mint pl eksctl
és a AWS felhőképződés.
Hozzon létre egy EKS csomópontcsoportot
Ezután létre kell hoznunk egy EKS csomópontcsoportot, amely két vagy több trn1.32xlarge példányt tartalmaz egy támogatott régióban. Az oktatóanyagban Az AWS CloudFormation egy Trainium-specifikus EC2 indítósablon létrehozására szolgál, amely biztosítja, hogy a Trn1 példányok megfelelő Amazon Machine Image (AMI) és az elosztott képzés támogatásához szükséges EFA hálózati konfigurációval induljanak el. Az AMI tartalmazza a Neuron eszközillesztőt is, amely támogatja a Trainium gyorsítóchipeket. A ... val eksctl
Az Amazon EKS kezelőeszközzel egyszerűen létrehozhat egy Trainium csomópontcsoportot egy alapvető YAML-jegyzék segítségével, amely hivatkozik az újonnan létrehozott indítási sablonra. Például:
Az előző jegyzékben több attribútum is be van állítva, hogy lehetővé tegye a Trn1 példányok használatát az EKS-fürtben. Első, metadata.region
a Trn1 példányokat támogató régiók egyikére van állítva (jelenleg us-east-1
és a us-west-2
). Ezután az elérhetőségi zónákhoz az Amazon EKS két rendelkezésre állási zóna megadását követeli meg. Ezen elérhetőségi zónák egyikének támogatnia kell a Trn1 példányok használatát, míg a másik véletlenszerűen választható. Az oktatóanyag megmutatja, hogyan kell határozza meg, hogy mely elérhetőségi zónák engedélyezik a Trn1 példányokat az AWS-fiókjában. Ugyanazt a Trn1-et támogató rendelkezésre állási zónát is meg kell adni a használatával availabiltyZones
az EKS csomópontcsoporthoz társított attribútum. efaEnabled
be van állítva true
a csomópontok konfigurálásához az elosztott képzéshez szükséges megfelelő EFA hálózati konfigurációval. Végül a launchTemplate.id
A csomópontcsoporthoz társított attribútum az AWS CloudFormation segítségével egy korábbi lépésben létrehozott EC2 indítósablonra mutat.
Feltéve, hogy már alkalmazta a CloudFormation sablont, és telepítette a eksctl
kezelőeszközzel létrehozhat egy Trainium-képes EKS csomópontcsoportot a következő kód futtatásával:
Telepítse a Kubernetes bővítményeket Trainium és EFA eszközökhöz
A csomópontcsoport helyén a következő lépés a Kubernetes bővítmények telepítése, amelyek támogatják a Trainium gyorsítókat (a Neuron bővítményen keresztül) és az EFA eszközöket (az EFA bővítményen keresztül). Ezek a bővítmények könnyen telepíthetők a fürtre a szabvány használatával kubectl
kezelőeszközt az oktatóanyagban látható módon.
Ahhoz, hogy a TorchX univerzális PyTorch indítót elosztott képzési feladatok indításához használhassuk, két előfeltétel szükséges: a Volcano kötegelt ütemező és az etcd szerver. A Neuron és az EFA bővítményekhez hasonlóan használhatjuk a kubectl
eszköz a Volcano és az etcd szerver telepítéséhez az EKS-fürtre.
Megosztott tárhely csatolása az EKS-fürthöz
Az oktatóanyagban az FSx for Luster egy nagy teljesítményű megosztott fájlrendszer biztosítására szolgál, amelyhez a különböző EKS worker pod-ok hozzáférhetnek. Ez a megosztott tárhely a betanítási adatkészlet, valamint a betanítási folyamat során létrehozott műtermékek és naplók tárolására szolgál. Az oktatóanyag leírja, hogyan lehet megosztott tárhelyet létrehozni és a fürthöz csatolni a Amazon FSx Luster CSI illesztőprogramhoz.
Hozzon létre egy képzési tárolóképet
Ezután létre kell hoznunk egy képzési tárolóképet, amely tartalmazza a PyTorch képzési parancsfájlt az esetleges függőségekkel együtt. Az oktatóanyag tartalmaz egy példa Dockerfile-t, amely magában foglalja a BERT előképzési szkriptjét és annak szoftverfüggőségeit. A Dockerfile-t használják a képzési konténer kép létrehozására, majd a kép egy ECR-tárba kerül, ahonnan a PyTorch-munkások le tudják húzni a képet, amikor egy betanítási feladat elindul a fürtön.
Állítsa be az edzési adatokat
A betanítási feladat elindítása előtt a betanítási adatokat először az FSx for Lustre megosztott tárhelyére másolja. Az oktatóanyag felvázolja, hogyan hozható létre egy ideiglenes Kubernetes pod, amely hozzáfér a megosztott tárolókötethez, és bemutatja, hogyan kell bejelentkezni a podba a tanítási adatkészlet letöltéséhez és kibontásához szabványos Linux shell-parancsokkal.
A különféle infrastrukturális és szoftveres előfeltételek meglétével most a megoldás Trainium vonatkozásaira koncentrálhatunk.
Fordítsa elő a modellt
A Neuron SDK támogatja a PyTorch-ot az úgynevezett integrációs rétegen keresztül PyTorch Neuron. A PyTorch Neuron alapértelmezés szerint a just-in-time fordítással működik, ahol a különböző neurális hálózat számítási grafikonjai egy betanítási feladaton belül úgy kerülnek összeállításra, ahogy a betanítási folyamat során találkoznak velük. Nagyobb modelleknél kényelmesebb lehet a mellékelt eszközök használata neuron_parallel_compile
eszköz a különféle számítási grafikonok előzetes összeállításához és gyorsítótárazásához, így elkerülhető a grafikonok képzési időben történő összeállítása. Mielőtt elindítaná a képzési feladatot az EKS-fürtön, az oktatóanyag bemutatja, hogyan lehet először elindítani egy előfordítási feladatot a TorchX-en keresztül a neuron_parallel_compile
eszköz. Az előfordítási feladat befejezése után a Neuron fordító azonosítja és lefordítja az összes neurális hálózat számítási grafikonját, és gyorsítótárazza azokat a megosztott tárolókötetre, hogy később felhasználhassa a tényleges BERT előképzési feladat során.
Indítsa el az elosztott képzési feladatot
Az előfordítás befejeztével a TorchX-et egy 64 fős elosztott képzési feladat indítására használják két trn1.32xlarge példányon, példányonként 32 dolgozóval. Példányonként 32 dolgozót használunk, mert minden trn1.32xlarge példány 16 Trainium-gyorsítót tartalmaz, és mindegyik gyorsító 2-t biztosít. NeuronCores. Minden NeuronCore egyediként érhető el PyTorch XLA eszköz a képzési forgatókönyvben. Egy példa TorchX indítási parancs az oktatóanyagból, így néz ki a következő kód:
Az előző TorchX parancs különböző parancssori argumentumait az oktatóanyag részletesen ismerteti. A következő érvek azonban a legfontosabbak a képzési feladat konfigurálásakor:
- -cfg queue=teszt – Meghatározza a képzési feladathoz használandó Volcano sort
- -cfg image_repo – Meghatározza a TorchX tárolóképekhez használandó ECR-tárat
- –script_args – Meghatározza azokat az argumentumokat, amelyeket át kell adni a PyTorch tanító parancsfájlnak
- –nnodes és –nproc_per_node – A képzési munkához felhasznált példányok és dolgozók száma példányonként
- -forgatókönyv – A tanítási tárolón belül elindítandó PyTorch képzési szkript neve
- -Kép – Az Amazon ECR képzési konténer képének elérési útja
- –bf16 – Engedélyezze-e a BF16 adattípust
Figyelje a képzési munkát
A betanítási munka elindítása után különféle módokon lehet nyomon követni a munkát. Az oktatóanyag bemutatja, hogyan figyelheti az alapvető tanítási parancsfájl-metrikákat a parancssorban a használatával kubectl
, hogyan lehet vizuálisan nyomon követni az edzési szkript előrehaladását a TensorBoardban (lásd a következő képernyőképet), és hogyan lehet nyomon követni a Trainium gyorsító kihasználtságát a neuron-top
eszköz a Neuron SDK-ból.
Tisztítsa meg vagy használja újra a környezetet
Amikor a betanítási feladat befejeződött, a fürt újra felhasználható vagy konfigurálható további képzési feladatokhoz. Például az EKS csomópontcsoport gyorsan bővíthető a eksctl
parancsot, hogy támogassa a további Trn1 példányokat igénylő betanítási feladatokat. Hasonlóképpen, a mellékelt Dockerfile és TorchX indítóparancsok könnyen módosíthatók, hogy támogassák a további mély tanulási modelleket és a képzési topológiák elosztását.
Ha a fürt már nem szükséges, az oktatóanyag az EKS-infrastruktúra és a kapcsolódó erőforrások eltávolításához szükséges összes lépést is tartalmazza.
Következtetés
Ebben a bejegyzésben azt vizsgáltuk, hogy a Trn1 példányok és az Amazon EKS hogyan biztosítanak felügyelt platformot a mély tanulási modellek nagy teljesítményű, költséghatékony és masszívan méretezhető elosztott képzéséhez. Megosztottunk egy átfogó oktatóanyagot is, amely bemutatja, hogyan lehet valós, többpéldányos elosztott képzési feladatokat futtatni az Amazon EKS-ben Trn1 példányok használatával, és kiemeltünk a megoldás számos kulcsfontosságú lépését és összetevőjét. Ez az oktatóanyag könnyen adaptálható más modellekhez és munkaterhelésekhez, és alapvető megoldást kínál a mély tanulási modellek elosztott képzéséhez az AWS-ben.
Ha többet szeretne megtudni a Trainium-alapú Trn1 példányok használatának megkezdéséről, tekintse meg a Neuron dokumentáció.
A szerzőkről
Scott Perry az AWS Annapurna ML gyorsítócsapatának megoldástervezője. Kanadában telepedett le, és segít ügyfeleinek a mély tanulási tréningek és a következtetési munkaterhelések telepítésében és optimalizálásában az AWS Inferentia és az AWS Trainium segítségével. Érdeklődési köre a nagy nyelvi modellek, a mélyreható tanulás, az IoT és a genomika.
Lorea Arrizabalaga az Egyesült Királyság állami szektorához igazodó Solutions Architect, ahol segít ügyfeleinek ML megoldások tervezésében az Amazon SageMaker segítségével. Emellett tagja a hardveres gyorsítással foglalkozó Technical Field Community-nek, és segít az AWS Inferentia és az AWS Trainium munkaterhelésének tesztelésében és összehasonlításában.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/scaling-distributed-training-with-aws-trainium-and-amazon-eks/
- 1
- 100
- 11
- 2022
- 2023
- 7
- a
- Képes
- Rólunk
- gázpedál
- gyorsítók
- hozzáférés
- igénybe vett
- elért
- át
- aktívan
- További
- előre
- fejlett
- Előny
- igazított
- Minden termék
- már
- Bár
- amazon
- Amazon EC2
- Amazon SageMaker
- és a
- bejelent
- bejelentés
- Közlemény
- alkalmazott
- megfelelő
- építészet
- érvek
- szempontok
- társult
- csatolja
- attribútumok
- elérhetőség
- elérhető
- AWS
- AWS felhőképződés
- AWS Inferentia
- Sávszélesség
- alapján
- alapvető
- mert
- előtt
- benchmarking
- Előnyök
- Billió
- Virágzik
- széles
- épít
- Gyorsítótár
- hívott
- Kanada
- játékpénz
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- választott
- felhő
- Fürt
- kód
- Kollektív
- érkező
- Hamarosan
- Közös
- közösség
- teljes
- befejezés
- alkatrészek
- átfogó
- Kiszámít
- Configuration
- összefüggő
- Összeáll
- Konténer
- Konténerek
- tartalmaz
- tartalom
- ellenőrzés
- Kényelmes
- Mag
- költséghatékony
- teremt
- készítette
- létrehozása
- teremtés
- CSI
- Jelenleg
- Ügyfelek
- dátum
- DDP
- elszánt
- mély
- mély tanulás
- alapértelmezett
- telepíteni
- telepített
- leírt
- Design
- részlet
- részletes
- fejlesztések
- eszköz
- Eszközök
- közvetlenül
- felfedezés
- megosztott
- elosztott képzés
- elosztó
- letöltés
- gépkocsivezető
- alatt
- minden
- Korábban
- Korai
- egyszerű használat
- könnyen
- bármelyik
- lehetővé
- végtől végig
- Endpoint
- biztosítja
- Vállalkozás
- Még
- példa
- izgatott
- kizárás
- létezik
- feltárt
- kivonat
- szövet
- bizalmasság
- mező
- filé
- vezetéknév
- Rugalmasság
- Összpontosít
- következik
- következő
- Keretrendszer
- ból ből
- Tele
- funkcionalitás
- általános
- genomika
- kap
- GitHub
- adott
- grafikon
- grafikonok
- Csoport
- Útmutatók
- Fogantyúk
- hardver
- Szív
- hasznos
- segít
- Magas
- nagy teljesítményű
- Kiemelt
- nagyon
- vendéglátó
- Hogyan
- How To
- azonban
- HTML
- HTTPS
- Több száz
- ID
- azonosított
- kép
- képek
- hallgatólagos
- fontos
- in
- tartalmaz
- beleértve
- magában foglalja a
- Növelje
- egyre inkább
- Infrastruktúra
- telepíteni
- telepítve
- példa
- integráció
- érdekek
- tárgyak internete
- IT
- Munka
- Állások
- Kulcs
- Kedves
- nyelv
- nagy
- nagyarányú
- nagyobb
- Késő
- indít
- indított
- indítás
- réteg
- TANUL
- tanulás
- Led
- könyvtárak
- vonal
- linux
- kiszámításának
- hosszabb
- néz
- MEGJELENÉS
- gép
- gépi tanulás
- Fő
- sikerült
- vezetés
- masszívan
- Memory design
- Metaadatok
- Metrics
- ML
- modellek
- módosított
- Modulok
- monitor
- ellenőrizni
- ellenőrzés
- monitorok
- hónap
- több
- a legtöbb
- többszörös
- név
- Szükség
- hálózat
- hálózatba
- neurális hálózat
- következő
- csomópont
- csomópontok
- szám
- felajánlott
- felajánlás
- hivatalos
- ONE
- működik
- Művelet
- Optimalizálja
- optimalizált
- hangszerelés
- érdekében
- Más
- vázolt
- körvonalak
- átfogó
- áttekintés
- paraméterek
- rész
- Elmúlt
- ösvény
- egyenrangú
- teljesítmény
- fázis
- Hely
- emelvény
- Plató
- Platón adatintelligencia
- PlatoData
- csatlakoztat
- Plugins
- pont
- állás
- powered
- erős
- előfeltételek
- folyamat
- Haladás
- ad
- feltéve,
- biztosít
- amely
- nyilvános
- Kiadás
- meglökött
- pytorch
- gyorsan
- véletlen
- való Világ
- referenciák
- vidék
- régiók
- összefüggő
- eltávolítása
- raktár
- szükség
- kötelező
- megköveteli,
- Tudástár
- Kritika
- futás
- futás
- sagemaker
- azonos
- skálázhatóság
- skálázható
- Mérleg
- skálázás
- sdk
- szektor
- szolgáltatás
- Szolgáltatások
- készlet
- számos
- megosztott
- Héj
- kellene
- mutatott
- Műsorok
- jelentős
- Hasonlóképpen
- méretek
- kisebb
- So
- szoftver
- megoldások
- Megoldások
- néhány
- meghatározott
- verem
- önálló
- standard
- kezdődött
- indítás
- Lépés
- Lépései
- Még mindig
- tárolás
- tárolni
- ilyen
- támogatás
- Támogatott
- Támogatja
- összehangolás
- rendszer
- táblázat
- bevétel
- csapat
- Műszaki
- sablon
- ideiglenes
- Tesztelés
- A
- Az Egyesült Királyságban
- azok
- ezer
- Keresztül
- egész
- idő
- nak nek
- szerszám
- szerszámok
- Képzések
- igaz
- oktatói
- Uk
- egyedi
- Egyetemes
- használ
- használó
- különféle
- változat
- keresztül
- kötet
- módon
- Hetek
- vajon
- ami
- míg
- lesz
- belül
- munkás
- dolgozók
- lenne
- yaml
- te
- A te
- zephyrnet
- zónák