Ez egy vendégblogbejegyzés, amelyet Hussain Jagirdarral közösen írt a Games24x7-től.
Játékok 24x7 India egyik legértékesebb többjátékos platformja, és több mint 100 millió játékost szórakoztat különféle ügyességi játékokban. A „Science of Gaming” alapfilozófiájával lehetővé tették a játékdinamika, a játékplatformok és a játékosok teljes körű informatikájának vízióját a játék AI, a játékadat-tudomány és a játékfelhasználók kutatásának ortogonális kutatási irányainak megszilárdításával. A mesterséges intelligencia és az adattudományi csapat rengeteg többdimenziós adatba merül, és különféle felhasználási eseteket futtat, mint például a játékosok utazásának optimalizálása, a játékműveletek észlelése, a hiper-személyre szabás, az ügyfél 360 és még sok más az AWS-en.
A Games24x7 egy automatizált, adatvezérelt, mesterséges intelligencia által vezérelt keretrendszert alkalmaz az egyes játékosok viselkedésének értékelésére a platformon való interakciókon keresztül, és jelzi a rendellenes viselkedést tapasztaló felhasználókat. Megépítették a ScarceGAN mélytanulási modellt, amely a rendkívül ritka vagy ritka minták azonosítására összpontosít többdimenziós longitudinális telemetriai adatokból kicsi és gyenge címkékkel. Ez a munka ben jelent meg CIKM'21 és jelentése nyílt forráskódú ritka osztályazonosításhoz bármely longitudinális telemetriai adathoz. A modell gyártásának és elfogadásának szükségessége rendkívül fontos volt ahhoz, hogy egy olyan gerincet hozzunk létre, amely lehetővé teszi a felelősségteljes játékot a platformjukon, ahol a megjelölt felhasználókat a moderálás és az irányítás egy másik útjain vehetik át.
Ebben a bejegyzésben megosztjuk, hogyan fejlesztette tovább a Games24x7 képzési rendszerét a felelősségteljes játékplatform használatához Amazon SageMaker.
Ügyfél kihívásai
A Games24x7 DS/AI csapata több, az AWS által biztosított szolgáltatást használt, beleértve a SageMaker notebookokat, AWS lépésfunkciók, AWS Lambdaés Amazon EMR, csővezetékek építésére különféle felhasználási esetekre. Az adatelosztásban tapasztalható sodródás kezelésére, és így a ScarceGAN modelljük újraképzésére rájöttek, hogy a meglévő rendszernek jobb MLOps megoldásra van szüksége.
A Step Functions előző folyamatában egyetlen monolit kódbázis futtatta az adatok előfeldolgozását, átképzését és kiértékelését. Ez szűk keresztmetszetet jelentett a hibaelhárításban, a lépések hozzáadásakor vagy eltávolításában, vagy akár az általános infrastruktúra kis módosításaiban. Ez a lépés-függvény példánycsoportot hozott létre az S3-ból adatok kinyerésére és feldolgozására, és az előfeldolgozás, a betanítás és a kiértékelés további lépései egyetlen nagy EC2-példányon futnának. Azokban a forgatókönyvekben, amikor a folyamat bármely lépésében meghibásodott, a teljes munkafolyamatot újra kellett indítani az elejétől, ami ismételt futtatásokat és megnövekedett költségeket eredményezett. Az összes képzési és értékelési mérőszámot manuálisan ellenőrizték az Amazon Simple Storage Service (Amazon S3) szolgáltatásból. Nem volt mechanizmus a modellen végzett több kísérlet metaadatainak átadására és tárolására. A decentralizált modellfigyelés, az alapos vizsgálat és a legjobb modell kiválasztása miatt órákra volt szükség az adattudományi csapattól. Mindezen erőfeszítések felhalmozódása csökkentette a csapat termelékenységét és növelte a rezsiköltséget. Ráadásul egy gyorsan növekvő csapatnál nagyon nehéz volt megosztani ezt a tudást a csapattal.
Mivel az MLOps koncepciók nagyon kiterjedtek, és az összes lépés végrehajtása időigényes, úgy döntöttünk, hogy az első szakaszban a következő alapvető problémákkal foglalkozunk:
- Biztonságos, ellenőrzött és sablonos környezet házon belüli mélytanulási modellünk újraképzéséhez az iparág legjobb gyakorlatainak felhasználásával
- Paraméterezett betanítási környezet, amely minden átképzési feladathoz különböző paraméterkészletet küld, és auditálja az utolsó futtatásokat
- Képes vizuálisan nyomon követni a képzési és értékelési mutatókat, valamint metaadatokkal rendelkezik a kísérletek nyomon követéséhez és összehasonlításához
- Lehetőség az egyes lépések egyedi méretezésére és az előző lépések újrafelhasználására lépéshiba esetén
- Egyetlen dedikált környezet a modellek regisztrálására, a szolgáltatások tárolására és a következtetési folyamatok meghívására
- Egy modern eszközkészlet, amely minimalizálja a számítási követelményeket, csökkenti a költségeket, és elősegíti a fenntartható ML-fejlesztést és -műveleteket azáltal, hogy magában foglalja a különböző példányok különböző lépésekhez való használatának rugalmasságát.
- A legkorszerűbb MLOps-folyamat benchmark sablonjának létrehozása, amelyet különféle adattudományi csapatok használhatnak
A Games24x7 elkezdett más megoldásokat értékelni, beleértve Amazon SageMaker Studio Pipelines. A Step Functions már létező megoldásnak voltak korlátai. A Studio pipeline-ok rugalmasan bármikor hozzáadhattak vagy eltávolíthattak egy lépést. Emellett a teljes architektúra és az egyes lépések közötti adatfüggőségek is megjeleníthetők DAG-okon keresztül. Az átképzési lépések kiértékelése és finomhangolása meglehetősen hatékonysá vált, miután különböző Amazon SageMaker funkciókat alkalmaztunk, mint például az Amazon SageMaker Studio, a Pipelines, a Processing, a Training, a modellnyilvántartás, valamint a kísérletek és próbák. Az AWS Solution Architecture csapata nagy mélyrepülést mutatott be, és valóban nagy szerepe volt ennek a megoldásnak a tervezésében és megvalósításában.
Megoldás áttekintése
A következő ábra a megoldás architektúráját mutatja be.
A megoldás a SageMaker Stúdió környezetet az átképzési kísérletek futtatásához. A csővezeték parancsfájl meghívásához szükséges kód elérhető a Studio notebookokban, és a folyamat meghívásakor módosíthatjuk a hiperparamétereket és a bemenetet/kimenetet. Ez teljesen eltér a korábbi módszerünktől, ahol minden paramétert keményen kódoltunk a szkriptekben, és az összes folyamat elválaszthatatlanul összekapcsolódott. Ehhez a monolitikus kód különböző lépésekre történő modularizálására volt szükség.
Az alábbi ábra szemlélteti eredeti monolitikus folyamatunkat.
Modularizáció
Az egyes lépések méretezése, nyomon követése és futtatása érdekében a monolitikus kódot modularizálni kellett. Az egyes lépések közötti paraméterek, adatok és kódfüggőségek eltávolításra kerültek, és megosztott modulok jöttek létre a lépésekben megosztott összetevőkhöz. A modularizáció illusztrációja az alábbiakban látható: -
Minden egyes modul esetében a tesztelést helyben, a SageMaker SDK-k segítségével végezték el Script mód képzésre, feldolgozásra és értékelésre, amely kisebb változtatásokat igényelt a kódban a SageMakerrel való futtatáshoz. A helyi mód tesztelése a mélytanuláshoz a szkriptek SageMaker notebookokon is elvégezhetők, ha már használatban vannak, vagy használatával Helyi mód a SageMaker Pipelines használatával a Pipelines-ekkel való közvetlen indulás esetén. Ez segít annak ellenőrzésében, hogy egyéni szkriptjeink futnak-e a SageMaker példányokon.
Ezután mindegyik modult elkülönítve teszteltük a SageMaker Training/feldolgozási SDK-k segítségével. Script mód és manuálisan futtassa le őket sorozatban a SageMaker-példányok használatával minden egyes lépéshez, az alábbi képzési lépéshez hasonlóan:
Az Amazon S3-at arra használták, hogy a forrásadatokat feldolgozzák, majd a köztes adatokat, adatkereteket és NumPy-eredményeket visszatárolják az Amazon S3-ba a következő lépéshez. Miután az egyes modulok közötti integrációs tesztelés az előfeldolgozáshoz, képzéshez, értékeléshez befejeződött, a SageMaker Pipeline SDK-k amely integrálva van a SageMaker Python SDK-kkal, amelyeket a fenti lépésekben már használtunk, lehetővé tette számunkra, hogy ezeket a modulokat programozottan láncoljuk, az egyes lépések bemeneti paramétereit, adatait, metaadatait és kimenetét bemenetként a következő lépésekhez.
A korábbi Sagemaker Python SDK kódot újra felhasználhatjuk a modulok egyenkénti futtatására Sagemaker Pipeline SDK alapú futtatásokban. A folyamat egyes lépései közötti kapcsolatokat a lépések közötti adatfüggőségek határozzák meg.
A csővezeték utolsó lépései a következők:
- Adatok előfeldolgozása
- Átképzés
- Értékelés
- Modell regisztráció
A következő szakaszokban részletesebben tárgyaljuk az egyes lépéseket a SageMaker Pipeline SDK-val futtatva.
Adatok előfeldolgozása
Ez a lépés átalakítja a nyers bemeneti adatokat és előfeldolgozza, és felosztja a vonat, az érvényesítés és a tesztkészletekre. Ehhez a feldolgozási lépéshez létrehoztunk egy SageMaker feldolgozási feladatot a következővel TensorFlow Framework processzor, amely átveszi a szkriptünket, kimásolja az adatokat az Amazon S3-ból, majd előhív egy, a SageMaker által biztosított és karbantartott Docker-képet. Ez a Docker-tároló lehetővé tette számunkra, hogy átadjuk a könyvtárfüggőségeinket a követelmények.txt fájlban, miközben az összes TensorFlow-könyvtár már benne volt, és átadjuk a forrás_könyvtár elérési útját a szkript számára. A betanítási és érvényesítési adatok a betanítási lépésbe kerülnek, a tesztadatok pedig az értékelési lépésbe. A tároló használatának legjobb része az volt, hogy lehetővé tette számunkra, hogy különböző bemeneteket és kimeneteket különböző S3-helyekként továbbítsunk, amelyeket aztán lépésfüggőségként átadhattunk a SageMaker folyamat következő lépéseinek.
Átképzés
A képzési modult a SageMaker csővezetékek A TrainingStep API és a már rendelkezésre álló mélytanulási tárolóképeket használta a TensorFlow Framework becslőn keresztül (más néven Script mód) SageMaker képzés. A Script mód lehetővé tette számunkra, hogy minimális változtatásokat hajtsunk végre a képzési kódunkban, és a SageMaker előre elkészített Docker tárolója kezeli a Python, Framework verziókat stb. A ProcessingOutputs a Data_Preprocessing
lépést továbbítottuk ennek a lépésnek a képzési bemeneteként.
Az összes hiperparaméter egy JSON-fájlon keresztül került át a becslőn. A képzésünk minden korszakában már elküldtük a képzési mutatóinkat a forgatókönyv stdOutján keresztül. Mivel nyomon akartuk követni egy folyamatban lévő képzési feladat mérőszámait, és össze akartuk hasonlítani azokat a korábbi képzési munkákkal, csak elemeznünk kellett ezt az StdOut-ot a metrikadefiníciók reguláris kifejezésen keresztüli meghatározásával, hogy minden korszakra lekérhessük a StdOut mérőszámait.
Érdekes volt megérteni, hogy a SageMaker Pipelines automatikusan integrálható a SageMaker Experiments API-val, amely alapértelmezés szerint minden futtatáshoz létrehoz egy kísérletet, próbaverziót és próbaverziót. Ez lehetővé teszi az edzési mutatók, például a pontosság és a precizitás összehasonlítását több futás során, az alábbiak szerint.
Minden egyes lefutott képzési feladathoz négy különböző modellt állítunk elő az Amazon S3 számára egyéni üzleti definícióink alapján.
Értékelés
Ez a lépés betölti az Amazon S3 betanított modelljeit, és kiértékeli az egyéni mérőszámainkat. Ez a ProcessingStep a modellt és a tesztadatokat használja bemenetként, és kiírja a modell teljesítményéről szóló jelentéseket az Amazon S3-on.
Egyéni metrikákat használunk, ezért ahhoz, hogy ezeket az egyéni mérőszámokat regisztrálhassuk a modellnyilvántartásba, át kellett konvertálnunk az Amazon S3-ban CSV-ként tárolt kiértékelési metrikák sémáját a SageMaker Model minőség JSON kimenet. Ezután regisztrálhatjuk az értékelési JSON-metrikák helyét a modellnyilvántartásban.
A következő képernyőképek egy példát mutatnak be arra, hogyan alakítottunk át egy CSV-t Sagemaker Model minőségű JSON formátumba.
Modell regisztráció
Ahogy korábban említettük, több modellt hoztunk létre egyetlen betanítási lépésben, ezért SageMaker Pipelines Lambda integrációt kellett használnunk, hogy mind a négy modellt regisztráljuk egy modellnyilvántartásba. Egyetlen modell regisztrációhoz használhatjuk a ModelStep API egy SageMaker modell létrehozásához a beállításjegyzékben. A Lambda funkció minden modellnél lekéri a modellműterméket és az értékelési metrikát az Amazon S3-ból, és létrehoz egy modellcsomagot egy adott ARN-hez, így mind a négy modell egyetlen modellnyilvántartásba regisztrálható. A SageMaker Python API-k lehetővé tette számunkra, hogy egyéni metaadatokat küldjünk, amelyeket át akartunk adni a legjobb modellek kiválasztásához. Ez a termelékenység jelentős mérföldkövének bizonyult, mivel az összes modell egyetlen ablakból összehasonlítható és auditálható. Metaadatokat adtunk meg, hogy egyedileg megkülönböztessük a modelleket egymástól. Ez is segített egyetlen modell jóváhagyásában a szakértői értékelések és a modellmetrikákon alapuló vezetői áttekintések segítségével.
A fenti kódblokk egy példát mutat be arra, hogyan adtunk hozzá metaadatokat a modellcsomag bemenetén keresztül a modellnyilvántartásba a modellmetrikákkal együtt.
Az alábbi képernyőkép azt mutatja, hogy milyen egyszerűen tudjuk összehasonlítani a különböző modellváltozatok mérőszámait, miután regisztráltuk őket.
Pipeline Invocation
A csővezeték ezen keresztül hívható meg EventBridge , Sagemaker Stúdió vagy a SDK maga. A hívás a feladatokat a lépések közötti adatfüggőségek alapján futtatja.
Következtetés
Ebben a bejegyzésben bemutattuk, hogyan alakította át a Games24x7 MLOps-eszközeit a SageMaker-folyamatokon keresztül. A képzési és értékelési metrikák vizuális követésének képessége paraméterezett környezettel, a lépések egyedi skálázásával a megfelelő feldolgozási platformmal és egy központi modellnyilvántartással jelentős mérföldkőnek bizonyult a szabványosítás és az auditálható, újrafelhasználható, hatékony és magyarázható munkafolyamat felé való előrelépésben. . Ez a projekt a különböző adattudományi csapatok tervezete, és növelte az általános termelékenységet azáltal, hogy lehetővé tette a tagok számára, hogy működjenek, kezeljenek és együttműködjenek a legjobb gyakorlatokkal.
Ha hasonló használati eseted van, és el szeretnéd kezdeni, akkor azt javasoljuk, hogy menj át a SageMakeren Script mód és a A SageMaker végétől a végéig példák a Sagemaker Studio segítségével. Ezek a példák az ebben a blogban bemutatott technikai részleteket tartalmazzák.
A modern adatstratégia átfogó tervet ad az adatok kezelésére, elérésére, elemzésére és az azokon végzett műveletekre. Az AWS a szolgáltatások legteljesebb készletét biztosítja a teljes, végpontok közötti adatúthoz minden munkaterheléshez, minden adattípushoz és minden kívánt üzleti eredményhez. Ezzel viszont az AWS a legjobb hely az adatokból való érték felszabadítására, és azok betekintésre való átalakítására.
A szerzőkről
Hussain Jagirdar vezető tudós – alkalmazott kutatás a Games 24x7-nél. Jelenleg a megmagyarázható mesterséges intelligencia és a mély tanulás területén végzett kutatásokban vesz részt. Legutóbbi munkái kiterjedtek a mély generatív modellezésre, az idősoros modellezésre, valamint a gépi tanulás és az AI kapcsolódó részterületeire. Szenvedélyesen rajong az MLOp-kért és az olyan projektek szabványosításáért is, amelyek olyan korlátokat követelnek meg, mint a skálázhatóság, a megbízhatóság és az érzékenység.
Sumir Kumar az AWS megoldástervezője, és több mint 13 éves tapasztalattal rendelkezik a technológiai iparban. Az AWS-nél szorosan együttműködik kulcsfontosságú AWS-ügyfeleivel, hogy komplex üzleti problémákat megoldó felhő alapú megoldásokat tervezzenek és valósítsanak meg. Nagyon szenvedélyes az adatelemzés és a gépi tanulás iránt, és bizonyítottan segíti a szervezeteket az adatokban rejlő lehetőségek teljes kihasználásában az AWS Cloud segítségével.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. Hozzáférés itt.
- A jövő pénzverése – Adryenn Ashley. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/how-games24x7-transformed-their-retraining-mlops-pipelines-with-amazon-sagemaker/
- :is
- 1
- 10
- 100
- 11
- 7
- a
- képesség
- Rólunk
- felett
- hozzáférés
- felhalmozódás
- pontosság
- ACM
- át
- törvény
- Akció
- hozzáadott
- További
- Ezen kívül
- cím
- fogadott
- Örökbefogadás
- Után
- AI
- Minden termék
- lehetővé téve
- lehetővé teszi, hogy
- már
- amazon
- Amazon SageMaker
- Amazon SageMaker Studio
- analitika
- elemez
- és a
- api
- alkalmazott
- építészet
- VANNAK
- TERÜLET
- körül
- AS
- értékelés
- Eszközök
- At
- könyvvizsgálat
- ellenőrizhető
- ellenőrzött
- Automatizált
- automatikusan
- elérhető
- AWS
- vissza
- Hátgerinc
- alapján
- BE
- mert
- Kezdet
- mögött
- hogy
- lent
- benchmark
- BEST
- legjobb gyakorlatok
- Jobb
- között
- Blokk
- Blog
- Épület
- épült
- üzleti
- by
- TUD
- eset
- esetek
- központi
- lánc
- kihívást
- változik
- Változások
- osztály
- szorosan
- felhő
- Fürt
- kód
- codebase
- együttműködik
- összehasonlítani
- képest
- teljes
- bonyolult
- összetevő
- alkatrészek
- átfogó
- Kiszámít
- fogalmak
- megszilárdítása
- korlátok
- Konténer
- Konténerek
- ellenőrzés
- vezérelt
- megtérít
- átalakított
- Mag
- Költség
- kiadások
- tudott
- fedett
- teremt
- készítette
- teremt
- létrehozása
- Jelenleg
- szokás
- vevő
- Ügyfelek
- dátum
- Adatelemzés
- adat-tudomány
- adatstratégia
- adatalapú
- decentralizált
- határozott
- elszánt
- mély
- mély merülést
- mély tanulás
- alapértelmezett
- meghatározó
- Kereslet
- igazolták
- Függőség
- Design
- kívánatos
- részlet
- részletek
- Érzékelés
- eltökélt
- Fejlesztés
- különböző
- közvetlenül
- felfedezett
- megvitatni
- különbséget tesz
- terjesztés
- Dokkmunkás
- le-
- hajtás
- dinamika
- minden
- Korábban
- könnyen
- hatékony
- erőfeszítések
- bármelyik
- alkalmaz
- engedélyezve
- lehetővé téve
- végtől végig
- Egész
- Környezet
- korszak
- értékelő
- értékelés
- Még
- Minden
- példa
- példák
- végrehajtás
- létező
- meglévő rendszer
- tapasztalat
- kísérlet
- kiterjedt
- kivonat
- rendkívüli módon
- Sikertelen
- Jellemzők
- filé
- utolsó
- vezetéknév
- megjelölve
- zászlók
- Rugalmasság
- koncentrál
- következő
- következik
- A
- formátum
- Keretrendszer
- ból ből
- Tele
- funkció
- funkciós
- funkciók
- további
- játék
- Játékosok
- Games
- szerencsejáték
- játékplatform
- generál
- nemző
- kap
- ad
- Go
- Goes
- nagy
- Vendég
- fogantyú
- Fogantyúk
- Kemény
- Legyen
- tekintettel
- segít
- segített
- segít
- segít
- NYITVATARTÁS
- Hogyan
- HTML
- HTTPS
- Azonosítás
- kép
- képek
- végre
- végrehajtás
- végrehajtási
- importál
- javított
- in
- beleértve
- Beleértve
- amely magában foglalja
- <p></p>
- egyéni
- Egyénileg
- ipar
- Infrastruktúra
- bemenet
- Insight
- példa
- hangszeres
- integrált
- integráció
- kölcsönhatások
- érdekes
- vizsgálat
- részt
- szigetelés
- kérdések
- IT
- ismétlés
- ITS
- maga
- Munka
- Állások
- utazás
- jpg
- json
- Kulcs
- tudás
- ismert
- Címkék
- nagy
- tanulás
- könyvtárak
- könyvtár
- mint
- korlátozások
- összekapcsolt
- terhelések
- helyileg
- elhelyezkedés
- helyszínek
- gép
- gépi tanulás
- fontos
- KÉSZÍT
- Gyártás
- kezelése
- vezetés
- kézzel
- mechanizmus
- Partnerek
- említett
- Metaadatok
- módszer
- metrikus
- Metrics
- mérföldkő
- millió
- minimális
- kisebb
- ML
- MLOps
- Mód
- modell
- modellek
- mérséklet
- modern
- Modulok
- Modulok
- ellenőrzés
- Monolitikus
- több
- a legtöbb
- többszörös
- név
- Szükség
- következő
- jegyzetfüzet
- számtalan
- of
- on
- ONE
- folyamatban lévő
- nyitva
- működik
- Művelet
- optimalizálás
- érdekében
- szervezetek
- eredeti
- Más
- teljesítmény
- átfogó
- csomag
- paraméterek
- Legfőbb
- rész
- elhalad
- Elmúlt
- bérletek
- Múló
- szenvedélyes
- ösvény
- teljesítmény
- filozófia
- csővezeték
- Hely
- terv
- emelvény
- Platformok
- Plató
- Platón adatintelligencia
- PlatoData
- játszani
- játékos
- játékos
- rengeteg
- pont
- állás
- potenciális
- powered
- gyakorlat
- Pontosság
- előző
- problémák
- folyamat
- Folyamatok
- feldolgozás
- termelékenység
- program
- projektek
- ingatlanait
- bizonyított
- igazolt
- feltéve,
- biztosít
- közzétett
- Húz
- Piton
- világítás
- RITKA
- Nyers
- új
- ajánl
- rekord
- regex
- Regisztráció
- nyilvántartott
- Bejegyzés
- iktató hivatal
- összefüggő
- Kapcsolatok
- megbízhatóság
- eltávolított
- eltávolítása
- megismételt
- Jelentések
- kötelező
- követelmények
- kutatás
- felelős
- felelős szerencsejáték
- újraindítása
- Eredmények
- visszatérés
- újrahasználható
- újra
- Vélemények
- Szerep
- futás
- futás
- sagemaker
- SageMaker csővezetékek
- skálázhatóság
- Skála
- skálázás
- Szűkös
- forgatókönyvek
- Tudomány
- Tudós
- screenshotok
- szkriptek
- sdk
- szakaszok
- biztonság
- elküldés
- idősebb
- Érzékenység
- Sorozat
- szolgáltatás
- Szolgáltatások
- készlet
- Szettek
- Megosztás
- megosztott
- előadás
- mutatott
- Műsorok
- hasonló
- Egyszerű
- egyetlen
- jártasság
- kicsi
- So
- megoldások
- Megoldások
- SOLVE
- néhány
- forrás
- különleges
- szakadások
- Színpad
- szabványosítása
- kezdődött
- Kezdve
- csúcs-
- statisztika
- Lépés
- Lépései
- tárolás
- tárolni
- memorizált
- Stratégia
- stúdió
- ilyen
- fenntartható
- rendszer
- tart
- csapat
- csapat
- Műszaki
- Technológia
- sablon
- tensorflow
- teszt
- Tesztelés
- hogy
- A
- A terület
- The Source
- azok
- Őket
- ebből adódóan
- Ezek
- Keresztül
- idő
- nak nek
- vágány
- Vonat
- kiképzett
- Képzések
- át
- próba
- vizsgálatok
- FORDULAT
- típusok
- megért
- egyedileg
- kinyit
- us
- használ
- használati eset
- használó
- Felhasználók
- érvényesítés
- Értékes
- érték
- fajta
- különféle
- látomás
- kívánatos
- ami
- míg
- egész
- lesz
- val vel
- belül
- Munka
- művek
- lenne
- csomagolt
- év
- te
- A te
- zephyrnet