Kümned tuhanded AWS-i kliendid kasutavad AWS-i masinõppe (ML) teenuseid, et kiirendada oma ML-i arendust täielikult hallatava infrastruktuuri ja tööriistade abil. Kliendid, kes on arendanud ML-mudeleid ruumides, näiteks kohalikul töölaual, soovivad oma ML-i pärandmudelid AWS-i pilve üle viia, et kasutada täielikult ära AWS-is saadaolevate kõige ulatuslikumate ML-teenuste, infrastruktuuri ja juurutusressursside komplekti. .
Mõiste pärandkood viitab koodile, mis töötati välja kohalikul töölaual käsitsi käitamiseks ja mis ei ole loodud pilvevalmidusega SDK-dega, nagu AWS SDK Pythoni jaoks (Boto3) or Amazon SageMaker Python SDK. Teisisõnu, need pärandkoodid pole pilvekasutuseks optimeeritud. Migratsiooni parim tava on need pärandkoodid ümber kujundada, kasutades Amazon SageMaker API või SageMaker Pythoni SDK. Kuid mõnel juhul ei pruugi organisatsioonidel, kus on palju pärandmudeleid, olla aega ega ressursse kõigi nende mudelite ümberkirjutamiseks.
Selles postituses jagame skaleeritavat ja hõlpsasti rakendatavat lähenemisviisi pärand-ML-koodi migreerimiseks AWS-i pilve, et teha järeldusi, kasutades Amazon SageMaker ja AWS-i astmefunktsioonid, mille puhul on nõutav minimaalne koodi ümberkujundamine. Saate seda lahendust lihtsalt laiendada, et lisada rohkem funktsioone. Näitame, kuidas kaks erinevat isikut, andmeteadlane ja MLOpsi insener, saavad teha koostööd, et tõsta ja nihutada sadu pärandmudeleid.
Lahenduse ülevaade
Selles raamistikus käitame pärandkoodi konteineris kui a SageMakeri töötlemine töö. SageMaker käitab pärandskripti töötlemismahutis. Töötlemiskonteineri kujutis võib olla kas SageMakeri sisseehitatud pilt või kohandatud pilt. Töötlemistöö aluseks olevat infrastruktuuri haldab täielikult SageMaker. Pärandkoodi pole vaja muuta. Kõik, mis on vajalik, on SageMakeri töötlemistööde loomise tundmine.
Eeldame, et kaasatakse kaks isikut: andmeteadlane ja MLOpsi insener. Andmeteadlane vastutab koodi SageMakerisse teisaldamise eest kas käsitsi või kloonides selle koodihoidlast, näiteks AWS CodeCommit. Amazon SageMaker Studio pakub integreeritud arenduskeskkonda (IDE) ML-i elutsükli erinevate etappide rakendamiseks ja andmeteadlane kasutab seda kohandatud konteineri käsitsi koostamiseks, mis sisaldab juurutamiseks vajalikke koodiartefakte. Konteiner registreeritakse konteinerite registris, näiteks Amazoni elastsete konteinerite register (Amazon ECR) kasutuselevõtu eesmärgil.
MLOpsi insener võtab omandiõiguse astmefunktsioonide töövoo loomise eest, mida saame uuesti kasutada andmeteadlase välja töötatud kohandatud konteineri juurutamiseks sobivate parameetritega. Step Functions töövoog võib olla nii modulaarne, kui vaja, et see sobiks kasutusjuhtumiga, või koosneda vaid ühest sammust ühe protsessi käivitamiseks. Koodi migreerimiseks vajalike jõupingutuste minimeerimiseks oleme tuvastanud kolm modulaarset komponenti, et luua täielikult toimiv juurutusprotsess:
- Eeltöötlus
- Järeldus
- Järeltöötlus
Järgmine diagramm illustreerib meie lahenduse arhitektuuri ja töövoogu.
Selle lahendusega kaasnevad järgmised sammud:
- Andmeteadlase isiksus kasutab Studiot pärandkoodi importimiseks koodihoidlast kloonimise teel ja seejärel koodi moduliseerimiseks eraldi komponentideks, mis järgivad ML-i elutsükli etappe (eeltöötlus, järeldused ja järeltöötlus).
- Andmeteadlane kasutab Studiot ja täpsemalt Studio Image Build CLI SageMakeri pakutav tööriist Dockeri pildi loomiseks. See CLI tööriist võimaldab andmeteadlasel luua pildi otse Studios ja registreerib pildi automaatselt Amazon ECR-is.
- MLOpsi insener kasutab registreeritud konteineri kujutist ja loob konkreetse kasutusjuhu jaoks juurutuse, kasutades sammufunktsioone. Step Functions on serverita töövooteenus, mis saab Amazoni riikide keele abil otse juhtida SageMaker API-sid.
SageMakeri töötlemistöö
Mõistame, kuidas a SageMakeri töötlemistöö jookseb. Järgmine diagramm näitab, kuidas SageMaker töötlemistööd üles keerutab.
SageMaker võtab teie skripti ja kopeerib teie andmed Amazoni lihtne salvestusteenus (Amazon S3) ja tõmbab seejärel töötlemismahuti. Töötlemiskonteineri kujutis võib olla kas SageMakeri sisseehitatud pilt või teie esitatud kohandatud pilt. Töötlemistöö aluseks olevat infrastruktuuri haldab täielikult SageMaker. Klastri ressursid on ette nähtud teie töö ajaks ja need puhastatakse, kui töö on lõpetatud. Töötlemistöö väljund salvestatakse teie määratud S3 ämbrisse. Oma konteineri ehitamise kohta lisateabe saamiseks vaadake Ehitage oma töötlemiskonteiner (täpsem stsenaarium).
SageMakeri töötlemistöö seadistab teie töötlemispildi Dockeri konteineri sisenemispunkti skripti abil. Saate sisestada ka oma kohandatud sisestuspunkti, kasutades parameetreid ContainerEntrypoint ja ContainerArguments Rakenduse spetsifikatsioon API. Kui kasutate oma kohandatud sisestuspunkti, on teil suurem paindlikkus selle käivitamiseks eraldiseisva skriptina ilma pilte ümber ehitamata.
Selle näite jaoks koostame kohandatud konteineri ja kasutame järelduste tegemiseks SageMakeri töötlemistööd. Eel- ja järeltöötlustööd kasutavad skriptirežiimi koos eelehitatud scikit-learn konteineriga.
Eeldused
Selle postituse jätkamiseks täitke järgmised eeltingimused.
- Looge Studio domeen. Juhiste saamiseks vaadake Kiirseadistuse abil Amazon SageMakeri domeenis.
- Looge S3 ämber.
- Kloonige pakutud GitHub repo stuudiosse.
GitHubi repo on korraldatud erinevatesse kaustadesse, mis vastavad ML-i elutsükli erinevatele etappidele, hõlbustades lihtsat navigeerimist ja haldamist:
Migreerige pärandkood
Selles etapis tegutseme andmeteadlasena, kes vastutab pärandkoodi migreerimise eest.
Alustame avamisega build_and_push.ipynb
märkmik.
Märkmiku esialgne lahter juhendab teid selle installimisel Studio Image Build CLI. See CLI lihtsustab häälestusprotsessi, luues automaatselt korduvkasutatava ehituskeskkonna, millega saate kõrgetasemeliste käskude kaudu suhelda. CLI-ga on pildi loomine sama lihtne kui käskida sellel luua ja tulemuseks on link teie pildi asukohale Amazon ECR-is. See lähenemisviis välistab vajaduse hallata CLI poolt korraldatud keerulist aluseks olevat töövoogu, muutes pildi loomise protsessi sujuvamaks.
Enne ehitamiskäsu käivitamist on oluline tagada, et käsku käitaval rollil on vajalikud õigused, nagu on määratud CLI-s. GitHub loe mind või seotud postitus. Nõutavate õiguste andmata jätmine võib koostamise ajal põhjustada vigu.
Vaadake järgmist koodi:
Pärandkoodi sujuvamaks muutmiseks jagage see kolmeks erinevaks Pythoni skriptiks nimedega preprocessing.py, expect.py ja postprocessing.py. Järgige parimaid programmeerimistavasid, teisendades koodi põhifunktsioonist kutsutavateks funktsioonideks. Veenduge, et kõik vajalikud teegid on imporditud ja faili nõuded.txt värskendatakse, et see hõlmaks kohandatud teeke.
Pärast koodi korraldamist pakendage see koos nõuete failiga Dockeri konteinerisse. Konteineri saate hõlpsalt Studio seest luua, kasutades järgmist käsku:
Vaikimisi lükatakse pilt ECR-i hoidlasse nimega sagemakerstudio koos viimase sildiga. Lisaks kasutatakse Studio rakenduse täitmisrolli koos SageMaker Python SDK S3 vaikeämbriga. Neid sätteid saab aga sobivate CLI-suvandite abil hõlpsasti muuta. Vaadake järgmist koodi:
Nüüd, kui konteiner on ehitatud ja ECR-i hoidlas registreeritud, on aeg sukelduda sügavamale sellesse, kuidas saaksime seda kasutada prognoosi.py käivitamiseks. Samuti näitame teile eelehitatud seadme kasutamise protsessi skikit õppima konteiner failide preprocesss.py ja postprocesss.py käitamiseks.
Tootma konteiner
Selles etapis tegutseme MLOpsi insenerina, kes toodab eelmises etapis ehitatud konteineri.
Kasutame töövoo korraldamiseks astmefunktsioone. Step Functions võimaldab erakordset paindlikkust mitmesuguste teenuste integreerimisel töövoogu, võttes arvesse kõiki olemasolevaid sõltuvusi, mis võivad pärandsüsteemis eksisteerida. Selline lähenemine tagab, et kõik vajalikud komponendid on sujuvalt integreeritud ja töötavad soovitud järjestuses, mille tulemuseks on tõhus ja tulemuslik töövoolahendus.
Step Functions saab juhtida teatud AWS-teenuseid otse Amazoni osariikide keelest. Step Functionsiga töötamise ja selle SageMakeriga integreerimise kohta lisateabe saamiseks vaadake Hallake SageMakerit astmefunktsioonidega. Kasutades SageMakeriga sammufunktsioonide integreerimisvõimalust, käivitame eel- ja järeltöötluse skripte, kasutades skriptirežiimis SageMakeri töötlemistööd, ja teeme järelduse SageMakeri töötlemistööna, kasutades kohandatud konteiner. Teeme seda Pythoni jaoks mõeldud AWS SDK-ga (Boto3) Loo töötlemistöö API kõned.
Eeltöötlus
SageMaker pakub kohandatud koodi käitamiseks mitmeid võimalusi. Kui teil on ainult skript ilma kohandatud sõltuvusteta, saate skripti käivitada Bring Your Own skriptina (BYOS). Selleks edastage oma skript lihtsalt eelnevalt ehitatud scikit-learn raamistiku konteinerisse ja käivitage skriptirežiimis SageMaker Processing töö, kasutades parameetreid ContainerArguments ja ContainerEntrypoint. Rakenduse spetsifikatsioon API. See on lihtne ja mugav meetod lihtsate skriptide käitamiseks.
Vaadake jaotises "Eeltöötluse skriptirežiim" olekukonfiguratsiooni Sammufunktsioonide töövoo näidis et mõista, kuidas konfigureerida CreateProcessingJob API kutset kohandatud skripti käitamiseks.
Järeldus
Saate käitada kohandatud konteinerit, kasutades Ehitage oma töötlemismahuti lähenemine. SageMakeri töötlemistöö töötab koos /opt/ml
kohalik tee ja saate konfiguratsioonis määrata oma ProcessingInputs ja nende kohaliku tee. Töötlemistöö kopeerib seejärel artefaktid kohalikku konteinerisse ja käivitab töö. Pärast töö lõpetamist kopeerib see protsessiväljundite kohalikul teel määratud artefaktid määratud väliskohta.
Vaadake jaotises „Kohandatud konteineri järeldamine” olekukonfiguratsiooni Sammufunktsioonide töövoo näidis et mõista, kuidas konfigureerida CreateProcessingJob API kutset kohandatud konteineri käitamiseks.
Järeltöötlus
Järeltöötlusskripti saate käitada täpselt nagu eeltöötlusskripti, kasutades sammu Funktsioonid CreateProcessingJob. Järeltöötlusskripti käitamine võimaldab teil pärast järeldustöö lõpetamist täita kohandatud töötlemistoiminguid.
Looge sammufunktsioonide töövoog
Kiireks prototüüpimiseks kasutame sammufunktsioone Amazonase osariikide keel. Step Functions määratlust saate muuta otse, kasutades olekute keelt. Vaadake Sammufunktsioonide töövoo näidis.
Saate luua sammufunktsioonide konsoolis uue sammufunktsioonide olekumasina, valides Kirjutage oma töövoog koodi.
Step Functions saab vaadata teie kasutatavaid ressursse ja luua rolli. Siiski võite näha järgmist teadet:
„Ammufunktsioonid ei saa luua IAM-poliitikat, kui RoleArn for SageMaker pärineb teelt. Kodeerige SageMaker RoleArn oma olekusmasina definitsioonis või valige olemasolev roll, millel on sammufunktsioonide SageMakeri kutsumiseks vajalikud õigused.
Selle lahendamiseks peate looma AWS-i identiteedi- ja juurdepääsuhaldus (IAM) rolli astmeliste funktsioonide jaoks. Juhiste saamiseks vaadake IAM-rolli loomine teie olekumasinale. Seejärel lisage järgmine IAM-poliitika, et anda töövoo käitamiseks vajalikud õigused:
Järgmine joonis illustreerib andmete ja konteineri kujutiste voogu astmefunktsioonide töövoo igas etapis.
Järgnevalt on toodud sammufunktsioonides lähtestamiseks vajalike minimaalsete nõutavate parameetrite loend; võite viidata ka sisendparameetrite näidis JSON:
- sisend_uri – S3 URI sisendfailide jaoks
- väljund_uri – S3 URI väljundfailide jaoks
- code_uri – S3 URI skriptifailide jaoks
- custom_image_uri – Teie loodud kohandatud konteineri konteineri URI
- scikit_image_uri – Eelehitatud scikit-learn raamistiku konteineri URI
- roll – täiturroll töö juhtimiseks
- eksemplari_tüüp – Eksemplari tüüp, mida peate konteineri käitamiseks kasutama
- volume_size – konteineri jaoks vajalik salvestusmahu suurus
- max_runtime – konteineri maksimaalne käitusaeg vaikeväärtusega 1 tund
Käivitage töövoog
Oleme jaotanud pärandkoodi hallatavateks osadeks: eeltöötlus, järeldused ja järeltöötlus. Järeldusvajaduste toetamiseks koostasime kohandatud konteineri, mis oli varustatud vajalike teegi sõltuvustega. Meie plaan on kasutada Step Functions, kasutades ära selle võimalust helistada SageMaker API-le. Oleme näidanud kahte meetodit kohandatud koodi käitamiseks, kasutades SageMaker API-t: SageMakeri töötlemistöö, mis kasutab eelehitatud pilti ja võtab käitusajal kohandatud skripti, ja SageMakeri töötlemistöö, mis kasutab kohandatud konteinerit, mis on pakitud vajalikuga. artefaktid kohandatud järelduste tegemiseks.
Järgmine joonis näitab sammufunktsioonide töövoo käitamist.
kokkuvõte
Selles postituses arutasime pärand-ML Pythoni koodi kohalikest arenduskeskkondadest üleviimise ja standardiseeritud MLOps-protseduuri juurutamise protsessi. Selle lähenemisviisi abil saate vaevata üle kanda sadu mudeleid ja kaasata soovitud ettevõtte juurutustavad. Esitasime kaks erinevat meetodit kohandatud koodi käitamiseks SageMakeris ja saate valida selle, mis teie vajadustele kõige paremini sobib.
Kui vajate väga kohandatavat lahendust, on soovitatav kasutada kohandatud konteineri lähenemisviisi. Kui teil on põhiskriptid ja te ei pea oma kohandatud konteinerit looma, nagu on kirjeldatud eelnevalt mainitud eeltöötlusetapis, võib olla sobivam kasutada kohandatud skripti käitamiseks valmiskujutisi. Lisaks saate seda lahendust vajaduse korral rakendada pärandmudeli koolituse ja hindamise etappide konteinerisse paigutamiseks, täpselt nagu selles postituses järeldusetapp konteineriseeritakse.
Autoritest
Bhavana Chirumamilla on AWS-i vanemresident arhitekt, kellel on suur kirg andmete ja masinõppe operatsioonide vastu. Ta toob kaasa hulgaliselt kogemusi ja entusiasmi, et aidata ettevõtetel luua tõhusaid andme- ja ML-strateegiaid. Vabal ajal veedab Bhavana meelsasti perega aega ja tegeleb mitmesuguste tegevustega, nagu reisimine, matkamine, aiatöö ja dokumentaalfilmide vaatamine.
Shyam Namavaram on Amazon Web Servicesi (AWS) tehisintellekti (AI) ja masinõppe (ML) spetsialistide lahenduste vanemarhitekt. Ta teeb kirglikult koostööd klientidega, et kiirendada nende AI ja ML kasutuselevõttu, pakkudes tehnilisi juhiseid ning aidates neil uuendusi teha ja AWS-is turvalisi pilvelahendusi luua. Ta on spetsialiseerunud AI-le ja ML-ile, konteineritele ja analüütikatehnoloogiatele. Väljaspool tööd armastab ta sportida ja matkata looduses.
Qingwei Li on Amazon Web Servicesi masinõppe spetsialist. Ta sai doktorikraadi operatsioonide uurimise alal pärast seda, kui ta murdis oma nõustaja uurimistoetuse konto ja ei suutnud väljastada lubatud Nobeli preemiat. Praegu aitab ta finantsteenuste ja kindlustussektori klientidel luua AWS-is masinõppelahendusi. Vabal ajal meeldib talle lugeda ja õpetada.
Srinivasa Shaik on Bostonis asuva AWS-i lahenduste arhitekt. Ta aitab ettevõtte klientidel kiirendada nende teekonda pilve poole. Ta on kirglik konteinerite ja masinõppetehnoloogiate vastu. Vabal ajal veedab ta meelsasti perega aega, teeb süüa ja reisib.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/bring-legacy-machine-learning-code-into-amazon-sagemaker-using-aws-step-functions/
- :on
- $ UP
- 1
- 10
- 100
- 214
- 7
- 8
- a
- võime
- MEIST
- kiirendama
- juurdepääs
- konto
- tegu
- tegevus
- tegevus
- lisatud
- Lisaks
- aadress
- kinni pidama
- Vastuvõtmine
- edasijõudnud
- ADEelis
- pärast
- AI
- Materjal: BPA ja flataatide vaba plastik
- võimaldab
- Amazon
- Amazon SageMaker
- Amazon Web Services
- Amazon Web Services (AWS)
- summa
- analytics
- ja
- API
- API-liidesed
- app
- kehtima
- lähenemine
- asjakohane
- arhitektuur
- OLEME
- kunstlik
- tehisintellekti
- Tehisintellekt (AI)
- AS
- At
- kinnitage
- automaatselt
- saadaval
- AWS
- AWS-i masinõpe
- AWS-i astmefunktsioonid
- põhineb
- põhiline
- BE
- alustama
- BEST
- boston
- tooma
- Toob
- Murdis
- Katki
- ehitama
- Ehitus
- ehitatud
- sisseehitatud
- by
- helistama
- kutsutud
- Kutsub
- CAN
- ei saa
- juhul
- juhtudel
- kindel
- muutma
- Vali
- klient
- Cloud
- Cluster
- kood
- Teevad koostööd
- COM
- täitma
- keeruline
- komponendid
- terviklik
- seisund
- konfiguratsioon
- konsool
- ehitama
- Konteiner
- Konteinerid
- sisaldab
- kontrollida
- Mugav
- looma
- loob
- loomine
- Praegu
- tava
- Kliendid
- kohandatav
- andmed
- andmeteadlane
- sügavam
- vaikimisi
- tarnima
- näitama
- juurutada
- kasutuselevõtu
- kirjeldatud
- soovitud
- lauaarvuti
- arenenud
- arenev
- & Tarkvaraarendus
- erinev
- otse
- arutatud
- eristatav
- mitu
- laevalaadija
- dokumentaalfilme
- domeen
- Ära
- alla
- ajal
- iga
- Ajalugu
- kergesti
- mõju
- Tõhus
- tõhus
- jõupingutusi
- kumbki
- kõrvaldab
- kaasamine
- insener
- tagama
- tagab
- ettevõte
- ettevõtete
- entusiasm
- keskkond
- keskkondades
- varustatud
- vead
- hindamine
- näide
- erandlik
- täitmine
- olemasolevate
- kogemus
- kogevad
- laiendama
- väline
- hõlbustades
- Ebaõnnestunud
- Tuttav
- pere
- Joonis
- fail
- finants-
- finantsteenus
- leidma
- sobima
- Paindlikkus
- voog
- järgima
- Järel
- eest
- Raamistik
- Alates
- täielikult
- funktsioon
- funktsionaalne
- funktsionaalsus
- funktsioonid
- Pealegi
- tekitama
- GitHub
- anda
- juhised
- juhendid
- Olema
- aitama
- aidates
- aitab
- kõrgetasemeline
- kõrgelt
- Kuidas
- Kuidas
- aga
- HTML
- http
- HTTPS
- sajad
- tuvastatud
- Identity
- pilt
- pildid
- täitmine
- rakendamisel
- import
- oluline
- in
- Teistes
- sisaldama
- lisada
- tööstus
- Infrastruktuur
- esialgne
- algatama
- uuendama
- sisend
- paigaldama
- paigaldamine
- Näiteks
- juhised
- kindlustus
- integreeritud
- Integreerimine
- integratsioon
- Intelligentsus
- suhelda
- seotud
- kaasamine
- IT
- ITS
- töö
- Tööturg
- teekond
- jpg
- Json
- ainult üks
- keel
- suur
- hiljemalt
- Õppida
- õppimine
- Pärand
- raamatukogud
- Raamatukogu
- eluring
- nagu
- LINK
- nimekiri
- kohalik
- liising
- Vaata
- masin
- masinõpe
- põhiline
- juhtima
- juhitud
- juhtimine
- käsitsi
- maksimaalne
- mainitud
- sõnum
- meetod
- meetodid
- rännanud
- ränne
- miinimum
- ML
- MLOps
- viis
- mudel
- mudelid
- modulaarne
- rohkem
- kõige
- liikuv
- Nimega
- loodus
- NAVIGATSIOON
- vajalik
- Vajadus
- vajadustele
- Uus
- nobeli preemia
- märkmik
- number
- of
- Pakkumised
- on
- ONE
- avamine
- tegutseb
- Operations
- optimeeritud
- Valikud
- korraldatud
- organisatsioonid
- Korraldatud
- Muu
- väljund
- väljaspool
- enda
- omandiõigus
- pakend
- parameetrid
- osad
- kirg
- kirglik
- tee
- täitma
- Õigused
- kava
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängimine
- poliitika
- post
- tava
- tavad
- ennustada
- esitatud
- eelmine
- preemia
- protsess
- töötlemine
- Programming
- lubas
- korralik
- prototüüpimine
- anda
- tingimusel
- annab
- pakkudes
- Tõmbab
- eesmärkidel
- lükatakse
- Python
- Kiire
- kiiresti
- valik
- Lugemine
- saadud
- soovitatav
- Refaktor
- viitab
- registreeritud
- registrite
- registri
- Hoidla
- nõudma
- nõutav
- Nõuded
- teadustöö
- ressurss
- Vahendid
- vastutav
- kaasa
- tulemuseks
- korduvkasutatav
- Roll
- jooks
- jooksmine
- salveitegija
- skaalautuvia
- stsenaarium
- teadlane
- skikit õppima
- skripte
- SDK
- sujuvalt
- kindlustama
- valides
- vanem
- eri
- Jada
- Serverita
- teenus
- Teenused
- komplekt
- Komplektid
- seaded
- seade
- mitu
- Jaga
- suunata
- näitama
- näidatud
- Näitused
- lihtne
- lihtsalt
- ühekordne
- SUURUS
- So
- lahendus
- Lahendused
- mõned
- spetsialist
- spetsialiseerunud
- konkreetse
- eriti
- määratletud
- Kulutused
- keerutab
- sport
- etappidel
- standalone
- algab
- riik
- väljavõte
- Ühendriigid
- Samm
- Sammud
- ladustamine
- ladustatud
- lihtne
- strateegiad
- kiirendama
- Sujuvamaks muutmine
- tugev
- stuudio
- selline
- sobiv
- toetama
- Sys
- süsteem
- TAG
- Võtma
- võtab
- võtmine
- ülesanded
- õpetamine
- Tehniline
- Tehnoloogiad
- et
- .
- oma
- Neile
- Need
- tuhandeid
- kolm
- Läbi
- aeg
- et
- tööriist
- töövahendid
- koolitus
- üle
- Reisimine
- aluseks
- mõistma
- ajakohastatud
- kasutama
- kasutage juhtumit
- kasulikkus
- ära kasutama
- kasutatud
- kasutab ära
- väärtus
- eri
- versioon
- maht
- vaadates
- Jõukus
- web
- veebiteenused
- mis
- WHO
- will
- koos
- jooksul
- ilma
- sõnad
- Töö
- töö
- töötab
- sa
- Sinu
- sephyrnet