MLOps on põhidistsipliin, mis sageli jälgib masinõppe (ML) mudelite tootmise teed. On loomulik, et keskendute ühele mudelile, mida soovite koolitada ja kasutusele võtta. Kuid tegelikkuses töötate tõenäoliselt kümnete või isegi sadade mudelitega ja protsess võib hõlmata mitut keerulist sammu. Seetõttu on oluline omada infrastruktuuri erineva keerukusega mudelite jälgimiseks, koolitamiseks, juurutamiseks ja jälgimiseks. Siin tuleb appi MLOps-tööriistad. MLOps-tööriistad aitavad teil neid protsesse korratavalt ja usaldusväärselt luua ja lihtsustada ML-i jaoks kohandatud töövooks.
Amazon SageMakeri torujuhtmed, omadus Amazon SageMaker, on spetsiaalselt loodud ML-i töövoo orkestreerimisteenus, mis aitab automatiseerida täielikke ML-i töövooge mastaapselt. See lihtsustab ML-mudelite arendamist ja hooldust, pakkudes tsentraliseeritud platvormi selliste ülesannete korraldamiseks nagu andmete ettevalmistamine, mudeli koolitus, häälestamine ja valideerimine. SageMaker Pipelines aitab teil töövoohaldust sujuvamaks muuta, kiirendada katsetamist ja mudeleid lihtsamalt ümber õpetada.
Selles postituses tõstame esile SageMakeri torujuhtmete põneva uue funktsiooni, mida tuntakse kui Valikuline täitmine. See uus funktsioon võimaldab teil valikuliselt käitada oma ML-i töövoo teatud osi, mille tulemuseks on märkimisväärne aja- ja arvutusressursside kokkuhoid, piirates käitamise ulatuse konveieri etappidega ja välistades vajaduse käitada valdkonda kuuluvaid samme. Lisaks uurime erinevaid kasutusjuhtumeid, kus selektiivse täitmise eelised ilmnevad, tugevdades veelgi selle väärtuspakkumist.
Lahenduse ülevaade
SageMaker Pipelines jätkab oma arendajakogemuse uuendamist koos väljalaskega Valikuline täitmine. ML-i koostajatel on nüüd võimalus valida konveieri sees käitamiseks konkreetseid samme, välistades vajaduse kogu konveieri uuesti käivitada. See funktsioon võimaldab teil konveieri konkreetseid sektsioone uuesti käivitada, muutes samal ajal valitud sammudega seotud käitusaja parameetreid.
Oluline on märkida, et valitud sammud võivad tugineda valimata sammude tulemustele. Sellistel juhtudel kasutatakse nende valimata sammude väljundeid uuesti praeguse konveieriversiooni võrdluskäivitusest. See tähendab, et võrdlusjooks peab olema juba lõppenud. Vaikimisi viitekäivitus on praeguse konveieriversiooni viimane käitamine, kuid saate ka valida, kas kasutada viitena mõnda muud jooksva konveieriversiooni käitamist.
Võrdlussõidu üldine olek peab olema Edukas, Ebaõnnestunud or Tasuda. See ei saa olla Running kui Selective Execution proovib oma väljundeid kasutada. Kui kasutate valikulist täitmist, saate käivitamiseks valida mis tahes arvu samme, kui need moodustavad konveieri külgneva osa.
Järgmine diagramm illustreerib torujuhtme käitumist täiskäiguga.
Järgmine diagramm illustreerib konveieri käitumist valikulise täitmise abil.
Järgmistes jaotistes näitame, kuidas kasutada valikulist täitmist erinevate stsenaariumide jaoks, sealhulgas keeruliste töövoogude jaoks konveieri otseatsüklilistes graafikutes (DAG).
Eeldused
Selektiivse täitmisega katsetamise alustamiseks peame esmalt seadistama teie SageMakeri keskkonna järgmised komponendid:
- SageMaker Python SDK – Veenduge, et teil oleks värskendus SageMaker Python SDK installitud teie Pythoni keskkonda. SageMaker Pythoni SDK versiooni installimiseks või versiooniuuendamiseks saate oma sülearvutist või terminalist käivitada järgmise käsu 2.162.0 või kõrgem:
python3 -m pip install sagemaker>=2.162.0
orpip3 install sagemaker>=2.162.0
. - Juurdepääs SageMaker Studiole (valikuline) - Amazon SageMaker Studio võib olla abiks konveieri jooksude visualiseerimiseks ja olemasolevate konveieri ARN-idega visuaalseks suhtlemiseks. Kui teil pole juurdepääsu SageMaker Studiole või kasutate tellitavaid märkmikke või muid IDE-sid, saate siiski seda postitust jälgida ja Pythoni SDK abil oma konveieri ARN-idega suhelda.
Täieliku täieliku läbivaatuse näidiskood on saadaval aadressil GitHub repo.
Seade
Koos sagemaker>=1.162.0
Pythoni SDK, tutvustasime SelectiveExecutionConfig
klassi osana sagemaker.workflow.selective_execution_config
moodul. Funktsioon Valikuline täitmine tugineb konveierile ARN, mis on eelnevalt märgitud kui Õnnestus, Ebaõnnestunud or Tasuda. Järgmine koodilõik näitab, kuidas importida SelectiveExecutionConfig
klassi, hankige võrdluskonveier ARN ja koguge seotud konveieri sammud ja käitusaja parameetrid, mis reguleerivad konveieri käitamist:
import boto3
from sagemaker.workflow.pipeline import Pipeline
from sagemaker.workflow.selective_execution_config import SelectiveExecutionConfig sm_client = boto3.client('sagemaker')
# reference the name of your sample pipeline pipeline_name = "AbalonePipeline"
# filter for previous success pipeline execution arns
pipeline_executions = [_exec for _exec in Pipeline(name=pipeline_name).list_executions()['PipelineExecutionSummaries'] if _exec['PipelineExecutionStatus'] == "Succeeded"
]
# get the last successful execution
latest_pipeline_arn = pipeline_executions[0]['PipelineExecutionArn']
print(latest_pipeline_arn)
>>> arn:aws:sagemaker:us-east-1:123123123123:pipeline/AbalonePipeline/execution/x62pbar3gs6h # list all steps of your sample pipeline
execution_steps = sm_client.list_pipeline_execution_steps( PipelineExecutionArn=latest_pipeline_arn
)['PipelineExecutionSteps']
print(execution_steps)
>>> [{'StepName': 'Abalone-Preprocess', 'StartTime': datetime.datetime(2023, 6, 27, 4, 41, 30, 519000, tzinfo=tzlocal()), 'EndTime': datetime.datetime(2023, 6, 27, 4, 41, 30, 986000, tzinfo=tzlocal()), 'StepStatus': 'Succeeded', 'AttemptCount': 0, 'Metadata': {'ProcessingJob': {'Arn': 'arn:aws:sagemaker:us-east-1:123123123123:processing-job/pipelines-fvsmu7m7ki3q-Abalone-Preprocess-d68CecvHLU'}}, 'SelectiveExecutionResult': {'SourcePipelineExecutionArn': 'arn:aws:sagemaker:us-east-1:123123123123:pipeline/AbalonePipeline/execution/ksm2mjwut6oz'}}, {'StepName': 'Abalone-Train', 'StartTime': datetime.datetime(2023, 6, 27, 4, 41, 31, 320000, tzinfo=tzlocal()), 'EndTime': datetime.datetime(2023, 6, 27, 4, 43, 58, 224000, tzinfo=tzlocal()), 'StepStatus': 'Succeeded', 'AttemptCount': 0, 'Metadata': {'TrainingJob': {'Arn': 'arn:aws:sagemaker:us-east-1:123123123123:training-job/pipelines-x62pbar3gs6h-Abalone-Train-PKhAc1Q6lx'}}}, {'StepName': 'Abalone-Evaluate', 'StartTime': datetime.datetime(2023, 6, 27, 4, 43, 59, 40000, tzinfo=tzlocal()), 'EndTime': datetime.datetime(2023, 6, 27, 4, 57, 43, 76000, tzinfo=tzlocal()), 'StepStatus': 'Succeeded', 'AttemptCount': 0, 'Metadata': {'ProcessingJob': {'Arn': 'arn:aws:sagemaker:us-east-1:123123123123:processing-job/pipelines-x62pbar3gs6h-Abalone-Evaluate-vmkZDKDwhk'}}}, {'StepName': 'Abalone-MSECheck', 'StartTime': datetime.datetime(2023, 6, 27, 4, 57, 43, 821000, tzinfo=tzlocal()), 'EndTime': datetime.datetime(2023, 6, 27, 4, 57, 44, 124000, tzinfo=tzlocal()), 'StepStatus': 'Succeeded', 'AttemptCount': 0, 'Metadata': {'Condition': {'Outcome': 'True'}}}] # list all configureable pipeline parameters # params can be altered during selective execution
parameters = sm_client.list_pipeline_parameters_for_execution( PipelineExecutionArn=latest_pipeline_arn
)['PipelineParameters']
print(parameters)
>>> [{'Name': 'XGBNumRounds', 'Value': '120'}, {'Name': 'XGBSubSample', 'Value': '0.9'}, {'Name': 'XGBGamma', 'Value': '2'}, {'Name': 'TrainingInstanceCount', 'Value': '1'}, {'Name': 'XGBMinChildWeight', 'Value': '4'}, {'Name': 'XGBETA', 'Value': '0.25'}, {'Name': 'ApprovalStatus', 'Value': 'PendingManualApproval'}, {'Name': 'ProcessingInstanceCount', 'Value': '1'}, {'Name': 'ProcessingInstanceType', 'Value': 'ml.t3.medium'}, {'Name': 'MseThreshold', 'Value': '6'}, {'Name': 'ModelPath', 'Value': 's3://sagemaker-us-east-1-123123123123/Abalone/models/'}, {'Name': 'XGBMaxDepth', 'Value': '12'}, {'Name': 'TrainingInstanceType', 'Value': 'ml.c5.xlarge'}, {'Name': 'InputData', 'Value': 's3://sagemaker-us-east-1-123123123123/sample-dataset/abalone/abalone.csv'}]
Kasuta juhtudel
Selles jaotises tutvustame mõnda stsenaariumi, mille puhul valikuline täitmine võib potentsiaalselt säästa aega ja ressursse. Selektiivse täitmise eeliste demonstreerimiseks kasutame tüüpilist konveierivoogu, mis hõlmab selliseid samme nagu andmete eraldamine, koolitus, hindamine, mudeli registreerimine ja juurutamine.
SageMaker Pipelines võimaldab teil konveieri parameetrite abil määratleda konveieri käitamiseks käitusaja parameetrid. Kui käivitatakse uus käitamine, jookseb see tavaliselt kogu konveieri algusest lõpuni. Kui aga samm vahemällu salvestamine on lubatud, proovib SageMaker Pipelines leida praeguse konveieri etapi eelmist käitamist samade atribuudiväärtustega. Kui vaste leitakse, kasutab SageMaker Pipelines sammu ümberarvutamise asemel eelmise käitamise väljundeid. Pange tähele, et isegi kui samm-vahemällu salvestamine on lubatud, käitavad SageMaker Pipelines vaikimisi kogu töövoo lõpuni.
Funktsiooni Valikuline täitmine vabastamisega saate nüüd uuesti käivitada kogu konveieri töövoo või käitada valikuliselt toimingute alamhulka, kasutades eelnevat konveieri ARN-i. Seda saab teha isegi ilma vahemällu salvestamiseta. Järgmised kasutusjuhtumid illustreerivad valikulise täitmise erinevaid viise.
1. kasutusjuht: käivitage üks samm
Andmeteadlased keskenduvad sageli MLOps torujuhtme koolitusetapile ega taha muretseda eeltöötluse või juurutamisetappide pärast. Selective Execution võimaldab andmeteadlastel keskenduda ainult koolitusetapile ja mudeli täiustamiseks käigupealt treeningparameetreid või hüperparameetreid muuta. See võib säästa aega ja vähendada kulusid, kuna arvutusressursse kasutatakse ainult kasutaja valitud konveieri etappide käitamiseks. Vaadake järgmist koodi:
# select a reference pipeline arn and subset step to execute
selective_execution_config = SelectiveExecutionConfig( source_pipeline_execution_arn="arn:aws:sagemaker:us-east-1:123123123123:pipeline/AbalonePipeline/execution/9e3ljoql7s0n", selected_steps=["Abalone-Train"]
) # start execution of pipeline subset
select_execution = pipeline.start( selective_execution_config=selective_execution_config, parameters={ "XGBNumRounds": 120, "XGBSubSample": 0.9, "XGBGamma": 2, "XGBMinChildWeight": 4, "XGBETA": 0.25, "XGBMaxDepth": 12 }
)
Järgmised joonised illustreerivad torujuhet ühe protsessi etapiga ja seejärel lõpetage.
2. kasutusjuht: käivitage mitu külgnevat konveieri etappi
Eelmise kasutusjuhtumiga jätkates soovib andmeteadlane koolitada uut mudelit ja hinnata selle toimivust kuldse testiandmestiku alusel. See hindamine on ülioluline tagamaks, et mudel vastab kasutajate aktsepteerimise testimise (UAT) või tootmises kasutuselevõtu rangetele juhistele. Andmeteadlane ei soovi aga kogu konveieri töövoogu käitada ega mudelit juurutada. Nad saavad kasutada valikulist täitmist, et keskenduda ainult koolitus- ja hindamistoimingutele, säästes aega ja ressursse, saavutades samal ajal vajalikud valideerimistulemused:
# select a reference pipeline arn and subset step to execute
selective_execution_config = SelectiveExecutionConfig( source_pipeline_execution_arn="arn:aws:sagemaker:us-east-1:123123123123:pipeline/AbalonePipeline/execution/9e3ljoql7s0n", selected_steps=["Abalone-Train", "Abalone-Evaluate"]
) # start execution of pipeline subset
select_execution = pipeline.start( selective_execution_config=selective_execution_config, parameters={ "ProcessingInstanceType": "ml.t3.medium", "XGBNumRounds": 120, "XGBSubSample": 0.9, "XGBGamma": 2, "XGBMinChildWeight": 4, "XGBETA": 0.25, "XGBMaxDepth": 12 }
)
3. kasutusjuht: värskendage ja taaskäivitage ebaõnnestunud konveieri toiminguid
Saate kasutada valikulist täitmist konveieri ebaõnnestunud sammude uuesti käivitamiseks või konveieri töö jätkamiseks ebaõnnestunud sammust alates. See võib olla kasulik tõrkeotsinguks ja ebaõnnestunud silumiseks, kuna see võimaldab arendajatel keskenduda konkreetsetele lahendamist vajavatele probleemidele. See võib kaasa tuua tõhusama probleemide lahendamise ja kiirema iteratsiooniaja. Järgmine näide illustreerib, kuidas saate valida ainult konveieri ebaõnnestunud sammu uuesti käivitamise.
# select a previously failed pipeline arn
selective_execution_config = SelectiveExecutionConfig( source_pipeline_execution_arn="arn:aws:sagemaker:us-east-1:123123123123:pipeline/AbalonePipeline/execution/fvsmu7m7ki3q", selected_steps=["Abalone-Evaluate"]
) # start execution of failed pipeline subset
select_execution = pipeline.start( selective_execution_config=selective_execution_config
)
Teise võimalusena võib andmeteadlane jätkata konveieri läbimist ebaõnnestunud sammust töövoo lõpuni, täpsustades ebaõnnestunud sammu ja kõik sellele järgnevad sammud SelectiveExecutionConfig
.
4. kasutusjuhtum: torujuhtme katvus
Mõnes torujuhtmes juhitakse teatud harusid harvemini kui teisi. Näiteks võib olla haru, mis töötab ainult siis, kui konkreetne tingimus ebaõnnestub. Oluline on neid harusid põhjalikult testida, et tagada nende toimimine tõrke korral ootuspäraselt. Testides neid harvemini käitatavaid harusid, saavad arendajad veenduda, et nende konveier on töökindel ja et veakäsitlusmehhanismid säilitavad tõhusalt soovitud töövoo ja annavad usaldusväärseid tulemusi.
selective_execution_config = SelectiveExecutionConfig( source_pipeline_execution_arn="arn:aws:sagemaker:us-east-1:123123123123:pipeline/AbalonePipeline/execution/9e3ljoql7s0n", selected_steps=["Abalone-Train", "Abalone-Evaluate", "Abalone-MSECheck", "Abalone-FailNotify"]
)
Järeldus
Selles postituses arutasime SageMaker Pipelines'i valikulise täitmise funktsiooni, mis annab teile võimaluse oma ML-i töövoogude konkreetseid samme valikuliselt käivitada. See võimalus võimaldab oluliselt säästa aega ja arvutusressursse. Esitasime mõne näidiskoodi dokumendis GitHub repo mis näitab, kuidas kasutada valikulist täitmist, ja tutvustas erinevaid stsenaariume, kus see võib kasutajatele kasulik olla. Kui soovite valikulise täitmise kohta lisateavet, vaadake meie Arendaja juhend ja API viitejuhend.
SageMaker Pipelinesi töövoo saadaolevate sammude üksikasjalikumaks uurimiseks vaadake jaotist Amazon SageMakeri mudeli ehitamise torujuhe ja SageMakeri töövood. Lisaks leiate rohkem näiteid erinevatest kasutusjuhtudest ja rakendusviisidest, kasutades SageMakeri torujuhtmeid. AWS SageMakeri näited GitHubi hoidla. Need ressursid võivad teie arusaamist veelgi parandada ja aidata teil oma praegustes ja tulevastes ML-projektides ära kasutada SageMakeri torujuhtmete ja valikulise täitmise potentsiaali.
Autoritest
Pranav Murthy on AWS-i AI/ML-i spetsialistilahenduste arhitekt. Ta keskendub sellele, et aidata klientidel masinõppe (ML) töökoormust SageMakerisse luua, koolitada, juurutada ja üle viia. Varem töötas ta pooljuhttööstuses, arendades suuri arvutinägemise (CV) ja loomuliku keele töötlemise (NLP) mudeleid, et täiustada pooljuhtprotsesse. Vabal ajal meeldib talle malet mängida ja reisida.
Akhil Numarsu on kõrgeima tootejuhi tehniline spetsialist, kes keskendub meeskondadele pilves tõhusate tööriistade ja teenuste abil ML-i tulemuste kiirendamisele. Talle meeldib mängida lauatennist ja ta on spordifänn.
Nishant Krishnamoorthy on vanem tarkvaraarenduse insener ettevõttes Amazon Stores. Tal on arvutiteaduse magistrikraad ja ta keskendub praegu ML-i kasutuselevõtu kiirendamisele Amazoni erinevates organisatsioonides, luues ja rakendades SageMakeris ML-lahendusi.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Autod/elektrisõidukid, Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- ChartPrime. Tõsta oma kauplemismängu ChartPrime'iga kõrgemale. Juurdepääs siia.
- BlockOffsets. Keskkonnakompensatsiooni omandi ajakohastamine. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/unlocking-efficiency-harnessing-the-power-of-selective-execution-in-amazon-sagemaker-pipelines/
- :on
- :on
- : kus
- $ UP
- 1
- 100
- 12
- 2023
- 25
- 27
- 30
- 31
- 7
- 9
- a
- võime
- MEIST
- kiirendama
- kiirendades
- vastuvõtmine
- juurdepääs
- atsükliline
- Lisaks
- Vastuvõtmine
- ADEelis
- kasulik
- eelised
- vastu
- AI / ML
- Materjal: BPA ja flataatide vaba plastik
- võimaldab
- juba
- Ka
- muuta
- Amazon
- Amazon SageMaker
- Amazon SageMakeri torujuhtmed
- Amazon Web Services
- an
- ja
- mistahes
- lähenemisviisid
- OLEME
- AS
- seotud
- At
- Katsed
- automatiseerima
- saadaval
- AWS
- BE
- sest
- muutuma
- olnud
- käitumine
- Filiaal
- oksad
- ehitama
- ehitajad
- Ehitus
- kuid
- by
- CAN
- ei saa
- võime
- juhul
- juhtudel
- tsentraliseeritud
- kindel
- Male
- Vali
- klass
- Cloud
- kood
- tuleb
- täitma
- Lõpetatud
- keeruline
- keerukust
- komponendid
- Arvutama
- arvuti
- Arvutiteadus
- Arvuti visioon
- seisund
- pidev
- Maksma
- otsustav
- Praegune
- Praegu
- Kliendid
- andmed
- Andmete ettevalmistamine
- andmeteadlane
- kuupäev Kellaaeg
- vaikimisi
- määratlema
- Kraad
- näitama
- näitab
- juurutada
- kasutuselevõtu
- soovitud
- detail
- arendaja
- Arendajad
- arenev
- & Tarkvaraarendus
- erinev
- otsene
- arutatud
- ei
- Ei tee
- tehtud
- Ära
- kümneid
- ajal
- kergesti
- tõhusalt
- efektiivsus
- tõhus
- kõrvaldades
- annab volitusi
- lubatud
- võimaldab
- lõpp
- Lõpuks-lõpuni
- insener
- suurendama
- tagama
- Kogu
- keskkond
- hindama
- hindamine
- Isegi
- ilmne
- näide
- näited
- põnev
- täitma
- täitmine
- oodatav
- kogemus
- uurima
- kaevandamine
- Ebaõnnestunud
- ei
- ebaedu
- lehvikut
- kiiremini
- tunnusjoon
- vähe
- arvandmed
- filtreerida
- leidma
- lõpetama
- esimene
- voog
- Keskenduma
- keskendunud
- keskendub
- järgima
- Järel
- eest
- vorm
- avastatud
- tasuta
- sageli
- Alates
- täis
- edasi
- Pealegi
- tulevik
- koguma
- saama
- saamine
- GitHub
- kuldne
- valitsev
- graafikud
- suunised
- Kasutamine
- Olema
- he
- aitama
- kasulik
- aidates
- aitab
- rohkem
- tema
- omab
- Kuidas
- Kuidas
- aga
- HTML
- HTTPS
- sajad
- if
- illustreerib
- täitmine
- import
- oluline
- parandama
- in
- hõlmab
- Kaasa arvatud
- tööstus
- Infrastruktuur
- uuendama
- paigaldama
- paigaldatud
- selle asemel
- suhelda
- suhtlevad
- sisse
- sisse
- kaasama
- küsimustes
- IT
- iteratsioon
- ITS
- jpg
- lihtsalt
- Võti
- teatud
- keel
- suur
- viimane
- hiljemalt
- viima
- Leads
- Õppida
- õppimine
- vähem
- nagu
- Tõenäoliselt
- piirav
- nimekiri
- Pikk
- masin
- masinõpe
- säilitada
- hooldus
- juhtimine
- märgitud
- Vastama
- mai..
- vahendid
- mehhanismid
- keskmine
- vastab
- Metaandmed
- võib
- rännanud
- ML
- MLOps
- mudel
- mudelid
- muutma
- moodulid
- Jälgida
- rohkem
- tõhusam
- mitmekordne
- peab
- nimi
- Natural
- Natural Language Processing
- Vajadus
- Uus
- nlp
- märkmik
- nüüd
- number
- of
- sageli
- on
- On-Demand
- ONE
- ainult
- or
- Korraldus
- Muu
- teised
- meie
- välja
- Tulemus
- tulemusi
- üldine
- parameetrid
- osa
- tee
- jõudlus
- torujuhe
- Koht
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängimine
- osa
- post
- potentsiaal
- potentsiaalselt
- võim
- ettevalmistamine
- esitada
- esitatud
- eelmine
- varem
- Eelnev
- probleemi lahendamine
- protsess
- Protsessid
- töötlemine
- tootma
- Toode
- Produktsioon
- projektid
- ettepanek
- tingimusel
- pakkudes
- Python
- Reaalsus
- vähendama
- Registreerimine
- vabastama
- usaldusväärne
- lootma
- Hoidla
- ressurss
- Vahendid
- tulemuseks
- Tulemused
- Jätka
- rangelt
- jõuline
- jooks
- jooksmine
- jookseb
- salveitegija
- SageMakeri torujuhtmed
- sama
- Säästa
- säästmine
- Hoiused
- Skaala
- stsenaariumid
- teadus
- teadlane
- teadlased
- ulatus
- SDK
- Osa
- lõigud
- vaata
- väljavalitud
- selektiivne
- pooljuht
- teenus
- Teenused
- komplekt
- näitama
- esitlus
- märkimisväärne
- lihtsustama
- ühekordne
- jupp
- tarkvara
- tarkvaraarenduse
- Ainult
- tahkumine
- Lahendused
- mõned
- spetsialist
- konkreetse
- sport
- prožektor
- Stage
- algus
- riik
- Samm
- Sammud
- Veel
- kauplustes
- kiirendama
- stuudio
- edu
- edukas
- selline
- tabel
- kohandatud
- Võtma
- ülesanded
- meeskonnad
- terminal
- test
- Testimine
- kui
- et
- .
- oma
- SIIS
- Seal.
- seetõttu
- Need
- nad
- see
- põhjalikult
- Läbi
- aeg
- korda
- et
- töövahendid
- jälgida
- Rong
- koolitus
- Reisimine
- vallandas
- tõsi
- tüüpiline
- tüüpiliselt
- mõistmine
- avamine
- Värskendused
- ajakohastatud
- upgrade
- kasutama
- kasutage juhtumit
- Kasutaja
- Kasutajad
- kasutamine
- kasutatud
- kasutades
- kinnitamine
- väärtus
- Väärtused
- eri
- kontrollima
- versioon
- nägemus
- läbikäiguks
- tahan
- tahab
- kuidas
- we
- web
- veebiteenused
- millal
- mis
- kuigi
- will
- koos
- jooksul
- ilma
- Töö
- töötas
- töövoog
- Töövoogud
- muretsema
- oleks
- sa
- Sinu
- sephyrnet