See ajaveebi postitus on kirjutatud koos Caroline Chungiga ettevõttest Veoneer.
Veoneer on ülemaailmne autoelektroonikaettevõte ja maailma juhtiv autode elektrooniliste ohutussüsteemide tootja. Nad pakuvad oma klassi parimaid turvasüsteemide juhtimissüsteeme ning on tarninud autotootjatele üle 1 miljardi elektroonilise juhtseadme ja kokkupõrkeanduri. Ettevõte jätkab tuginemist 70-aastasele autoohutuse arendamise ajaloole, olles spetsialiseerunud tipptasemel riistvarale ja süsteemidele, mis ennetavad liiklusjuhtumeid ja leevendavad õnnetusi.
Autode salongisisene andur (ICS) on arenev ruum, mis kasutab ohutuse ja sõidukogemuse parandamiseks mitut tüüpi andurite (nt kaamerad ja radarid) kombinatsiooni ning tehisintellektil (AI) ja masinõppel (ML) põhinevaid algoritme. Sellise süsteemi loomine võib olla keeruline ülesanne. Arendajad peavad koolituse ja testimise eesmärgil käsitsi märkima suuri pilte. See on väga aeganõudev ja ressursimahukas. Sellise ülesande täitmise aeg on mitu nädalat. Lisaks peavad ettevõtted tegelema selliste probleemidega nagu inimlike vigade tõttu ebajärjekindlad sildid.
AWS on keskendunud sellele, et aidata teil täiustatud analüütika, näiteks ML abil, suurendada arenduskiirust ja vähendada selliste süsteemide ehitamise kulusid. Meie visioon on kasutada ML-i automatiseeritud annoteerimiseks, võimaldades ohutusmudelite ümberõpet ning tagada järjepidevad ja usaldusväärsed jõudlusnäitajad. Selles postituses jagame, kuidas, tehes koostööd Amazoni ülemaailmse spetsialistide organisatsiooniga ja Generatiivne AI innovatsioonikeskus, töötasime välja aktiivse õppimise torustiku salongisiseste kujutiste peapiirdekastide ja võtmepunktide märkuste jaoks. Lahendus vähendab kulusid üle 90%, kiirendab annotatsiooniprotsessi nädalatelt tundideni ja võimaldab sarnaste ML-andmete märgistamise ülesannete korduskasutamist.
Lahenduse ülevaade
Aktiivõpe on ML-lähenemine, mis hõlmab iteratiivset protsessi kõige informatiivsemate andmete valimiseks ja märkimiseks mudeli koolitamiseks. Võttes arvesse väikest märgistatud andmete kogumit ja suurt hulka märgistamata andmeid, parandab aktiivne õpe mudeli jõudlust, vähendab sildistamise pingutust ja integreerib tugevate tulemuste saavutamiseks inimeste teadmisi. Selles postituses loome AWS-i teenustega piltide märkuste jaoks aktiivse õppekanali.
Järgmine diagramm näitab meie aktiivse õppekava üldist raamistikku. Märgistuskonveier võtab pilte Amazoni lihtne salvestusteenus (Amazon S3) ämber ja väljastab ML-mudelite ja inimteadmiste koostöös kommenteeritud kujutised. Koolituskonveier eeltöötleb andmeid ja kasutab neid ML-mudelite koolitamiseks. Esialgne mudel on seadistatud ja koolitatud väikese käsitsi märgistatud andmete kogumi põhjal ning seda kasutatakse märgistamise protsessis. Märgistuskonveieri ja koolituskonveieri saab mudeli jõudluse parandamiseks järk-järgult itereerida rohkem märgistatud andmetega.
Märgistustorustikus on an Amazon S3 sündmuste teatis käivitatakse, kui märgistamata andmesalve S3 ämbrisse tuleb uus piltide partii, mis aktiveerib märgistamiskonveieri. Mudel loob järeldustulemused uute piltide kohta. Kohandatud otsustusfunktsioon valib andmete osad järelduste usaldusskoori või muude kasutaja määratud funktsioonide põhjal. Need andmed koos järeldustulemustega saadetakse inimese märgistamistöö jaoks Amazon SageMaker Ground Truth torujuhtme poolt loodud. Inimese märgistamise protsess aitab andmetele märkmeid teha ja muudetud tulemused kombineeritakse ülejäänud automaatse annotatsiooniga andmetega, mida saab hiljem koolituskonveier kasutada.
Mudeli ümberõpe toimub koolitustorustikus, kus kasutame mudeli ümberõpetamiseks inimmärgistatud andmeid sisaldavat andmekogumit. Manifestifail koostatakse, et kirjeldada, kus failid on salvestatud, ja sama algmudel õpetatakse ümber uutele andmetele. Pärast ümberõpet asendab uus mudel esialgse mudeli ja algab aktiivõppe torujuhtme järgmine iteratsioon.
Mudeli juurutamine
Nii märgistamistoru kui ka koolitustoru on kasutusele võetud AWS CodePipeline. AWS CodeBuild juurutamiseks kasutatakse eksemplare, mis on väikese andmehulga jaoks paindlik ja kiire. Kui kiirust vaja, siis kasutame Amazon SageMaker GPU eksemplaril põhinevad lõpp-punktid, et eraldada protsessi toetamiseks ja kiirendamiseks rohkem ressursse.
Mudeli ümberõppe konveieri saab käivitada, kui on olemas uus andmestik või kui mudeli jõudlus vajab parandamist. Ümberõppe konveieri üks kriitiline ülesanne on omada versioonikontrollisüsteemi nii koolitusandmete kui ka mudeli jaoks. Kuigi AWS-teenused nagu Amazon Rekognitsioon neil on integreeritud versioonikontrolli funktsioon, mis muudab konveieri juurutamise lihtsaks, kohandatud mudelid nõuavad metaandmete logimist või täiendavaid versioonikontrolli tööriistu.
Kogu töövoog rakendatakse kasutades AWS pilvearenduskomplekt (AWS CDK), et luua vajalikud AWS-i komponendid, sealhulgas järgmised.
- Kaks rolli CodePipeline'i ja SageMakeri töökohtade jaoks
- Kaks CodePipeline'i tööd, mis juhivad töövoogu
- Kaks S3 ämbrit torujuhtmete koodiartefaktide jaoks
- Üks S3-salv töö manifesti, andmekogumite ja mudelite märgistamiseks
- Eel- ja järeltöötlus AWS Lambda funktsioonid SageMaker Ground Truthi märgistamistööde jaoks
AWS CDK virnad on väga modulaarsed ja erinevate ülesannete jaoks taaskasutatavad. Koolituse, järelduskoodi ja SageMaker Ground Truthi malli saab asendada mis tahes sarnase aktiivõppe stsenaariumi jaoks.
Modellikoolitus
Mudelitreening sisaldab kahte ülesannet: pea piirdekasti annotatsioon ja inimese võtmepunktide annotatsioon. Selles jaotises tutvustame neid mõlemaid.
Pea piirdekasti märkus
Pea piirdekasti märkus on ülesanne ennustada inimese pea piirdekasti asukohta pildil. Me kasutame an Amazon Rekognitioni kohandatud sildid pea piirdekasti märkuste mudel. Järgnev märkmiku näidis pakub samm-sammult õpetust, kuidas SageMakeri kaudu Rekognitioni kohandatud siltide mudelit koolitada.
Koolituse alustamiseks peame esmalt andmed ette valmistama. Loome koolituse manifesti faili ja testandmestiku manifesti faili. Manifestifail sisaldab mitut üksust, millest igaüks on mõeldud pildi jaoks. Järgmine on manifestifaili näide, mis sisaldab pildi teed, suurust ja märkuste teavet.
Manifestifaile kasutades saame koolituse ja testimise jaoks laadida andmekogumeid Rekognitioni kohandatud siltide mudelisse. Kordasime mudelit erineva hulga treeningandmetega ja testisime seda samade 239 nähtamatu pildi peal. Selles testis on mAP_50
skoor tõusis 0.33-lt 114 treeningpildiga 0.95-ni 957 treeningpildiga. Järgmine ekraanipilt näitab lõpliku Rekognitioni kohandatud siltide mudeli jõudlusmõõdikuid, mis annab suurepärase jõudluse F1 skoori, täpsuse ja meeldetuletuse osas.
Lisaks katsetasime mudelit kinnipeetud andmekogumil, millel on 1,128 pilti. Mudel ennustab järjekindlalt täpseid piirkasti ennustusi nähtamatute andmete kohta, andes tulemuseks kõrge mAP_50
94.9%. Järgmises näites on kujutatud automaatse annotatsiooniga pilti koos peapiirdekastiga.
Põhipunktide annotatsioon
Võtmepunktide annotatsioon annab võtmepunktide asukohad, sealhulgas silmad, kõrvad, nina, suu, kael, õlad, küünarnukid, randmed, puusad ja pahkluud. Lisaks asukoha ennustamisele on selle konkreetse ülesande ennustamiseks vaja iga punkti nähtavust, mille jaoks kavandame uudse meetodi.
Põhipunktide märkimiseks kasutame a Yolo 8 Pose modell algmudelina SageMaker. Esmalt valmistame andmed ette koolituseks, sealhulgas loome Yolo nõudeid järgides sildifailid ja konfiguratsiooni .yaml-faili. Pärast andmete ettevalmistamist koolitame mudeli välja ja salvestame artefaktid, sealhulgas mudeli kaalude faili. Treenitud mudeli kaalufaili abil saame uutele piltidele märkusi teha.
Treeningu etapis kasutatakse koolituseks kõiki märgistatud punkte koos asukohtadega, sealhulgas nähtavaid ja suletud punkte. Seetõttu pakub see mudel vaikimisi prognoosi asukoha ja usaldusväärsuse. Järgmisel joonisel on 0.6 lähedal olev suur usalduslävi (peamine lävi) võimeline jagama nähtavad või suletud punktid võrreldes kaamera vaatepunktidest väljaspool. Ent ummistunud ja nähtavaid punkte usaldusväärsus ei eralda, mis tähendab, et ennustatud usaldusväärsus ei ole nähtavuse ennustamisel kasulik.
Nähtavuse prognoosimiseks tutvustame täiendavat mudelit, mis on treenitud andmestikule, mis sisaldab ainult nähtavaid punkte, välistades nii ummistunud punktid kui ka väljaspool kaamera vaatepunkte. Järgmisel joonisel on kujutatud erineva nähtavusega punktide jaotus. Nähtavaid punkte ja muid punkte saab lisamudelis eraldada. Nähtavate punktide saamiseks saame kasutada läve (lisaläve) 0.6 lähedal. Neid kahte mudelit kombineerides töötame välja meetodi asukoha ja nähtavuse ennustamiseks.
Võtmepunkti ennustab esmalt põhimudel asukoha ja põhikindlusega, seejärel saame lisamudelist täiendava usalduse prognoosi. Selle nähtavus klassifitseeritakse järgmiselt:
- Nähtav, kui selle peamine usaldus on suurem kui põhilävi ja selle lisakindlus on suurem kui lisalävi
- Suletud, kui selle peamine usaldus on suurem kui põhilävi ja selle täiendav usaldus on väiksem või võrdne lisalävega
- Väljaspool kaamera ülevaatust, kui muidu
Võtmepunktide märkimise näide on näidatud järgmisel pildil, kus tahked märgid on nähtavad punktid ja õõnsad märgid on suletud punktid. Väljaspool kaamera ülevaatuspunkte ei kuvata.
Lähtudes standardist OK MS-COCO andmestiku definitsiooni järgi on meie meetodil võimalik saavutada mAP_50 98.4% nähtamatu testandmestiku kohta. Nähtavuse osas annab meetod sama andmestiku puhul 79.2% klassifitseerimise täpsuse.
Inimeste märgistamine ja ümberõpe
Kuigi mudelid saavutavad katseandmetega suurepärase jõudluse, on uute reaalmaailma andmetega siiski võimalik vigu teha. Inimeste märgistamine on protsess nende vigade parandamiseks, et parandada mudeli jõudlust ümberõppe abil. Töötasime välja otsustusfunktsiooni, mis ühendas ML-mudelitest väljastatud usaldusväärtuse kõigi peapiirdekastide või võtmepunktide väljundiks. Me kasutame lõplikku skoori nende vigade ja sellest tulenevate halvasti märgistatud piltide tuvastamiseks, mis tuleb saata inimese märgistamisprotsessi.
Lisaks halvasti märgistatud piltidele valitakse inimeste märgistamiseks juhuslikult väike osa pilte. Need inimmärgistatud pildid lisatakse treeningkomplekti praegusesse versiooni ümberõpetamiseks, mudeli jõudluse ja üldise märkuste täpsuse parandamiseks.
Rakendamisel kasutame SageMaker Ground Truthi jaoks inimeste märgistamine protsessi. SageMaker Ground Truth pakub andmete märgistamiseks kasutajasõbralikku ja intuitiivset kasutajaliidest. Järgmisel ekraanipildil on kujutatud SageMaker Ground Truthi märgistustööd pea piirdekasti märkuste jaoks.
Järgmine ekraanipilt näitab SageMaker Ground Truthi märgistamistööd võtmepunktide märkuste jaoks.
Maksumus, kiirus ja korduvkasutatavus
Hind ja kiirus on meie lahenduse kasutamise peamised eelised võrreldes inimeste märgistamisega, nagu on näidatud järgmistes tabelites. Kasutame neid tabeleid kulude kokkuhoiu ja kiiruskiirendite esitamiseks. Kiirendatud GPU SageMaker eksemplari ml.g4dn.xlarge kasutades on 100,000 99 pildi kogu elu treenimise ja järelduste maksumus 10% väiksem kui inimese märgistamise maksumus, samas kui kiirus on olenevalt pildist 10,000–XNUMX XNUMX korda suurem kui inimese märgistusel ülesanne.
Esimene tabel võtab kokku kulutasuvuse mõõdikud.
MUDEL | mAP_50 põhineb 1,128 testpildil | Koolituse maksumus 100,000 XNUMX pildi põhjal | Järelduskulu 100,000 XNUMX pildi põhjal | Kulude vähendamine võrreldes inimeste annotatsiooniga | Järeldusaeg 100,000 XNUMX pildi põhjal | Ajakiirendus võrreldes inimese annotatsiooniga |
Äratundmispea piirdekast | 0.949 | $4 | $22 | 99% vähem | 5.5 h | Päeva |
Yolo Põhipunktid | 0.984 | $27.20 | * 10 dollarit | 99.9% vähem | protokoll | nädalat |
Järgmine tabel võtab kokku jõudlusnäitajad.
Annotatsiooniülesanne | mAP_50 (%) | Koolituse maksumus ($) | Järelduskulu ($) | Järeldusaeg |
Pea piirdekast | 94.9 | 4 | 22 | 5.5 tundi |
Võtmepunktid | 98.4 | 27 | 10 | 5 minuti |
Lisaks pakub meie lahendus sarnaste ülesannete jaoks korduvkasutatavust. Kaamera tajumise arendused muude süsteemide jaoks, nagu täiustatud juhiabisüsteem (ADAS) ja salongisisesed süsteemid, võivad samuti meie lahendust kasutusele võtta.
kokkuvõte
Selles postituses näitasime, kuidas AWS-i teenuseid kasutades luua aktiivne õppekonveier salongipiltide automaatseks märkimiseks. Näitame ML-i võimsust, mis võimaldab teil annoteerimisprotsessi automatiseerida ja kiirendada, ning raamistiku paindlikkust, mis kasutab kas AWS-i teenuste toetatud või SageMakeris kohandatud mudeleid. Amazon S3, SageMaker, Lambda ja SageMaker Ground Truth abil saate sujuvamaks muuta andmete salvestamist, märkmeid, koolitust ja juurutamist ning saavutada korduvkasutatavus, vähendades samal ajal oluliselt kulusid. Selle lahenduse rakendamisel saavad autotööstuse ettevõtted muutuda paindlikumaks ja kuluefektiivsemaks, kasutades ML-põhist täiustatud analüütikat, näiteks automaatset pildimärkimist.
Alustage juba täna ja avage oma jõud AWS teenused ja masinõpe teie auto salongis kasutatavate anduritega!
Autoritest
Yanxiang Yu on Amazon Generative AI Innovation Centeri rakendusteadlane. Üle 9-aastase tööstuslike rakenduste tehisintellekti ja masinõppelahenduste loomise kogemusega on ta spetsialiseerunud generatiivsele AI-le, arvutinägemisele ja aegridade modelleerimisele.
Tianyi Mao on Chicago piirkonnas asuva AWSi rakendusteadlane. Tal on üle 5-aastane kogemus masinõppe ja süvaõppelahenduste loomisel ning ta keskendub arvutinägemisele ja inimeste tagasiside abil õppimisele. Talle meeldib teha koostööd klientidega, et mõista nende väljakutseid ja neid lahendada, luues AWS-i teenuseid kasutades uuenduslikke lahendusi.
Yanru Xiao on rakendusteadlane Amazon Generative AI Innovation Centeris, kus ta ehitab AI/ML lahendusi klientide reaalsete äriprobleemide jaoks. Ta on töötanud mitmes valdkonnas, sealhulgas tootmises, energeetikas ja põllumajanduses. Yanru omandas doktorikraadi. arvutiteaduse erialal Old Dominioni ülikoolist.
Paul George on saavutatud tooteliider, kellel on üle 15-aastane kogemus autotehnoloogia vallas. Ta on vilunud juhtima tootehalduse, strateegia, turule mineku ja süsteemiinseneri meeskondi. Ta on kogu maailmas inkubeerinud ja turule toonud mitmeid uusi taju- ja tajutooteid. AWS-is juhib ta autonoomsete sõidukite töökoormuste strateegiat ja turuletoomist.
Caroline Chung on Veoneeri insenerijuht (omandatud Magna Internationali poolt), tal on üle 14-aastane kogemus taju- ja tajusüsteemide arendamisel. Praegu juhib ta Magna Internationalis interjööri tuvastamise eelarendusprogramme, juhtides arvutusnägemise inseneride ja andmeteadlaste meeskonda.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/build-an-active-learning-pipeline-for-automatic-annotation-of-images-with-aws-services/
- :on
- :on
- :mitte
- : kus
- $ UP
- 000
- 1
- 100
- 114
- 121
- 14
- 15 aastat
- 15%
- 16
- 2%
- 24
- 300
- 33
- 400
- 440
- 7
- 8
- 9
- 97
- 98
- a
- Võimalik
- kiirendama
- kiirendatud
- kiirendab
- kiirendus
- õnnetused
- saavutatud
- täpsus
- täpne
- Saavutada
- omandatud
- üle
- aktiveerimine
- aktiivne
- ADA-d
- lisatud
- lisamine
- Täiendavad lisad
- vilunud
- vastu võtma
- edasijõudnud
- eelised
- pärast
- väle
- põllumajandus
- AI
- AI / ML
- algoritme
- Materjal: BPA ja flataatide vaba plastik
- eraldama
- Ka
- Kuigi
- Amazon
- Amazon Web Services
- summa
- summad
- an
- analytics
- ja
- mistahes
- rakendused
- rakendatud
- lähenemine
- OLEME
- PIIRKOND
- kunstlik
- tehisintellekti
- Tehisintellekt (AI)
- AS
- abistama
- At
- auto
- automatiseerima
- Automatiseeritud
- Automaatne
- auto
- autonoomne
- AWS
- Halb
- põhineb
- BE
- muutuma
- Miljard
- Blogi
- mõlemad
- Kast
- karbid
- ehitama
- Ehitus
- Ehitab
- äri
- by
- kaamera
- Kaamerad
- CAN
- võimeline
- auto
- caroline
- keskus
- väljakutseid
- chicago
- valitud
- klassifikatsioon
- salastatud
- Cloud
- kood
- koostööd
- kombinatsioon
- kombineeritud
- kombineerimine
- tuleb
- Ettevõtted
- ettevõte
- võrreldes
- keeruline
- komponendid
- Arvutama
- arvuti
- Arvutiteadus
- Arvuti visioon
- usaldus
- konfiguratsioon
- järjepidev
- järjepidevalt
- tarbivad
- sisaldab
- pidev
- kontrollida
- koostöö
- parandada
- Maksma
- kulude kokkuhoid
- kulud
- krahh
- looma
- loodud
- loomine
- kriitiline
- Praegune
- Praegu
- tava
- Kliendid
- kohandatud
- viimase peal
- andmed
- andmete salvestamine
- andmekogumid
- tegelema
- sügav
- sügav õpe
- vaikimisi
- määratlus
- esitatud
- näitama
- Näidatud
- näitab
- Olenevalt
- lähetatud
- kasutuselevõtu
- sügavus
- kirjeldama
- Disain
- kavandatud
- arenenud
- Arendajad
- arenev
- & Tarkvaraarendus
- arenguid
- skeem
- erinev
- jaotus
- juht
- kaks
- iga
- jõupingutusi
- kumbki
- Elektrooniline
- Elektroonika
- smirgel
- võimaldab
- võimaldades
- energia
- Inseneriteadus
- Inseneride
- suurendama
- suurendamine
- tagades
- Kogu
- võrdne
- vead
- sündmus
- näide
- välja arvatud
- kiirendada
- kogemus
- teadmised
- silmad
- f1
- KIIRE
- kiiremini
- tunnusjoon
- tagasiside
- Valdkonnad
- Joonis
- fail
- Faile
- lõplik
- esimene
- Paindlikkus
- paindlik
- keskendunud
- keskendub
- Järel
- järgneb
- eest
- Raamistik
- Alates
- funktsioon
- funktsioonid
- edasi
- Pealegi
- tekitama
- teeniva
- generatiivne
- Generatiivne AI
- saama
- antud
- Globaalne
- Ülemaailmselt
- Turule minema
- GPU
- järk-järgult
- suur
- suurem
- Maa
- juhtub
- riistvara
- Olema
- he
- juhataja
- kõrgus
- aidates
- aitab
- Suur
- kõrgelt
- tema
- ajalugu
- Lahtiolekuajad
- Kuidas
- Kuidas
- aga
- HTML
- http
- HTTPS
- inim-
- identifitseerima
- if
- pilt
- pildid
- rakendada
- täitmine
- rakendatud
- rakendamisel
- paranemine
- parandab
- Paranemist
- in
- hõlmab
- Kaasa arvatud
- Suurendama
- kasvanud
- inkubeeritud
- tööstus-
- info
- informatiivne
- esialgne
- Innovatsioon
- uuenduslik
- Näiteks
- integreeritud
- Integreerib
- Intelligentsus
- interjöör
- rahvusvaheliselt
- sisse
- kehtestama
- intuitiivne
- kutsutud
- hõlmab
- küsimustes
- IT
- kirjed
- iteratsioon
- ITS
- töö
- Tööturg
- jpeg
- jpg
- Võti
- silt
- märgistamine
- Labels
- suur
- pärast
- käivitatud
- juht
- juhtivate
- Leads
- õppimine
- lahkus
- vähem
- elu
- nagu
- koormus
- liising
- kohad
- metsaraie
- vähendada
- masin
- masinõpe
- põhiline
- TEEB
- Tegemine
- juhtimine
- juht
- juhtiv
- käsitsi
- Tootjad
- tootmine
- vahendid
- Metaandmed
- meetod
- Meetrika
- vigu
- Leevendada
- ML
- mudel
- modelleerimine
- mudelid
- modifitseeritud
- rohkem
- kõige
- suu
- mitmekordne
- Lähedal
- vajalik
- Vajadus
- vaja
- vajadustele
- Uus
- järgmine
- nina
- romaan
- esemeid
- saadud
- of
- pakkuma
- Vana
- on
- ONE
- ainult
- or
- organisatsioon
- Muu
- meie
- välja
- väljund
- väljundid
- väljaspool
- üle
- üldine
- osad
- tee
- taju
- jõudlus
- torujuhe
- Platon
- Platoni andmete intelligentsus
- PlatoData
- Punkt
- võrra
- osa
- kujutavad
- võimalused
- post
- võim
- Täpsus
- ennustada
- ennustada
- prognoosimine
- ennustus
- Ennustused
- Ennustab
- Valmistama
- ettevalmistamisel
- vältida
- probleeme
- protsess
- Toodetud
- toodab
- Toode
- tootehaldus
- Toodet
- Programmid
- annab
- eesmärkidel
- radar
- päris maailm
- vähendab
- vähendamine
- vähendamine
- usaldusväärne
- ülejäänud
- asendatakse
- esindama
- nõudma
- Nõuded
- ressurss
- Vahendid
- tulenev
- Tulemused
- korduvkasutatav
- läbi
- ratsutamine
- jõuline
- rollid
- ohutus
- salveitegija
- sama
- Säästa
- Hoiused
- stsenaariumid
- teadus
- teadlane
- teadlased
- skoor
- Osa
- valides
- valib
- andur
- Saadetud
- Seeria
- Teenused
- komplekt
- mitu
- Jaga
- ta
- õlad
- näitas
- näidatud
- Näitused
- märgatavalt
- sarnane
- lihtne
- SUURUS
- väike
- tahke
- lahendus
- Lahendused
- LAHENDAGE
- Ruum
- spetsialist
- spetsialiseerunud
- spetsialiseerunud
- konkreetse
- kiirus
- Hoidla
- Stage
- standard
- algus
- alustatud
- algab
- Veel
- ladustamine
- ladustatud
- lihtne
- Strateegia
- kiirendama
- selline
- toetama
- Toetatud
- süsteem
- süsteemid
- tabel
- võtab
- Ülesanne
- ülesanded
- meeskond
- meeskonnad
- Tehnoloogiad
- šabloon
- tingimused
- test
- katsetatud
- Testimine
- kui
- et
- .
- oma
- Neile
- SIIS
- Seal.
- seetõttu
- Need
- nad
- see
- künnis
- Läbi
- aeg
- Ajaseeria
- korda
- et
- täna
- töövahendid
- ülemine
- liiklus
- Rong
- koolitatud
- koolitus
- Tõde
- juhendaja
- kaks
- tüüp
- liigid
- ui
- mõistma
- üksused
- Ülikool
- avamine
- kasutama
- Kasutatud
- kasulik
- kasutajasõbralik
- kasutusalad
- kasutamine
- kasutades
- väärtus
- sõiduk
- versioon
- Versus
- väga
- kaudu
- seisukohti
- nähtavus
- nähtav
- nägemus
- mahud
- we
- web
- veebiteenused
- nädalat
- millal
- mis
- kuigi
- kogu
- laius
- will
- koos
- töötas
- töövoog
- töö
- maailm
- ülemaailmne
- yaml
- aastat
- jah
- saagikus
- saagikus
- sa
- Sinu
- sephyrnet