Amazon SageMaker je popolnoma upravljana platforma strojnega učenja (ML), ki ponuja celovit nabor storitev, ki služijo delovnim obremenitvam ML od konca do konca. Kot priporoča AWS kot najboljšo prakso, so stranke uporabile ločene račune za poenostavitev upravljanja pravilnikov za uporabnike in izolacijo virov po delovnih obremenitvah in računih. Vendar ko več uporabnikov in skupin uporablja platformo ML v oblaku, postane spremljanje velikih delovnih obremenitev ML v skaliranem okolju z več računi večji izziv. Za boljšo opazljivost stranke iščejo rešitve za spremljanje uporabe virov med računi in sledenje dejavnostim, kot sta zagon in stanje izvajanja opravila, kar je bistvenega pomena za njihove zahteve upravljanja in upravljanja strojnega pisanja.
Storitve SageMaker, kot so Processing, Training in Hosting, zbirajo meritve in dnevnike iz delujočih primerkov ter jih pošiljajo uporabnikom amazoncloudwatch računi. Če si želite ogledati podrobnosti o teh opravilih v različnih računih, se morate prijaviti v vsak račun, poiskati ustrezna opravila in pogledati stanje. Ni ene same steklene plošče, ki bi zlahka prikazala te informacije o več računih in več delovnih mestih. Poleg tega mora skrbniška ekipa v oblaku posameznikom zagotoviti dostop do različnih računov za delovno obremenitev SageMaker, kar doda dodatne stroške upravljanja za skupino platforme v oblaku.
V tej objavi predstavljamo nadzorno ploščo za opazovanje med računi, ki zagotavlja centraliziran pogled za spremljanje uporabniških dejavnosti in virov SageMaker v več računih. Končnim uporabnikom in ekipi za upravljanje oblaka omogoča učinkovito spremljanje delovnih obremenitev ML, ki se izvajajo, ogled statusa teh delovnih obremenitev in sledenje različnim dejavnostim računa v določenih trenutkih. S to nadzorno ploščo vam ni treba krmariti s konzole SageMaker in klikati vsako opravilo, da bi našli podrobnosti dnevnikov opravil. Namesto tega si lahko preprosto ogledate tekoča opravila in status opravila, odpravite težave z opravili in nastavite opozorila, ko so v računih v skupni rabi odkrite težave, kot so neuspeh opravila, premalo izkoriščeni viri in drugo. Prav tako lahko nadzirate dostop do te centralizirane nadzorne plošče za nadzor ali delite nadzorno ploščo z ustreznimi organi za potrebe revizije in upravljanja.
Pregled rešitve
Ta rešitev je zasnovana tako, da omogoča centralizirano spremljanje opravil in dejavnosti SageMaker v okolju z več računi. Rešitev je zasnovana tako, da ni odvisna od AWS organizacije, vendar ga je mogoče zlahka sprejeti v organizacije oz Nadzorni stolp AWS okolju. Ta rešitev lahko operacijski ekipi pomaga imeti pregled na visoki ravni nad vsemi delovnimi obremenitvami SageMaker, razporejenimi po več računih delovnih obremenitev iz enega samega podokna. Ima tudi možnost omogočiti Opazljivost med računi CloudWatch prek računov delovne obremenitve SageMaker za zagotavljanje dostopa do nadzornih telemetrij, kot so metrike, dnevniki in sledi iz centraliziranega računa za spremljanje. Primer nadzorne plošče je prikazan na naslednjem posnetku zaslona.
Naslednji diagram prikazuje arhitekturo te centralizirane rešitve nadzorne plošče.
SageMaker ima domačo integracijo z Amazon EventBridge, ki spremlja dogodke spremembe stanja v SageMakerju. EventBridge vam omogoča, da avtomatizirate SageMaker in se samodejno odzovete na dogodke, kot je sprememba statusa delovnega mesta za usposabljanje ali sprememba statusa končne točke. Dogodki iz SageMakerja so dostavljeni v EventBridge v skoraj realnem času. Za več informacij o dogodkih SageMaker, ki jih spremlja EventBridge, glejte Avtomatizacija Amazon SageMaker z Amazon EventBridge. Poleg domačih dogodkov SageMaker, AWS CloudTrail objavlja dogodke, ko izvajate klice API-ja, ki se prav tako pretakajo v EventBridge, tako da jih lahko uporabijo številni primeri uporabe avtomatizacije ali spremljanja na nižji stopnji. V naši rešitvi uporabljamo pravila EventBridge v računih delovne obremenitve za pretakanje dogodkov storitve SageMaker in dogodkov API-ja v vodilo dogodkov nadzornega računa za centralizirano spremljanje.
V centraliziranem računu za spremljanje so dogodki zajeti s pravilom EventBridge in nadalje obdelani v različne cilje:
- Dnevniška skupina CloudWatch za uporabo za naslednje:
- Revizijski in arhivski nameni. Za več informacij glejte Uporabniški priročnik za Amazon CloudWatch Logs.
- Analiziranje dnevniških podatkov z CloudWatch Log Insights poizvedbe. CloudWatch Logs Insights vam omogoča interaktivno iskanje in analizo vaših dnevniških podatkov v CloudWatch Logs. Izvajate lahko poizvedbe, ki vam pomagajo učinkoviteje in uspešneje odgovoriti na operativne težave. Če pride do težave, lahko uporabite CloudWatch Logs Insights, da prepoznate morebitne vzroke in preverite uvedene popravke.
- Podpora za pripomoček za poizvedbo CloudWatch Metrics Insights za operacije na visoki ravni na nadzorni plošči CloudWatch, dodajanje poizvedbe CloudWatch Insights na nadzorne plošče in izvoz rezultatov poizvedbe.
- An AWS Lambda funkcijo za dokončanje naslednjih nalog:
- Izvedite logiko po meri za povečanje dogodkov storitve SageMaker. En primer je izvedba metrične poizvedbe na metrikah uporabe gostitelja opravila SageMaker, ko je prejet dogodek dokončanja opravila.
- Pretvorite informacije o dogodku v meritve v določenih oblikah dnevnika, kot so zaužiti EMF dnevniki. Za več informacij glejte Vdelava meritev v dnevnike.
Primer v tej objavi je podprt z domačim Opazljivost med računi CloudWatch funkcija za doseganje meritev med računi, dnevnikov in dostopa do sledenja. Kot je prikazano na dnu diagrama arhitekture, se integrira s to funkcijo, da omogoči meritve in dnevnike med računi. Da bi to omogočili, je treba ustvariti potrebna dovoljenja in vire v računih za spremljanje in računih izvorne delovne obremenitve.
To rešitev lahko uporabite za račune AWS, ki jih upravljajo organizacije, ali samostojne račune. Naslednji razdelki pojasnjujejo korake za vsak scenarij. Upoštevajte, da se znotraj vsakega scenarija koraki izvajajo v različnih računih AWS. Za vaše udobje je vrsta računa za izvedbo koraka označena na začetku vsakega koraka.
Predpogoji
Pred začetkom tega postopka klonirajte našo izvorno kodo iz GitHub repo v vašem lokalnem okolju oz AWS Cloud9. Poleg tega potrebujete naslednje:
Razmestite rešitev v okolju organizacije
Če so nadzorni račun in vsi računi delovne obremenitve SageMaker vsi v isti organizaciji, se zahtevana infrastruktura v izvornih računih delovne obremenitve ustvari samodejno prek Oblikovanje oblaka AWS StackSet iz računa upravljanja organizacije. Zato ni potrebna ročna uvedba infrastrukture v izvorne račune delovne obremenitve. Ko je ustvarjen nov račun ali je obstoječi račun premaknjen v ciljno organizacijsko enoto (OU), bo izvorni infrastrukturni sklad delovne obremenitve samodejno uveden in vključen v obseg centraliziranega nadzora.
Nastavite spremljanje virov računa
Za nastavitev virov računa za spremljanje moramo zbrati naslednje podatke o računu AWS, ki jih bomo kasneje uporabili kot vnose za namestitveni skript.
vhod | Opis | Primer |
Domača regija | Regija, kjer potekajo delovne obremenitve. | ap-southeast-2 |
Ime profila AWS CLI računa za spremljanje | Ime profila najdete na ~/.aws/config . To ni obvezno. Če ni naveden, uporablja privzete poverilnice AWS iz verige. |
. |
Pot delovne enote SageMaker | Pot OU, ki ima račune delovne obremenitve SageMaker. Obdrži / na koncu poti. |
o-1a2b3c4d5e/r-saaa/ou-saaa-1a2b3c4d/ |
Če želite pridobiti pot OU, lahko greste na konzolo Organizacije in pod Računi AWS, poiščite informacije za izdelavo poti OU. Za naslednji primer je ustrezna pot OU o-ye3wn3kyh6/r-taql/ou-taql-wu7296by/
.
Ko pridobite te informacije, zaženite naslednji ukaz za razmestitev zahtevanih virov v računu za spremljanje:
Z razmestitvijo lahko dobite naslednje rezultate. Zabeležite si rezultate, ki jih boste uporabili v naslednjem koraku pri uvajanju sklada računa za upravljanje.
Nastavite vire računa za upravljanje
Za nastavitev virov računa za upravljanje moramo zbrati naslednje podatke o računu AWS, ki jih pozneje uporabimo kot vnose za namestitveni skript.
vhod | Opis | Primer |
Domača regija | Regija, kjer potekajo delovne obremenitve. To mora biti enako kot nadzorni sklad. | ap-southeast-2 |
Ime profila AWS CLI računa za upravljanje | Ime profila najdete na ~/.aws/config . To ni obvezno. Če ni naveden, uporablja privzete poverilnice AWS iz verige. |
. |
ID delovne enote SageMaker OU | Tukaj uporabljamo samo ID OU, ne poti. | ou-saaa-1a2b3c4d |
ID računa za spremljanje | ID računa, v katerega je razporejen nadzorni sklad. | . |
Ime vloge računa za spremljanje | Izhod za MonitoringAccountRoleName iz prejšnjega koraka. |
. |
Vodilo dogodkov spremljanja računa ARN | Izhod za MonitoringAccountEventbusARN iz prejšnjega koraka. |
. |
Spremljanje identifikatorja ponora računa | Izhod iz MonitoringAccountSinkIdentifier iz prejšnjega koraka. |
. |
Vire računa za upravljanje lahko razmestite tako, da zaženete naslednji ukaz:
Razmestite rešitev v okolju, ki ni v organizaciji
Če vaše okolje ne uporablja organizacij, je sklad infrastrukture računa za spremljanje uveden na podoben način, vendar z nekaj spremembami. Vendar je treba infrastrukturni sklad delovne obremenitve razmestiti ročno v vsak račun delovne obremenitve. Zato je ta način primeren za okolje z omejenim številom računov. Za veliko okolje je priporočljivo razmisliti o uporabi organizacij.
Nastavite spremljanje virov računa
Za nastavitev virov računa za spremljanje moramo zbrati naslednje podatke o računu AWS, ki jih bomo kasneje uporabili kot vnose za namestitveni skript.
vhod | Opis | Primer |
Domača regija | Regija, kjer potekajo delovne obremenitve. | ap-southeast-2 |
Seznam računov delovne obremenitve SageMaker | Seznam računov, ki izvajajo delovno obremenitev SageMaker in pretakajo dogodke v nadzorni račun, ločenih z vejicami. | 111111111111,222222222222 |
Ime profila AWS CLI računa za spremljanje | Ime profila najdete na ~/.aws/config . To ni obvezno. Če ni naveden, uporablja privzete poverilnice AWS iz verige. |
. |
Vire računa za spremljanje lahko uvedemo tako, da zaženemo naslednji ukaz, ko zberemo potrebne informacije:
Ko je uvedba končana, dobimo naslednje rezultate. Zabeležite si rezultate, ki jih boste uporabili v naslednjem koraku pri uvajanju sklada računa za upravljanje.
Nastavite infrastrukturo za spremljanje računa delovne obremenitve
Za nastavitev infrastrukture za spremljanje računa delovne obremenitve moramo zbrati naslednje podatke o računu AWS, ki jih bomo pozneje uporabili kot vhodne podatke za namestitveni skript.
vhod | Opis | Primer |
Domača regija | Regija, kjer potekajo delovne obremenitve. To mora biti enako kot nadzorni sklad. | ap-southeast-2 |
ID računa za spremljanje | ID računa, v katerega je razporejen nadzorni sklad. | . |
Ime vloge računa za spremljanje | Izhod za MonitoringAccountRoleName iz prejšnjega koraka. |
. |
Vodilo dogodkov spremljanja računa ARN | Izhod za MonitoringAccountEventbusARN iz prejšnjega koraka. |
. |
Spremljanje identifikatorja ponora računa | Izhod iz MonitoringAccountSinkIdentifier iz prejšnjega koraka. |
. |
Ime profila AWS CLI računa delovne obremenitve | Ime profila najdete na ~/.aws/config . To ni obvezno. Če ni naveden, uporablja privzete poverilnice AWS iz verige. |
. |
Vire računa za spremljanje lahko uvedemo tako, da zaženemo naslednji ukaz:
Vizualizirajte naloge ML na nadzorni plošči CloudWatch
Če želite preveriti, ali rešitev deluje, moramo zagnati več opravil obdelave SageMaker in izobraževalnih opravil SageMaker na računih delovne obremenitve, ki smo jih uporabili v prejšnjih razdelkih. Nadzorno ploščo CloudWatch je mogoče prilagoditi glede na vaše scenarije. Naša vzorčna nadzorna plošča je sestavljena iz pripomočkov za vizualizacijo opravil SageMaker Processing in opravil SageMaker Training. Vsa opravila za spremljanje računov delovne obremenitve so prikazana na tej nadzorni plošči. Pri vsaki vrsti opravila prikažemo tri gradnike, ki so skupno število opravil, število neuspešnih opravil in podrobnosti vsakega opravila. V našem primeru imamo dva računa delovne obremenitve. Na tej nadzorni plošči lahko preprosto ugotovimo, da ima en račun za delovno obremenitev opravila obdelave in opravila usposabljanja, drug račun za delovno obremenitev pa samo opravila usposabljanja. Tako kot pri funkcijah, ki jih uporabljamo v CloudWatchu, lahko nastavimo interval osveževanja, določimo vrsto grafa in povečamo ali pomanjšamo ali pa izvedemo dejanja, kot je prenos dnevnikov v datoteki CSV.
Prilagodite svojo nadzorno ploščo
Rešitev, ki je na voljo v repo GitHub, vključuje opravilo usposabljanja SageMaker in spremljanje opravila obdelave SageMaker. Če želite dodati več nadzornih plošč za spremljanje drugih opravil SageMaker, kot so opravila paketnega preoblikovanja, lahko sledite navodilom v tem razdelku, da prilagodite svojo nadzorno ploščo. S spreminjanjem datoteka index.py, lahko prilagodite polja, ki jih želite prikazati na nadzorni plošči. Do vseh podrobnosti, ki jih zajame CloudWatch, lahko dostopate prek EventBridge. V funkciji Lambda lahko izberete potrebna polja, ki jih želite prikazati na nadzorni plošči. Oglejte si naslednjo kodo:
Če želite prilagoditi nadzorno ploščo ali pripomočke, lahko spremenite izvorno kodo v Monitoring-account-infra-stack.ts datoteka. Upoštevajte, da morajo biti imena polj, ki jih uporabljate v tej datoteki, enaka tistim (ključi job_detail
), definiran v datoteki Lambda:
Ko spremenite nadzorno ploščo, morate to rešitev ponovno namestiti iz nič. Zaženete lahko prenosni računalnik Jupyter, ki je na voljo v repo GitHub, da znova zaženete cevovod SageMaker, ki bo znova zagnal opravila SageMaker Processing. Ko so opravila končana, lahko odprete konzolo CloudWatch in pod Armaturnih plošč v podoknu za krmarjenje izberite Nadzorne plošče po meri. Nadzorno ploščo lahko najdete z imenom SageMaker-Monitoring-Dashboard.
Čiščenje
Če te nadzorne plošče po meri ne potrebujete več, lahko počistite vire. Če želite izbrisati vse ustvarjene vire, uporabite kodo v tem razdelku. Čiščenje je nekoliko drugačno za okolje organizacije v primerjavi z okoljem, ki ni organizacija.
Za okolje organizacije uporabite naslednjo kodo:
Za okolje, ki ni v organizaciji, uporabite naslednjo kodo:
Lahko pa se prijavite v račun za spremljanje, račun za delovno obremenitev in račun za upravljanje izbrišite sklade iz konzole CloudFormation.
zaključek
V tej objavi smo razpravljali o izvajanju centralizirane rešitve za spremljanje in poročanje za SageMaker z uporabo CloudWatch. Če sledite navodilom po korakih, opisanim v tej objavi, lahko ustvarite nadzorno ploščo za spremljanje več računov, ki prikazuje ključne meritve in združuje dnevnike, povezane z njihovimi različnimi opravili SageMaker iz različnih računov v realnem času. S to centralizirano nadzorno ploščo lahko bolje vidite dejavnosti opravil SageMaker v več računih, hitreje odpravite težave in sprejemate odločitve na podlagi podatkov v realnem času. Na splošno implementacija centralizirane rešitve za spremljanje in poročanje z uporabo storitve CloudWatch nudi organizacijam učinkovit način za upravljanje svoje infrastrukture ML v oblaku in uporabe virov.
Preizkusite rešitev in nam pošljite povratne informacije bodisi v forum AWS za Amazon SageMaker, ali prek vaših običajnih stikov AWS.
Če želite izvedeti več o funkciji opazovanja med računi, si oglejte spletni dnevnik Opazljivost med računi Amazon CloudWatch
O avtorjih
Jie Dong je AWS Cloud Architect s sedežem v Sydneyju v Avstraliji. Jie je navdušen nad avtomatizacijo in rad razvija rešitve, ki strankam pomagajo izboljšati produktivnost. Sistem, ki temelji na dogodkih, in okvir brez strežnika sta njegovo strokovno znanje. V svojem času se Jie rad ukvarja z gradnjo pametnega doma in raziskuje nove pripomočke za pametni dom.
Melanie Li, PhD, je višji strokovnjak za AI/ML TAM pri AWS s sedežem v Sydneyju v Avstraliji. Pomaga poslovnim strankam zgraditi rešitve z uporabo najsodobnejših orodij AI/ML na AWS in zagotavlja smernice za arhitekturo in implementacijo rešitev ML z najboljšimi praksami. V prostem času rada raziskuje naravo in preživlja čas z družino in prijatelji.
Gordon Wang, je višji strokovnjak za AI/ML TAM pri AWS. Podpira strateške stranke z najboljšimi praksami AI/ML v številnih panogah. Navdušuje ga računalniški vid, NLP, Generative AI in MLOps. V prostem času rad teče in planinari.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Avtomobili/EV, Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- ChartPrime. Izboljšajte svojo igro trgovanja s ChartPrime. Dostopite tukaj.
- BlockOffsets. Posodobitev okoljskega offset lastništva. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/machine-learning/build-a-centralized-monitoring-and-reporting-solution-for-amazon-sagemaker-using-amazon-cloudwatch/
- :ima
- : je
- :ne
- :kje
- $GOR
- 100
- 11
- 12
- 17
- 24
- 7
- 8
- 9
- a
- O meni
- dostop
- Račun
- računi
- Doseči
- čez
- dejavnosti
- dejavnosti
- dodajte
- dodajanje
- Poleg tega
- Dodatne
- Poleg tega
- Dodaja
- admin
- sprejet
- po
- spet
- proti
- AI
- AI / ML
- Opozorila
- vsi
- omogoča
- Prav tako
- Amazon
- Amazon SageMaker
- Amazon Web Services
- an
- analizirati
- in
- Še ena
- API
- Arhitektura
- Arhiv
- SE
- AS
- At
- revidiranje
- Avstralija
- Organi
- avtomatizirati
- samodejno
- Avtomatizacija
- AWS
- nazaj
- temeljijo
- BE
- postane
- Začetek
- BEST
- najboljše prakse
- Boljše
- Blog
- tako
- Bottom
- izgradnjo
- Building
- avtobus
- vendar
- by
- poziva
- CAN
- Lahko dobiš
- Zajeto
- primeri
- vzroki
- centralizirano
- nekatere
- verige
- izziv
- spremenite
- Spremembe
- preveriti
- Izberite
- klik
- Cloud
- Platforma v oblaku
- Koda
- zbiranje
- dokončanje
- dokončanje
- celovito
- računalnik
- Računalniška vizija
- Razmislite
- vsebuje
- Konzole
- Konsolidacije
- gradnjo
- kontakti
- ozadje
- nadzor
- udobje
- Ustrezno
- ustvarjajo
- ustvaril
- Mandatno
- Cross
- po meri
- stranka
- Stranke, ki so
- prilagodljiv
- prilagodite
- Armaturna plošča
- nadzorne plošče
- datum
- odločitve
- privzeto
- opredeljen
- dostavi
- Odvisnost
- razporedi
- razporejeni
- uvajanja
- uvajanje
- zasnovan
- Podatki
- Podrobnosti
- Razvoj
- drugačen
- razpravljali
- zaslon
- prikazano
- prikazovalniki
- Ne
- dont
- prenesi
- trajanje
- e
- vsak
- enostavno
- učinkovito
- učinkovite
- učinkovito
- bodisi
- omogočajo
- omogoča
- konec
- konec koncev
- Končna točka
- Podjetje
- okolje
- bistvena
- Event
- dogodki
- Primer
- Razen
- izvršiti
- obstoječih
- strokovno znanje
- Pojasnite
- raziskuje
- izraz
- ni uspelo
- ne
- Napaka
- false
- družina
- Feature
- povratne informacije
- Nekaj
- Polje
- Področja
- file
- filter
- Najdi
- sledi
- po
- za
- Forum
- Okvirni
- prijatelji
- iz
- v celoti
- funkcija
- funkcije
- nadalje
- Poleg tega
- Pripomočki
- generativno
- Generativna AI
- dobili
- GitHub
- steklo
- Go
- upravljanje
- graf
- skupina
- Navodila
- Imajo
- he
- višina
- pomoč
- Pomaga
- jo
- na visoki ravni
- Poudarjeno
- njegov
- zgodovina
- Domov
- gostitelj
- gostovanje
- Vendar
- HTML
- http
- HTTPS
- ID
- identificirati
- identificirati
- if
- Izvajanje
- izvajanja
- izboljšanje
- in
- vključeno
- vključuje
- posamezniki
- industrij
- Podatki
- obvestila
- Infrastruktura
- vhodi
- vpogledi
- Namesto
- Navodila
- Integrira
- integracija
- v
- vprašanje
- Vprašanja
- IT
- Job
- Delovna mesta
- jpg
- samo
- Imejte
- Ključne
- tipke
- label
- velika
- pozneje
- kosilo
- UČITE
- učenje
- levo
- Limited
- Seznam
- lokalna
- prijavi
- Logika
- več
- Poglej
- si
- ljubi
- stroj
- strojno učenje
- Znamka
- upravljanje
- upravlja
- upravljanje
- upravljanje Team
- Način
- Navodilo
- ročno
- več
- Metoda
- meritev
- Meritve
- ML
- MLOps
- spremenite
- monitor
- spremljati
- spremljanje
- monitorji
- več
- premaknjeno
- več
- Ime
- Imenovan
- Imena
- materni
- Narava
- Krmarjenje
- ostalo
- potrebno
- Nimate
- potrebe
- Novo
- Naslednja
- nlp
- št
- Noben
- prenosnik
- Številka
- of
- Ponudbe
- on
- ONE
- samo
- Delovanje
- operativno
- operacije
- Možnost
- or
- Organizacija
- organizacijsko
- organizacije
- Ostalo
- naši
- ven
- opisano
- izhod
- Splošni
- lastne
- podokno
- parametri
- strastno
- pot
- Izvedite
- opravljeno
- izvajati
- Dovoljenja
- Dr.
- plinovod
- platforma
- platon
- Platonova podatkovna inteligenca
- PlatoData
- prosim
- točke
- politika
- Prispevek
- potencial
- vaje
- predstaviti
- prejšnja
- postopek
- Predelano
- obravnavati
- produktivnost
- profil
- zagotavljajo
- če
- zagotavlja
- Objavlja
- namene
- Push
- poizvedbe
- hitro
- pravo
- v realnem času
- podatki v realnem času
- prejetih
- priporočeno
- okolica
- povezane
- pomembno
- Poročanje
- obvezna
- Zahteve
- vir
- viri
- Odzove
- Rezultati
- Pravica
- vloga
- Pravilo
- pravila
- Run
- tek
- sagemaker
- Enako
- skaliranje
- Scenarij
- scenariji
- Obseg
- praska
- Iskalnik
- Oddelek
- oddelki
- glej
- pošljite
- višji
- ločena
- služijo
- Brez strežnika
- Storitev
- Storitve
- nastavite
- nastavitev
- Delite s prijatelji, znanci, družino in partnerji :-)
- deli
- je
- shouldnt
- Prikaži
- pokazale
- Razstave
- Podoben
- poenostavitev
- sam
- nekoliko drugačen
- pametna
- Pameten dom
- So
- Rešitev
- rešitve
- vir
- Izvorna koda
- specialist
- preživeti
- namaz
- sveženj
- zloženi
- Skladovnice
- samostojna
- Začetek
- state-of-the-art
- Status
- Korak
- Koraki
- Strateško
- tok
- tokovi
- taka
- primerna
- Podprti
- Podpira
- sydney
- sistem
- miza
- ciljna
- Cilji
- Naloge
- skupina
- Skupine
- da
- O
- Graf
- informacije
- Vir
- njihove
- Njih
- Tukaj.
- zato
- te
- ta
- tisti,
- 3
- skozi
- čas
- Naslov
- do
- orodja
- Skupaj za plačilo
- Trace
- sledenje
- usposabljanje
- Transform
- Res
- poskusite
- dva
- tip
- pod
- Nepričakovana
- Enota
- us
- Uporaba
- uporaba
- Rabljeni
- uporabnik
- Uporabniki
- uporablja
- uporabo
- uporablja
- POTRDI
- vrednost
- različnih
- preko
- Poglej
- vidljivost
- Vizija
- vs
- želeli
- način..
- we
- web
- spletne storitve
- Kaj
- kdaj
- ki
- širina
- bo
- z
- v
- delo
- deluje
- Vi
- Vaša rutina za
- zefirnet
- zoom