Amazon Sage Maker è una piattaforma di machine learning (ML) completamente gestita che offre un set completo di servizi per carichi di lavoro ML end-to-end. COME consigliato da AWS come best practice, i clienti hanno utilizzato account separati per semplificare la gestione delle policy per gli utenti e isolare le risorse per carichi di lavoro e account. Tuttavia, quando più utenti e team utilizzano la piattaforma ML nel cloud, il monitoraggio dei grandi carichi di lavoro ML in un ambiente scalabile multi-account diventa più impegnativo. Per una migliore osservabilità, i clienti sono alla ricerca di soluzioni per monitorare l'utilizzo delle risorse su più account e tenere traccia delle attività, come l'avvio del lavoro e lo stato di esecuzione, che è essenziale per i loro requisiti di governance e gestione ML.
I servizi SageMaker, come Elaborazione, Formazione e Hosting, raccolgono metriche e registri dalle istanze in esecuzione e li inviano agli utenti Amazon Cloud Watch conti. Per visualizzare i dettagli di questi lavori in diversi account, devi accedere a ciascun account, trovare i lavori corrispondenti ed esaminare lo stato. Non esiste un singolo riquadro di vetro che possa mostrare facilmente queste informazioni su più account e multi-lavoro. Inoltre, il team di amministrazione del cloud deve fornire alle persone l'accesso a diversi account del carico di lavoro SageMaker, il che aggiunge ulteriore sovraccarico di gestione per il team della piattaforma cloud.
In questo post, presentiamo un dashboard di osservabilità su più account che fornisce una vista centralizzata per il monitoraggio delle attività e delle risorse degli utenti di SageMaker su più account. Consente agli utenti finali e al team di gestione del cloud di monitorare in modo efficiente quali carichi di lavoro ML sono in esecuzione, visualizzare lo stato di questi carichi di lavoro e risalire a diverse attività dell'account in determinati momenti. Con questa dashboard, non è necessario navigare dalla console SageMaker e fare clic su ciascun lavoro per trovare i dettagli dei registri dei lavori. Invece, puoi facilmente visualizzare i processi in esecuzione e lo stato dei processi, risolvere i problemi relativi ai processi e impostare avvisi quando vengono identificati problemi negli account condivisi, ad esempio errori di processo, risorse sottoutilizzate e altro ancora. Puoi anche controllare l'accesso a questo dashboard di monitoraggio centralizzato o condividere il dashboard con le autorità competenti per i requisiti di controllo e gestione.
Panoramica della soluzione
Questa soluzione è progettata per consentire il monitoraggio centralizzato dei lavori e delle attività di SageMaker in un ambiente con più account. La soluzione è progettata per non dipendere da Organizzazioni AWS, ma può essere adottato facilmente in un'organizzazione o Torre di controllo AWS ambiente. Questa soluzione può aiutare il team operativo ad avere una visione di alto livello di tutti i carichi di lavoro di SageMaker distribuiti su più account di carichi di lavoro da un unico pannello di controllo. Ha anche un'opzione per abilitare Osservabilità su più account di CloudWatch tra gli account del carico di lavoro SageMaker per fornire l'accesso al monitoraggio delle telemetrie come metriche, registri e tracce dall'account di monitoraggio centralizzato. Un dashboard di esempio è mostrato nello screenshot seguente.
Il diagramma seguente mostra l'architettura di questa soluzione dashboard centralizzata.
SageMaker ha un'integrazione nativa con il Amazon EventBridge, che monitora gli eventi di modifica dello stato in SageMaker. EventBridge ti consente di automatizzare SageMaker e di rispondere automaticamente a eventi come la modifica dello stato di un processo di addestramento o la modifica dello stato dell'endpoint. Gli eventi di SageMaker vengono inviati a EventBridge quasi in tempo reale. Per ulteriori informazioni sugli eventi SageMaker monitorati da EventBridge, fare riferimento a Automatizzare Amazon SageMaker con Amazon EventBridge. Oltre agli eventi nativi di SageMaker, AWS CloudTrail pubblica eventi quando effettui chiamate API, che vengono anche trasmessi a EventBridge in modo che possa essere utilizzato da molti casi d'uso di automazione o monitoraggio a valle. Nella nostra soluzione, utilizziamo le regole EventBridge negli account del carico di lavoro per trasmettere gli eventi del servizio SageMaker e gli eventi API al bus degli eventi dell'account di monitoraggio per il monitoraggio centralizzato.
Nell'account di monitoraggio centralizzato, gli eventi vengono acquisiti da una regola EventBridge e ulteriormente elaborati in diverse destinazioni:
- Un gruppo di log CloudWatch, da utilizzare per quanto segue:
- Finalità di controllo e archiviazione. Per ulteriori informazioni, consultare il Guida per l'utente di Amazon CloudWatch Logs.
- Analisi dei dati di registro con Informazioni dettagliate sui log di CloudWatch interrogazioni. CloudWatch Logs Insights ti consente di cercare e analizzare in modo interattivo i tuoi dati di log in CloudWatch Logs. Puoi eseguire query per aiutarti a rispondere in modo più efficiente ed efficace ai problemi operativi. Se si verifica un problema, puoi utilizzare CloudWatch Logs Insights per identificare le potenziali cause e convalidare le correzioni distribuite.
- Supporto per il widget query CloudWatch Metrics Insights per operazioni di alto livello nel dashboard CloudWatch, aggiunta di query CloudWatch Insights ai dashboard ed esportazione dei risultati delle query.
- An AWS Lambda funzione per completare le seguenti attività:
- Esegui la logica personalizzata per aumentare gli eventi di servizio SageMaker. Un esempio è l'esecuzione di una query sui parametri sui parametri di utilizzo dell'host del lavoro SageMaker quando viene ricevuto un evento di completamento del lavoro.
- Converti le informazioni sugli eventi in metriche in determinati formati di log come importati come EMF log. Per ulteriori informazioni, fare riferimento a Incorporamento delle metriche nei log.
L'esempio in questo post è supportato dal file native Osservabilità su più account di CloudWatch funzionalità per ottenere metriche, registri e accessi di traccia su più account. Come mostrato nella parte inferiore del diagramma dell'architettura, si integra con questa funzionalità per abilitare metriche e registri tra account. Per abilitare questa operazione, è necessario creare le autorizzazioni e le risorse necessarie sia negli account di monitoraggio che negli account del carico di lavoro di origine.
Puoi utilizzare questa soluzione per gli account AWS gestiti dalle organizzazioni o per gli account autonomi. Le sezioni seguenti illustrano i passaggi per ogni scenario. Tieni presente che all'interno di ogni scenario, i passaggi vengono eseguiti in diversi account AWS. Per tua comodità, il tipo di account per eseguire il passaggio è evidenziato all'inizio di ogni passaggio.
Prerequisiti
Prima di iniziare questa procedura, clona il nostro codice sorgente dal file Repository GitHub nel tuo ambiente locale o AWS Cloud9. Inoltre, è necessario quanto segue:
Distribuisci la soluzione in un ambiente Organizzazioni
Se l'account di monitoraggio e tutti gli account del carico di lavoro SageMaker si trovano tutti nella stessa organizzazione, l'infrastruttura richiesta negli account del carico di lavoro di origine viene creata automaticamente tramite un AWS CloudFormazione StackSet dall'account di gestione dell'organizzazione. Pertanto, non è richiesta alcuna distribuzione manuale dell'infrastruttura negli account del carico di lavoro di origine. Quando viene creato un nuovo account o un account esistente viene spostato in un'unità organizzativa (OU) di destinazione, lo stack dell'infrastruttura del carico di lavoro di origine verrà distribuito automaticamente e incluso nell'ambito del monitoraggio centralizzato.
Impostare le risorse dell'account di monitoraggio
Dobbiamo raccogliere le seguenti informazioni sull'account AWS per configurare le risorse dell'account di monitoraggio, che utilizzeremo successivamente come input per lo script di configurazione.
Ingresso | Descrizione | Esempio |
Regione di origine | La regione in cui vengono eseguiti i carichi di lavoro. | ap-southeast-2 |
Account di monitoraggio Nome profilo AWS CLI | È possibile trovare il nome del profilo da ~/.aws/config . Questo è facoltativo. Se non fornito, utilizza le credenziali AWS predefinite dalla catena. |
. |
Percorso dell'unità organizzativa del carico di lavoro SageMaker | Il percorso dell'unità organizzativa che contiene gli account del carico di lavoro SageMaker. Mantieni il / alla fine del percorso. |
o-1a2b3c4d5e/r-saaa/ou-saaa-1a2b3c4d/ |
Per recuperare il percorso dell'unità organizzativa, puoi andare alla console Organizzazioni e sotto Account AWS, trovare le informazioni per costruire il percorso dell'unità organizzativa. Per l'esempio seguente, il percorso dell'unità organizzativa corrispondente è o-ye3wn3kyh6/r-taql/ou-taql-wu7296by/
.
Dopo aver recuperato queste informazioni, eseguire il comando seguente per distribuire le risorse richieste sull'account di monitoraggio:
È possibile ottenere i seguenti output dalla distribuzione. Prendere nota degli output da usare nel passaggio successivo durante la distribuzione dello stack dell'account di gestione.
Configurare le risorse dell'account di gestione
Dobbiamo raccogliere le seguenti informazioni sull'account AWS per configurare le risorse dell'account di gestione, che utilizzeremo successivamente come input per lo script di configurazione.
Ingresso | Descrizione | Esempio |
Regione di origine | La regione in cui vengono eseguiti i carichi di lavoro. Questo dovrebbe essere lo stesso dello stack di monitoraggio. | ap-southeast-2 |
Account di gestione Nome profilo AWS CLI | È possibile trovare il nome del profilo da ~/.aws/config . Questo è facoltativo. Se non fornito, utilizza le credenziali AWS predefinite dalla catena. |
. |
ID unità organizzativa del carico di lavoro SageMaker | Qui usiamo solo l'ID OU, non il percorso. | ou-saaa-1a2b3c4d |
ID account di monitoraggio | L'ID account in cui viene distribuito lo stack di monitoraggio. | . |
Nome del ruolo dell'account di monitoraggio | L'uscita per MonitoringAccountRoleName dal passaggio precedente. |
. |
ARN del bus eventi dell'account di monitoraggio | L'uscita per MonitoringAccountEventbusARN dal passaggio precedente. |
. |
Identificatore del sink dell'account di monitoraggio | L'uscita da MonitoringAccountSinkIdentifier dal passaggio precedente. |
. |
Puoi distribuire le risorse dell'account di gestione eseguendo il seguente comando:
Distribuisci la soluzione in un ambiente diverso dalle organizzazioni
Se il tuo ambiente non usa le organizzazioni, lo stack dell'infrastruttura dell'account di monitoraggio viene distribuito in modo simile ma con alcune modifiche. Tuttavia, lo stack dell'infrastruttura del carico di lavoro deve essere distribuito manualmente in ogni account del carico di lavoro. Pertanto, questo metodo è adatto per un ambiente con un numero limitato di account. Per un ambiente di grandi dimensioni, è consigliabile prendere in considerazione l'utilizzo di Organizations.
Impostare le risorse dell'account di monitoraggio
Dobbiamo raccogliere le seguenti informazioni sull'account AWS per configurare le risorse dell'account di monitoraggio, che utilizzeremo successivamente come input per lo script di configurazione.
Ingresso | Descrizione | Esempio |
Regione di origine | La regione in cui vengono eseguiti i carichi di lavoro. | ap-southeast-2 |
Elenco degli account del carico di lavoro SageMaker | Un elenco di account che eseguono il carico di lavoro SageMaker e trasmettono eventi all'account di monitoraggio, separati da virgole. | 111111111111,222222222222 |
Account di monitoraggio Nome profilo AWS CLI | È possibile trovare il nome del profilo da ~/.aws/config . Questo è facoltativo. Se non fornito, utilizza le credenziali AWS predefinite dalla catena. |
. |
Possiamo distribuire le risorse dell'account di monitoraggio eseguendo il seguente comando dopo aver raccolto le informazioni necessarie:
Otteniamo i seguenti output quando la distribuzione è completa. Prendere nota degli output da usare nel passaggio successivo durante la distribuzione dello stack dell'account di gestione.
Configurare l'infrastruttura di monitoraggio dell'account del carico di lavoro
Dobbiamo raccogliere le seguenti informazioni sull'account AWS per configurare l'infrastruttura di monitoraggio dell'account del carico di lavoro, che utilizzeremo successivamente come input per lo script di configurazione.
Ingresso | Descrizione | Esempio |
Regione di origine | La regione in cui vengono eseguiti i carichi di lavoro. Questo dovrebbe essere lo stesso dello stack di monitoraggio. | ap-southeast-2 |
ID account di monitoraggio | L'ID account in cui viene distribuito lo stack di monitoraggio. | . |
Nome del ruolo dell'account di monitoraggio | L'uscita per MonitoringAccountRoleName dal passaggio precedente. |
. |
ARN del bus eventi dell'account di monitoraggio | L'uscita per MonitoringAccountEventbusARN dal passaggio precedente. |
. |
Identificatore del sink dell'account di monitoraggio | L'uscita da MonitoringAccountSinkIdentifier dal passaggio precedente. |
. |
Account del carico di lavoro Nome profilo AWS CLI | È possibile trovare il nome del profilo da ~/.aws/config . Questo è facoltativo. Se non fornito, utilizza le credenziali AWS predefinite dalla catena. |
. |
Possiamo distribuire le risorse dell'account di monitoraggio eseguendo il seguente comando:
Visualizza le attività di ML sulla dashboard di CloudWatch
Per verificare se la soluzione funziona, dobbiamo eseguire più processi di elaborazione SageMaker e processi di formazione SageMaker sugli account del carico di lavoro che abbiamo utilizzato nelle sezioni precedenti. Il dashboard di CloudWatch è personalizzabile in base ai tuoi scenari. La nostra dashboard di esempio è composta da widget per la visualizzazione dei lavori SageMaker Processing e SageMaker Training. Tutti i processi per il monitoraggio degli account del carico di lavoro vengono visualizzati in questo dashboard. In ogni tipo di lavoro, mostriamo tre widget, che sono il numero totale di lavori, il numero di lavori falliti e i dettagli di ogni lavoro. Nel nostro esempio, abbiamo due account del carico di lavoro. Attraverso questo dashboard, possiamo facilmente scoprire che un account del carico di lavoro ha sia lavori di elaborazione che lavori di addestramento e un altro account del carico di lavoro ha solo lavori di addestramento. Come per le funzioni che utilizziamo in CloudWatch, possiamo impostare l'intervallo di aggiornamento, specificare il tipo di grafico e ingrandire o ridurre, oppure possiamo eseguire azioni come il download dei log in un file CSV.
Personalizza la tua dashboard
La soluzione fornita nel repository GitHub include sia il processo SageMaker Training che il monitoraggio del processo SageMaker Processing. Se desideri aggiungere altri dashboard per monitorare altri lavori SageMaker, come i lavori di trasformazione in batch, puoi seguire le istruzioni in questa sezione per personalizzare il tuo dashboard. Modificando il file index.py, puoi personalizzare i campi che desideri visualizzare sulla dashboard. Puoi accedere a tutti i dettagli acquisiti da CloudWatch tramite EventBridge. Nella funzione Lambda, puoi scegliere i campi necessari che desideri visualizzare sulla dashboard. Vedere il seguente codice:
Per personalizzare la dashboard o i widget, puoi modificare il codice sorgente nel file monitoraggio-account-infra-stack.ts. Nota che i nomi dei campi che usi in questo file dovrebbero essere gli stessi di quelli (le chiavi di job_detail
) definito nel file Lambda:
Dopo aver modificato il dashboard, devi ridistribuire questa soluzione da zero. Puoi eseguire il notebook Jupyter fornito nel repository GitHub per eseguire nuovamente la pipeline SageMaker, che avvierà nuovamente i processi di elaborazione SageMaker. Quando i lavori sono terminati, puoi andare alla console CloudWatch e sotto Cruscotti nel pannello di navigazione, scegli Dashboard personalizzati. È possibile trovare la dashboard denominata SageMaker-Monitoring-Dashboard.
ripulire
Se non hai più bisogno di questa dashboard personalizzata, puoi ripulire le risorse. Per eliminare tutte le risorse create, utilizzare il codice in questa sezione. La pulizia è leggermente diversa per un ambiente Organizzazioni rispetto a un ambiente non Organizzazioni.
Per un ambiente Organizations, utilizzare il seguente codice:
Per un ambiente diverso dalle organizzazioni, utilizza il seguente codice:
In alternativa, è possibile accedere all'account di monitoraggio, all'account del carico di lavoro e all'account di gestione a eliminare gli stack dalla console CloudFormation.
Conclusione
In questo post, abbiamo discusso dell'implementazione di una soluzione centralizzata di monitoraggio e reporting per SageMaker utilizzando CloudWatch. Seguendo le istruzioni dettagliate descritte in questo post, puoi creare una dashboard di monitoraggio multi-account che mostra le metriche chiave e consolida i registri relativi ai loro vari lavori SageMaker da diversi account in tempo reale. Con questo dashboard di monitoraggio centralizzato, puoi avere una migliore visibilità delle attività dei lavori SageMaker su più account, risolvere i problemi più rapidamente e prendere decisioni informate basate su dati in tempo reale. Nel complesso, l'implementazione di una soluzione centralizzata di monitoraggio e reporting tramite CloudWatch offre alle organizzazioni un modo efficiente per gestire la propria infrastruttura ML basata su cloud e l'utilizzo delle risorse.
Prova la soluzione e inviaci il feedback, in il forum AWS per Amazon SageMakero tramite i tuoi abituali contatti AWS.
Per saperne di più sulla funzione di osservabilità su più account, fai riferimento al blog Osservabilità su più account di Amazon CloudWatch
Informazioni sugli autori
Ji Dong è un AWS Cloud Architect con sede a Sydney, in Australia. Jie è appassionata di automazione e ama sviluppare soluzioni per aiutare i clienti a migliorare la produttività. Il sistema basato sugli eventi e il framework serverless sono le sue competenze. Ai suoi tempi, Jie ama lavorare alla costruzione di una casa intelligente ed esplorare nuovi gadget per la casa intelligente.
Melania Li, PhD, è Senior AI/ML Specialist TAM presso AWS con sede a Sydney, in Australia. Aiuta i clienti aziendali a creare soluzioni utilizzando strumenti AI/ML all'avanguardia su AWS e fornisce indicazioni sull'architettura e l'implementazione di soluzioni ML con le best practice. Nel tempo libero ama esplorare la natura e trascorrere del tempo con la famiglia e gli amici.
Gordon Wang, è un TAM Senior AI/ML Specialist presso AWS. Supporta i clienti strategici con best practice AI/ML in molti settori. È appassionato di computer vision, NLP, Generative AI e MLOps. Nel tempo libero ama correre e fare escursioni.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
- PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
- PlatoneESG. Automobilistico/VE, Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
- Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
- Grafico Prime. Migliora il tuo gioco di trading con ChartPrime. Accedi qui.
- BlockOffset. Modernizzare la proprietà della compensazione ambientale. Accedi qui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/build-a-centralized-monitoring-and-reporting-solution-for-amazon-sagemaker-using-amazon-cloudwatch/
- :ha
- :È
- :non
- :Dove
- $ SU
- 100
- 11
- 12
- 17
- 24
- 7
- 8
- 9
- a
- Chi siamo
- accesso
- Il mio account
- conti
- Raggiungere
- operanti in
- azioni
- attività
- aggiungere
- l'aggiunta di
- aggiunta
- aggiuntivo
- Inoltre
- Aggiunge
- Admin
- adottato
- Dopo shavasana, sedersi in silenzio; saluti;
- ancora
- contro
- AI
- AI / ML
- Avvisi
- Tutti
- consente
- anche
- Amazon
- Amazon Sage Maker
- Amazon Web Services
- an
- analizzare
- ed
- Un altro
- api
- architettura
- Archivio
- SONO
- AS
- At
- revisione
- Australia
- Autorità
- automatizzare
- automaticamente
- Automazione
- AWS
- precedente
- basato
- BE
- diventa
- Inizio
- MIGLIORE
- best practice
- Meglio
- Blog
- entrambi
- Parte inferiore
- costruire
- Costruzione
- autobus
- ma
- by
- Bandi
- Materiale
- Può ottenere
- catturato
- casi
- cause
- centralizzata
- certo
- catena
- impegnativo
- il cambiamento
- Modifiche
- dai un'occhiata
- Scegli
- clicca
- Cloud
- cloud Platform
- codice
- raccogliere
- completamento di una
- completamento
- globale
- computer
- Visione computerizzata
- Prendere in considerazione
- consiste
- consolle
- consolida
- costruire
- contatti
- contesto
- di controllo
- comodità
- Corrispondente
- creare
- creato
- Credenziali
- Cross
- costume
- cliente
- Clienti
- personalizzabile
- personalizzare
- cruscotto
- cruscotti
- dati
- decisioni
- Predefinito
- definito
- consegnato
- Dipendenza
- schierare
- schierato
- distribuzione
- deployment
- progettato
- dettaglio
- dettagli
- sviluppare
- diverso
- discusso
- Dsiplay
- visualizzati
- display
- non
- Dont
- scaricare
- durata
- e
- ogni
- facilmente
- in maniera efficace
- efficiente
- in modo efficiente
- o
- enable
- Abilita
- fine
- da un capo all'altro
- endpoint
- Impresa
- Ambiente
- essential
- Evento
- eventi
- esempio
- Tranne
- eseguire
- esistente
- competenza
- Spiegare
- esplora
- espressione
- fallito
- in mancanza di
- Fallimento
- falso
- famiglia
- caratteristica
- feedback
- pochi
- campo
- campi
- Compila il
- filtro
- Trovare
- seguire
- i seguenti
- Nel
- Forum
- Contesto
- amici
- da
- completamente
- function
- funzioni
- ulteriormente
- Inoltre
- Gadget
- generativo
- AI generativa
- ottenere
- GitHub
- vetro.
- Go
- la governance
- grafico
- Gruppo
- guida
- Avere
- he
- altezza
- Aiuto
- aiuta
- suo
- alto livello
- Evidenziato
- il suo
- storia
- Casa
- host
- di hosting
- Tuttavia
- HTML
- http
- HTTPS
- ID
- identificato
- identificare
- if
- implementazione
- Implementazione
- competenze
- in
- incluso
- inclusi
- individui
- industrie
- informazioni
- informati
- Infrastruttura
- Ingressi
- intuizioni
- invece
- istruzioni
- Integra
- integrazione
- ai miglioramenti
- problema
- sicurezza
- IT
- Lavoro
- Offerte di lavoro
- jpg
- ad appena
- mantenere
- Le
- Tasti
- Discografica
- grandi
- dopo
- lanciare
- IMPARARE
- apprendimento
- a sinistra
- Limitato
- Lista
- locale
- ceppo
- logica
- più a lungo
- Guarda
- cerca
- ama
- macchina
- machine learning
- make
- gestire
- gestito
- gestione
- Team
- modo
- Manuale
- manualmente
- molti
- metodo
- metrico
- Metrica
- ML
- MLOp
- modificare
- Monitorare
- monitorati
- monitoraggio
- monitor
- Scopri di più
- mosso
- multiplo
- Nome
- Detto
- nomi
- nativo
- Natura
- Navigare
- Navigazione
- necessaria
- Bisogno
- esigenze
- New
- GENERAZIONE
- nlp
- no
- Nessuna
- taccuino
- numero
- of
- Offerte
- on
- ONE
- esclusivamente
- operazione
- operativa
- Operazioni
- Opzione
- or
- organizzazione
- organizzativa
- organizzazioni
- Altro
- nostro
- su
- delineato
- produzione
- complessivo
- proprio
- vetro
- parametri
- appassionato
- sentiero
- Eseguire
- eseguita
- esecuzione
- permessi
- phd
- conduttura
- piattaforma
- Platone
- Platone Data Intelligence
- PlatoneDati
- per favore
- punti
- politica
- Post
- potenziale
- pratiche
- presenti
- precedente
- procedura
- Elaborato
- lavorazione
- della produttività
- Profilo
- fornire
- purché
- fornisce
- Pubblica
- fini
- Spingi
- query
- rapidamente
- di rose
- tempo reale
- dati in tempo reale
- ricevuto
- raccomandato
- regione
- relazionato
- pertinente
- Reportistica
- necessario
- Requisiti
- risorsa
- Risorse
- Rispondere
- Risultati
- destra
- Ruolo
- Regola
- norme
- Correre
- running
- sagemaker
- stesso
- scala
- scenario
- Scenari
- portata
- graffiare
- Cerca
- Sezione
- sezioni
- vedere
- inviare
- anziano
- separato
- servire
- serverless
- servizio
- Servizi
- set
- flessibile.
- Condividi
- condiviso
- lei
- dovrebbero
- mostrare attraverso le sue creazioni
- mostrato
- Spettacoli
- simile
- semplificare
- singolo
- leggermente diversa
- smart
- Casa intelligente
- So
- soluzione
- Soluzioni
- Fonte
- codice sorgente
- specialista
- spendere
- diffondere
- pila
- impilato
- Stacks
- standalone
- Di partenza
- state-of-the-art
- Stato dei servizi
- step
- Passi
- Strategico
- ruscello
- flussi
- tale
- adatto
- supportato
- supporti
- sydney
- sistema
- tavolo
- Target
- obiettivi
- task
- team
- le squadre
- che
- I
- Il grafo
- le informazioni
- L’ORIGINE
- loro
- Li
- Là.
- perciò
- Strumenti Bowman per analizzare le seguenti finiture:
- questo
- quelli
- tre
- Attraverso
- tempo
- Titolo
- a
- strumenti
- Totale
- Traccia
- pista
- Training
- Trasformare
- vero
- prova
- seconda
- Digitare
- per
- Inaspettato
- unità
- us
- Impiego
- uso
- utilizzato
- Utente
- utenti
- usa
- utilizzando
- utilizzati
- CONVALIDARE
- APPREZZIAMO
- vario
- via
- Visualizza
- visibilità
- visione
- vs
- volere
- Modo..
- we
- sito web
- servizi web
- Che
- quando
- quale
- larghezza
- volere
- con
- entro
- Lavora
- lavori
- Tu
- Trasferimento da aeroporto a Sharm
- zefiro
- zoom