I en tid med big data og AI søger virksomheder konstant efter måder at bruge disse teknologier til at opnå en konkurrencefordel. Et af de hotteste områder inden for AI lige nu er generativ AI, og det er der god grund til. Generativ AI tilbyder kraftfulde løsninger, der flytter grænserne for, hvad der er muligt med hensyn til kreativitet og innovation. Kernen i disse banebrydende løsninger ligger en fundamentmodel (FM), en meget avanceret maskinlæringsmodel, der er fortrænet på enorme mængder data. Mange af disse grundmodeller har vist bemærkelsesværdige evner til at forstå og generere menneskelignende tekst, hvilket gør dem til et værdifuldt værktøj til en række forskellige applikationer, fra indholdsskabelse til automatisering af kundesupport.
Disse modeller er dog ikke uden deres udfordringer. De er usædvanligt store og kræver store mængder data og beregningsressourcer at træne. Derudover kan optimering af træningsprocessen og kalibrering af parametrene være en kompleks og iterativ proces, der kræver ekspertise og omhyggelig eksperimentering. Disse kan være barrierer for mange organisationer, der ønsker at bygge deres egne fundamentmodeller. For at overkomme denne udfordring overvejer mange kunder at finjustere eksisterende fundamentmodeller. Dette er en populær teknik til at justere en lille del af modelparametrene til specifikke applikationer, samtidig med at den viden, der allerede er kodet i modellen, bevares. Det giver organisationer mulighed for at bruge kraften i disse modeller og samtidig reducere de ressourcer, der kræves for at tilpasse til et specifikt domæne eller opgave.
Der er to primære tilgange til finjustering af fundamentmodeller: traditionel finjustering og parametereffektiv finjustering. Traditionel finjustering involverer opdatering af alle parametrene i den fortrænede model til en specifik downstream-opgave. På den anden side inkluderer parametereffektiv finjustering en række forskellige teknikker, der giver mulighed for tilpasning af en model uden at opdatere alle de originale modelparametre. En sådan teknik kaldes Low-rank Adaptation (LoRA). Det indebærer at tilføje små, opgavespecifikke moduler til den præ-trænede model og træne dem, mens resten af parametrene holdes fast som vist på det følgende billede.
Kilde: Generativ kunstig intelligens på AWS (O'Reilly, 2023)
LoRA har vundet popularitet for nylig af flere grunde. Det giver hurtigere træning, reducerede hukommelseskrav og muligheden for at genbruge fortrænede modeller til flere downstream-opgaver. Endnu vigtigere er, at basismodellen og adapteren kan opbevares separat og kombineres til enhver tid, hvilket gør det nemmere at opbevare, distribuere og dele finjusterede versioner. Dette introducerer dog en ny udfordring: hvordan man korrekt administrerer disse nye typer finjusterede modeller. Skal du kombinere basismodellen og adapteren eller holde dem adskilt? I dette indlæg gennemgår vi bedste praksis for styring af LoRA-finjusterede modeller på Amazon SageMaker for at løse dette spørgsmål.
Arbejder med FM'er på SageMaker Model Registry
I dette indlæg gennemgår vi et ende-til-ende eksempel på finjustering af Llama2 large language model (LLM) ved hjælp af QLoRA-metoden. QLoRA kombinerer fordelene ved parametereffektiv finjustering med 4-bit/8-bit kvantisering for yderligere at reducere de ressourcer, der kræves for at finjustere en FM til en specifik opgave eller use case. Til dette vil vi bruge den forudtrænede 7 milliarder parameter Llama2-model og finjustere den på databricks-dolly-15k-datasættet. LLM'er som Llama2 har milliarder af parametre og er fortrænede på massive tekstdatasæt. Finjustering tilpasser en LLM til en downstream-opgave ved hjælp af et mindre datasæt. Det er dog beregningsmæssigt dyrt at finjustere store modeller. Det er derfor, vi vil bruge QLoRA-metoden til at kvantisere vægtene under finjustering for at reducere disse beregningsomkostninger.
I vores eksempler finder du to notesbøger (llm-finetune-combined-with-registry.ipynb
, llm-finetune-separate-with-registry.ipynb
). Hver af dem arbejder på en anden måde til at håndtere LoRA finjusterede modeller som illustreret i følgende diagram:
- Først downloader vi den fortrænede Llama2-model med 7 milliarder parametre ved hjælp af SageMaker Studio Notebooks. LLM'er, ligesom Llama2, har vist avanceret ydeevne på NLP-opgaver (natural language processing), når de er finjusteret på domænespecifikke data.
- Dernæst finjusterer vi Llama2 på databricks-dolly-15k-datasættet ved hjælp af QLoRA-metoden. QLoRA reducerer beregningsomkostningerne ved finjustering ved at kvantisere modelvægte.
- Under finjustering integrerer vi SageMaker Experiments Plus med Transformers API for automatisk at logge metrics som gradient, tab osv.
- Vi versionerer derefter den finjusterede Llama2-model i SageMaker Model Registry ved hjælp af to tilgange:
- Opbevaring af hele modellen
- Opbevaring af adapteren og basismodellen separat.
- Endelig er vi vært for de finjusterede Llama2-modeller ved hjælp af Deep Java Library (DJL) Servering på et SageMaker Real-time slutpunkt.
I de følgende afsnit vil vi dykke dybere ned i hvert af disse trin for at demonstrere fleksibiliteten i SageMaker til forskellige LLM-arbejdsgange, og hvordan disse funktioner kan hjælpe med at forbedre driften af dine modeller.
Forudsætninger
Udfyld følgende forudsætninger for at begynde at eksperimentere med koden.
- Opret en SageMaker Studio Domain: Amazon SageMaker Studio, specifikt Studio Notebooks, bruges til at starte Llama2 finjusteringsopgaven og derefter registrere og se modeller inden for SageMaker Model Registry. SageMaker-eksperimenter bruges også til at se og sammenligne Llama2 finjusteringsjoblogs (træningstab/testtab/osv.).
- Opret en Amazon Simple Storage Service (S3)-spand: Adgang til en S3-spand til opbevaring af træningsartefakter og modelvægte er påkrævet. For instruktioner, se Oprettelse af en spand. Eksempelkoden, der bruges til dette indlæg, vil bruge SageMaker standard S3-bøtten, men du kan tilpasse den til at bruge enhver relevant S3-bøtte.
- Konfigurer modelsamlinger (IAM-tilladelser): Opdater din SageMaker-udførelsesrolle med tilladelser til ressourcegrupper som angivet under Udviklervejledning til Model Registry Collections at implementere Model Registry-gruppering ved hjælp af Model Collections.
- Accepter vilkårene og betingelserne for Llama2: Du skal acceptere slutbrugerlicensaftalen og politikken for acceptabel brug for at bruge Llama2-fundamentmodellen.
Eksemplerne er tilgængelige i GitHub repository. Notebook-filerne testes ved hjælp af Studio-notebooks, der kører på PyTorch 2.0.0 Python 3.10 GPU Optimized kernel og ml.g4dn.xlarge instanstype.
Eksperimenter plus callback-integration
Amazon SageMaker-eksperimenter lader dig organisere, spore, sammenligne og evaluere maskinlæringseksperimenter (ML) og modelversioner fra ethvert integreret udviklingsmiljø (IDE), inklusive lokale Jupyter Notebooks, ved hjælp af SageMaker Python SDK eller boto3. Det giver fleksibiliteten til at logge dine modelmetrikker, parametre, filer, artefakter, plotdiagrammer fra de forskellige metrikker, fange forskellige metadata, søge gennem dem og understøtte modelreproducerbarhed. Dataforskere kan hurtigt sammenligne ydeevnen og hyperparametrene til modelevaluering gennem visuelle diagrammer og tabeller. De kan også bruge SageMaker Experiments til at downloade de oprettede diagrammer og dele modelevalueringen med deres interessenter.
Uddannelse af LLM'er kan være en langsom, dyr og iterativ proces. Det er meget vigtigt for en bruger at spore LLM-eksperimenter i skala for at forhindre en inkonsekvent modeljusteringsoplevelse. HuggingFace Transformer API'er tillade brugere at spore målinger under træningsopgaver igennem tilbagekald. Tilbagekald er "read only" stykker kode, der kan tilpasse adfærden af træningsløkken i PyTorch Trainer, der kan inspicere træningsløkkens tilstand for fremskridtsrapportering, logning på TensorBoard eller SageMaker Experiments Plus via brugerdefineret logik (som er inkluderet som en del af denne kodebase).
Du kan importere SageMaker Experiments tilbagekaldskoden inkluderet i dette indlægs kodelager som vist i følgende kodeblok:
Dette tilbagekald vil automatisk logge følgende oplysninger ind i SageMaker Experiments som en del af træningsforløbet:
- Træningsparametre og hyperparametre
- Modeltræning og valideringstab ved Step, Epoch og Final
- Modelinput- og outputartefakter (træningsdatasæt, valideringsdatasæt, modeloutputplacering, træningsfejlfinder og mere)
Følgende graf viser eksempler på de diagrammer, du kan vise ved at bruge disse oplysninger.
Dette giver dig mulighed for nemt at sammenligne flere kørsler ved hjælp af Analyse-funktionen i SageMaker Experiments. Du kan vælge de eksperimentkørsler, du vil sammenligne, og de vil automatisk udfylde sammenligningsgrafer.
Registrer finjusterede modeller til Model Registry Collections
Modelregistersamlinger er en funktion af SageMaker Model Registry der giver dig mulighed for at gruppere registrerede modeller, der er relateret til hinanden, og organisere dem i hierarkier for at forbedre modellens synlighed i skala. Vi vil bruge Model Registry Collections til at holde styr på basismodellen og finjusterede varianter.
Fuld model kopi metode
Den første metode kombinerer basismodellen og LoRA-adapteren og gemmer den fulde finjusterede model. Følgende kode illustrerer modelsammenlægningsprocessen og gemmer den kombinerede model ved hjælp af model.save_pretrained()
.
At kombinere LoRA-adapteren og basismodellen til en enkelt modelartefakt efter finjustering har fordele og ulemper. Den kombinerede model er selvstændig og kan administreres og implementeres uafhængigt uden behov for den originale basismodel. Modellen kan spores som sin egen enhed med et versionsnavn, der afspejler basismodellen og finjusterende data. Vi kan vedtage en nomenklatur ved hjælp af base_model_name
+ finjusteret dataset_name
at organisere modelgrupperne. Eventuelt kan modelkollektioner forbinde de originale og finjusterede modeller, men det er muligvis ikke nødvendigt, da den kombinerede model er uafhængig. Følgende kodestykke viser dig, hvordan du registrerer den finjusterede model.
Du kan bruge træningsestimatoren til at registrere modellen i Model Registry.
Fra Model Registry kan du hente modelpakken og implementere denne model direkte.
Der er dog ulemper ved denne tilgang. Kombination af modellerne fører til lagerineffektivitet og redundans, da basismodellen duplikeres i hver finjusteret version. Efterhånden som modelstørrelsen og antallet af finjusterede modeller øges, øger dette eksponentielt opbevaringsbehovet. Tager man llama2 7b-modellen som eksempel, er basismodellen cirka 13 GB, og den finjusterede model er 13.6 GB. 96 % procent af modellen skal duplikeres efter hver finjustering. Derudover bliver distribution og deling af meget store modelfiler også vanskeligere og giver driftsmæssige udfordringer, da filoverførsel og administrationsomkostninger stiger med stigende modelstørrelse og finjustering af job.
Separat adapter og basismetode
Den anden metode fokuserer på adskillelse af basisvægte og adaptervægte ved at gemme dem som separate modelkomponenter og indlæse dem sekventielt under kørsel.
At spare base- og adaptervægte har fordele og ulemper i lighed med Full Model Copy-metoden. En fordel er, at det kan spare lagerplads. Basisvægtene, som er den største komponent i en finjusteret model, gemmes kun én gang og kan genbruges med andre adaptervægte, der er afstemt til forskellige opgaver. For eksempel er basisvægtene på Llama2-7B omkring 13 GB, men hver finjusteringsopgave behøver kun at opbevare omkring 0.6 GB adaptervægte, hvilket er en pladsbesparelse på 95 %. En anden fordel er, at basisvægte kan styres adskilt fra adaptervægte ved hjælp af et basisvægtmodelregister. Dette kan være nyttigt for SageMaker-domæner, der kører i en kun VPC-tilstand uden en internetgateway, da basisvægtene kan tilgås uden at skulle gå gennem internettet.
Opret modelpakkegruppe til basisvægte
Opret modelpakkegruppe til QLoRA-vægte
Følgende kode viser, hvordan man tagger QLoRA-vægte med datasættet/opgavetypen og registrerer finjusterede deltavægte i et separat modelregister og sporer deltavægtene separat.
Følgende uddrag viser en visning fra modelregistret, hvor modellerne er opdelt i basisvægte og finjusterede vægte.
Håndtering af modeller, datasæt og opgaver for hyper-personaliserede LLM'er kan hurtigt blive overvældende. SageMaker Model Registry Collections kan hjælpe dig med at gruppere relaterede modeller sammen og organisere dem i et hierarki for at forbedre modellens synlighed. Dette gør det nemmere at spore forholdet mellem basisvægte, adaptervægte og finjustering af opgavedatasæt. Du kan også skabe komplekse relationer og sammenhænge mellem modeller.
Opret en ny samling og tilføj dine basismodelvægte til denne samling
Link alle dine finjusterede LoRA Adapter Delta-vægte til denne samling efter opgave og/eller datasæt
Dette vil resultere i et samlingshierarki, som er forbundet efter model/opgavetype og det datasæt, der bruges til at finjustere basismodellen.
Denne metode til at adskille basis- og adaptermodellerne har nogle ulemper. En ulempe er kompleksiteten i implementeringen af modellen. Fordi der er to separate modelartefakter, har du brug for yderligere trin for at ompakke modellen i stedet for at implementere direkte fra Model Registry. I det følgende kodeeksempel skal du først downloade og pakke den nyeste version af basismodellen igen.
Så download og pak de seneste finjusterede LoRA-adaptervægte igen.
Da du vil bruge DJL-servering med dyb hastighed til at være vært for modellen, bør din inferensmappe se ud som følgende.
Til sidst skal du pakke den tilpassede inferenskode, basismodel og LoRA-adapter i en enkelt .tar.gz-fil til implementering.
Ryd op
Ryd op i dine ressourcer ved at følge instruktionerne i oprydningssektionen på notesbogen. Henvise til Amazon SageMaker-priser for detaljer om omkostningerne ved slutningstilfældene.
Konklusion
Dette indlæg ledte dig gennem bedste praksis for styring af LoRA-finjusterede modeller på Amazon SageMaker. Vi dækkede to hovedmetoder: at kombinere base- og adaptervægtene i én selvstændig model og adskille base- og adaptervægtene. Begge tilgange har afvejninger, men at adskille vægte hjælper med at optimere opbevaring og muliggør avancerede modelstyringsteknikker som SageMaker Model Registry Collections. Dette giver dig mulighed for at opbygge hierarkier og relationer mellem modeller for at forbedre organisering og synlighed. Vi opfordrer dig til at prøve prøvekoden på GitHub repository selv at eksperimentere med disse metoder. Efterhånden som generativ AI udvikler sig hurtigt, vil følgende bedste praksisser for modelstyring hjælpe dig med at spore eksperimenter, finde den rigtige model til din opgave og administrere specialiserede LLM'er effektivt i skala.
Referencer
Om forfatterne
James Wu er Senior AI/ML Specialist Solution Architect hos AWS. hjælpe kunder med at designe og bygge AI/ML-løsninger. James' arbejde dækker en bred vifte af ML use cases med en primær interesse i computervision, deep learning og skalering af ML på tværs af virksomheden. Inden han kom til AWS, var James arkitekt, udvikler og teknologileder i over 10 år, herunder 6 år inden for ingeniørvidenskab og 4 år i marketing- og reklamebranchen.
Pranav Murthy er AI/ML Specialist Solutions Architect hos AWS. Han fokuserer på at hjælpe kunder med at opbygge, træne, implementere og migrere maskinlæring (ML) arbejdsbelastninger til SageMaker. Han har tidligere arbejdet i halvlederindustrien med at udvikle modeller for store computervision (CV) og naturlig sprogbehandling (NLP) for at forbedre halvlederprocesser. I sin fritid nyder han at spille skak og rejse.
Mecit Gungor er en AI/ML Specialist Solution Architect hos AWS, der hjælper kunder med at designe og bygge AI/ML-løsninger i stor skala. Han dækker en bred vifte af AI/ML-brugssager for telekommunikationskunder og fokuserer i øjeblikket på Generativ AI, LLM'er og træning og slutningsoptimering. Han kan ofte findes på vandretur i ørkenen eller spille brætspil med sine venner i fritiden.
Shelbee Eigenbrode er Principal AI og Machine Learning Specialist Solutions Architect hos Amazon Web Services (AWS). Hun har været i teknologi i 24 år, der spænder over flere industrier, teknologier og roller. Hun fokuserer i øjeblikket på at kombinere sin DevOps- og ML-baggrund i MLOps-domænet for at hjælpe kunder med at levere og administrere ML-arbejdsbelastninger i stor skala. Med over 35 patenter udstedt på tværs af forskellige teknologidomæner har hun en passion for kontinuerlig innovation og brug af data til at drive forretningsresultater. Shelbee er medskaber og underviser af den praktiske datavidenskab specialisering på Coursera. Hun er også meddirektør for Women In Big Data (WiBD), kapitel i Denver. I sin fritid kan hun lide at bruge tid sammen med sin familie, venner og overaktive hunde.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
- Kilde: https://aws.amazon.com/blogs/machine-learning/model-management-for-lora-fine-tuned-models-using-llama2-and-amazon-sagemaker/
- :har
- :er
- :ikke
- :hvor
- $OP
- 10
- 100
- 11
- 12
- 13
- 15 %
- 16
- 20
- 2023
- 23
- 24
- 25
- 28
- 31
- 35 %
- 7
- 8
- 95 %
- a
- evne
- Om
- Acceptere
- acceptabel
- adgang
- af udleverede
- tværs
- tilpasning
- tilpasser
- tilføje
- tilføje
- Yderligere
- Derudover
- adresse
- vedtage
- fremskreden
- Fordel
- fordele
- Reklame
- Efter
- Aftale
- AI
- AI rigtigt
- AI / ML
- Alle
- tillade
- tillader
- allerede
- også
- Amazon
- Amazon SageMaker
- Amazon SageMaker Studio
- Amazon Simple Storage Service (S3)
- Amazon Web Services
- Amazon Web Services (AWS)
- beløb
- an
- analysere
- ,
- En anden
- enhver
- api
- applikationer
- tilgang
- tilgange
- godkendt
- cirka
- ER
- områder
- AS
- Associate
- At
- automatisk
- Automation
- til rådighed
- AWS
- tilbage
- baggrund
- barrierer
- bund
- BE
- fordi
- bliver
- bliver
- været
- adfærd
- fordele
- BEDSTE
- bedste praksis
- mellem
- Big
- Big data
- Billion
- milliarder
- Bloker
- board
- Brætspil
- både
- grænser
- bygge
- virksomhed
- men
- by
- tilbagekald
- kaldet
- CAN
- kapacitet
- fange
- forsigtig
- tilfælde
- tilfælde
- udfordre
- udfordringer
- Kapitel
- Diagrammer
- skak
- klasse
- klar
- kode
- codebase
- samling
- kollektioner
- kombinerer
- kombineret
- kombinerer
- kombinerer
- Virksomheder
- sammenligne
- sammenligning
- konkurrencedygtig
- komplekse
- kompleksitet
- komponent
- komponenter
- beregning
- beregningsmæssige
- computer
- Computer Vision
- betingelser
- Overvejer
- indhold
- indholdsskabelse
- løbende
- kontinuerlig
- Core
- Koste
- kunne
- dækket
- Dækker
- skabe
- oprettet
- skabelse
- kreativitet
- For øjeblikket
- skik
- kunde
- Kunde support
- Kunder
- tilpasning
- tilpasse
- banebrydende
- data
- datalogi
- datasæt
- dyb
- dyb læring
- dybere
- Standard
- den
- levere
- Delta
- demonstrere
- Denver
- indsætte
- indsat
- implementering
- implementering
- Design
- detaljer
- Udvikler
- udvikling
- Udvikling
- forskellige
- svært
- direkte
- Skærm
- distribuere
- distribution
- dyk
- domæne
- Domæner
- downloade
- ulemper
- køre
- i løbet af
- hver
- lettere
- nemt
- Edge
- effektiv
- effektivt
- andet
- smergel
- muliggør
- tilskynde
- ende til ende
- Endpoint
- Engineering
- Enterprise
- enhed
- Miljø
- epoke
- Era
- etc.
- evaluere
- evaluering
- eksempel
- eksempler
- undtagelsesvis
- udførelse
- eksisterende
- dyrt
- erfaring
- eksperiment
- eksperimenter
- ekspertise
- eksponentielt
- Ansigtet
- Manglende
- familie
- hurtigere
- Feature
- Funktionalitet
- File (Felt)
- Filer
- Finde
- ende
- Fornavn
- fast
- Fleksibilitet
- fokuserer
- fokusering
- efter
- Til
- fundet
- Foundation
- Gratis
- venner
- fra
- fuld
- funktion
- yderligere
- fremtiden
- Gevinst
- vundet
- Spil
- gateway
- generere
- generative
- Generativ AI
- Go
- gå
- godt
- GPU
- bevilget
- graf
- grafer
- gruppe
- Gruppens
- hånd
- håndtere
- Have
- have
- he
- hjælpe
- hjælpe
- hjælper
- hende
- hierarki
- stærkt
- hans
- host
- hotteste
- Hvordan
- How To
- Men
- HTML
- HTTPS
- KrammerFace
- illustrerer
- billede
- gennemføre
- implementering
- importere
- vigtigt
- vigtigere
- import
- Forbedre
- in
- medtaget
- omfatter
- Herunder
- Forøg
- Stigninger
- stigende
- uafhængig
- uafhængigt
- industrier
- industrien
- ineffektivitet
- puster sig op
- oplysninger
- Innovation
- indgang
- instans
- i stedet
- anvisninger
- integrere
- integreret
- interesse
- Internet
- ind
- Introducerer
- IT
- ITS
- james
- Java
- Job
- Karriere
- sammenføjning
- jpg
- Holde
- holde
- Nøgle
- sparke
- viden
- Sprog
- stor
- største
- seneste
- leder
- Leads
- læring
- Lets
- Niveau
- Bibliotek
- Licens
- ligger
- ligesom
- synes godt om
- LINK
- forbundet
- Børsnoterede
- LLM
- belastning
- lastning
- lokale
- placering
- log
- logning
- logik
- Se
- ligner
- leder
- off
- maskine
- machine learning
- Main
- maerker
- Making
- administrere
- lykkedes
- ledelse
- styring
- mange
- Marketing
- Marketing & Annoncering
- massive
- Kan..
- Hukommelse
- Flet
- sammenlægning
- Metadata
- metode
- metoder
- Metrics
- migrere
- ML
- MLOps
- tilstand
- model
- modeller
- Moduler
- mere
- flere
- navn
- Natural
- Natural Language Processing
- nødvendig
- Behov
- behøve
- behov
- Ny
- NLP
- notesbog
- nu
- nummer
- of
- off
- Tilbud
- tit
- on
- engang
- ONE
- kun
- operationelle
- Produktion
- optimering
- Optimer
- optimeret
- optimering
- or
- organisation
- organisationer
- original
- Andet
- vores
- udfald
- output
- i løbet af
- Overvind
- overvældende
- egen
- pakke
- parameter
- parametre
- del
- lidenskab
- Patenter
- sti
- procent
- ydeevne
- Tilladelser
- stykker
- plato
- Platon Data Intelligence
- PlatoData
- spiller
- plus
- politik
- Populær
- popularitet
- del
- mulig
- Indlæg
- magt
- vigtigste
- Praktisk
- praksis
- forudsætninger
- gaver
- bevare
- forhindre
- tidligere
- primære
- Main
- Forud
- behandle
- Processer
- forarbejdning
- Progress
- korrekt
- egenskaber
- giver
- Skub ud
- Python
- pytorch
- spørgsmål
- hurtigt
- rækkevidde
- hurtigt
- realtid
- grund
- årsager
- for nylig
- reducere
- Reduceret
- reducerer
- reducere
- henvise
- afspejler
- register
- registreret
- register
- relaterede
- Relationer
- relevant
- bemærkelsesværdig
- Rapportering
- Repository
- kræver
- påkrævet
- Krav
- Ressourcer
- REST
- resultere
- genbruge
- højre
- roller
- roller
- Kør
- kører
- løber
- runtime
- sagemaker
- Gem
- gemt
- besparelse
- Besparelser
- Scale
- skalering
- Videnskab
- forskere
- SDK
- Søg
- Anden
- Sektion
- sektioner
- søger
- halvleder
- senior
- adskille
- adskille
- tjeneste
- Tjenester
- servering
- flere
- Del
- deling
- hun
- bør
- vist
- Shows
- lignende
- Simpelt
- siden
- enkelt
- Størrelse
- langsom
- lille
- mindre
- uddrag
- løsninger
- Løsninger
- nogle
- Kilde
- Space
- spænding
- specialist
- specialiserede
- specifikke
- specifikt
- tilbringe
- delt
- interessenter
- starte
- Tilstand
- state-of-the-art
- Status
- Trin
- Steps
- Stadig
- opbevaring
- butik
- opbevaret
- Studio
- sådan
- support
- TAG
- tager
- Opgaver
- opgaver
- teknik
- teknikker
- Teknologier
- Teknologier
- telekommunikation
- vilkår
- afprøvet
- tekst
- at
- deres
- Them
- derefter
- Der.
- Disse
- de
- denne
- Gennem
- tid
- til
- sammen
- værktøj
- fakkel
- spor
- traditionelle
- Tog
- Kurser
- overførsel
- transformer
- transformers
- Traveling
- sand
- prøv
- tune
- tunet
- tuning
- to
- typen
- typer
- under
- forståelse
- Opdatering
- opdatering
- uploadet
- URL
- brug
- brug tilfælde
- anvendte
- Bruger
- brugere
- ved brug af
- validering
- Værdifuld
- værdi
- række
- forskellige
- Vast
- udgave
- versioner
- meget
- via
- Specifikation
- vision
- visuel
- gå
- gik
- ønsker
- var
- Vej..
- måder
- we
- web
- webservices
- hvornår
- som
- mens
- hvorfor
- bred
- Bred rækkevidde
- vilje
- med
- inden for
- uden
- Dame
- Arbejde
- arbejdede
- arbejdsgange
- virker
- år
- Du
- Din
- dig selv
- zephyrnet