Az alapmodellek (FM-ek) felépítéséhez nagy klaszterek felépítése, karbantartása és optimalizálása szükséges, hogy modelleket taníthassanak tíz-százmilliárd paraméterrel hatalmas adatmennyiségen. Olyan rugalmas környezet létrehozása, amely képes kezelni a hibákat és a környezeti változásokat anélkül, hogy a modellképzési haladás napok vagy hetek elvesztése lenne, olyan működési kihívás, amely megköveteli a klaszterméretezést, a proaktív állapotfigyelést, a munkaellenőrzést, valamint a képzés automatikus folytatására alkalmas képességeket, ha hibák vagy problémák merülnének fel. .
Izgatottan várjuk, hogy megosszuk ezt Amazon SageMaker HyperPod ma már általánosan elérhető, hogy akár 40%-kal gyorsabban lehetővé tegye a több ezer gyorsítót tartalmazó képzési alapmodelleket azáltal, hogy rendkívül rugalmas edzési környezetet biztosít, miközben kiküszöböli a nagyszabású képzési klaszterek működtetésével járó differenciálatlan nehézemelést. A SageMaker HyperPod segítségével a gépi tanulást (ML) gyakorló szakemberek hetekig és hónapokig oktathatják az FM-eket megszakítás nélkül, és anélkül, hogy hardverhibákkal kellene megküzdeniük.
Az olyan ügyfelek, mint a Stability AI, a SageMaker HyperPodot használják alapmodelljeik képzésére, beleértve a Stable Diffusion-t is.
„A vezető nyílt forráskódú generatív mesterségesintelligencia-vállalatként célunk a modern AI elérhetőségének maximalizálása. Több tízmilliárd paraméterrel rendelkező alapmodelleket építünk, amelyek infrastruktúrát igényelnek a képzési teljesítmény optimális méretezéséhez. A SageMaker HyperPod felügyelt infrastruktúrájával és optimalizálási könyvtáraival több mint 50%-kal csökkenthetjük a képzési időt és a költségeket. Ez rugalmasabbá és teljesítményesebbé teszi a modellképzésünket, hogy gyorsabban készítsük el a legkorszerűbb modelleket.”
– Emad Mostaque, a Stability AI alapítója és vezérigazgatója.
Annak érdekében, hogy az FM-ek fejlesztésének teljes ciklusa ellenállóvá váljon a hardverhibákkal szemben, a SageMaker HyperPod segít fürtök létrehozásában, a fürt állapotának figyelésében, a hibás csomópontok menet közbeni javításában és cseréjében, a gyakori ellenőrzőpontok mentésében, és az edzések automatikus folytatásában a fejlődés elvesztése nélkül. Ezenkívül a SageMaker HyperPod előre konfigurálva van Amazon SageMaker elosztott oktatókönyvtárak, köztük a SageMaker adatpárhuzamossági könyvtár (SMDDP) és a SageMaker modell párhuzamossági könyvtár (SMP), hogy javítsa az FM-tanítási teljesítményt azáltal, hogy egyszerűvé teszi a betanítási adatok és modellek kisebb darabokra való felosztását és párhuzamos feldolgozását a fürt csomópontjai között, miközben teljes mértékben kihasználja a fürt számítási és hálózati infrastruktúráját. A SageMaker HyperPod integrálja a Slurm Workload Managert a fürtök és a képzési feladatok összehangolásához.
Slurm Workload Manager áttekintése
slum, korábban Simple Linux Utility for Resource Management néven ismert, egy feladatütemező, amellyel elosztott számítástechnikai fürtön futtathatók a feladatok. Keretet biztosít a párhuzamos jobok futtatásához is a NVIDIA Collective Communications Library (NCCL) or Üzenetátadási felület (MPI) szabványoknak. A Slurm egy népszerű nyílt forráskódú fürt erőforrás-kezelő rendszer, amelyet széles körben használnak a nagy teljesítményű számítástechnika (HPC) és a generatív AI és FM képzési munkaterhelések. A SageMaker HyperPod egyszerű módot kínál a Slurm-fürt használatának néhány perc alatt történő elindítására.
Az alábbiakban egy magas szintű architektúra diagram látható arról, hogyan lépnek kapcsolatba a felhasználók a SageMaker HyperPoddal, és hogyan lépnek kapcsolatba a különböző fürtkomponensek egymással és más AWS-szolgáltatásokkal, mint pl. Amazon FSx Lusterhez és a Amazon egyszerű tárolási szolgáltatás (Amazon S3).
A Slurm-feladatokat a parancssorban lévő parancsok küldik el. A Slurm-feladatok futtatásához szükséges parancsok a következők srun
és a sbatch
Az srun
parancs futtatja a betanítási feladatot interaktív és blokkoló módban, és sbatch
kötegelt feldolgozásban és nem blokkoló módban fut. srun
többnyire azonnali munkák futtatására szolgál, míg sbatch
későbbi munkákhoz használható.
A további Slurm parancsokkal és konfigurációval kapcsolatos információkért tekintse meg a Slurm Workload Manager dokumentáció.
Automatikus folytatás és gyógyító képességek
A SageMaker HyperPod egyik új funkciója a munkák automatikus folytatásának lehetősége. Korábban, amikor egy dolgozó csomópont meghibásodott egy betanítási vagy finomhangolási feladat futtatása közben, a felhasználónak kellett ellenőriznie a job állapotát, újraindítania a jobot a legutóbbi ellenőrzőponttól, és folytatnia kell a job figyelését a teljes futás során. A napok, hetek vagy akár hónapokig tartó betanítási vagy finomhangolási munkák esetén ez költségessé válik, mivel a felhasználónak többlet adminisztratív terhe van, és ciklusokat kell eltöltenie a munka figyelemmel kísérésére és karbantartására abban az esetben, ha egy csomópont-összeomlások, valamint a drága gyorsított számítási példányok üresjárati idejének költségei.
A SageMaker HyperPod automatizált állapotellenőrzésekkel, csomópontcserével és feladat-helyreállítással javítja a feladatok rugalmasságát. A SageMaker HyperPodban lévő Slurm-feladatokat a SageMaker egyéni Slurm-bővítmény segítségével figyeli SPANK keretrendszer. Ha egy képzési feladat meghiúsul, a SageMaker HyperPod állapotellenőrzések sorozatán keresztül ellenőrzi a fürt állapotát. Ha hibás csomópontot talál a fürtben, a SageMaker HyperPod automatikusan eltávolítja a csomópontot a fürtből, lecseréli egy egészséges csomópontra, és újraindítja a betanítási feladatot. Ha ellenőrzőpontot használ a betanítási feladatokban, minden megszakított vagy sikertelen feladat a legutóbbi ellenőrzőponttól folytatódhat.
Megoldás áttekintése
A SageMaker HyperPod üzembe helyezéséhez először fel kell készítenie a környezetet a saját konfigurálásával Amazon Virtual Private Cloud (Amazon VPC) hálózati és biztonsági csoportok, támogató szolgáltatások, például FSx for Luster telepítése a VPC-ben, és a Slurm életciklus-szkriptek közzététele egy S3 tárolóban. Ezután telepítse és konfigurálja a SageMaker HyperPod-ot, és csatlakozzon a fejcsomóponthoz a képzési feladatok megkezdéséhez.
Előfeltételek
A SageMaker HyperPod létrehozása előtt először konfigurálnia kell a VPC-t, létre kell hoznia egy FSx for Luster fájlrendszert, és létre kell hoznia egy S3 tárolót a kívánt fürt életciklus-szkriptekkel. Szüksége van a legújabb verzióra is AWS parancssori interfész (AWS CLI) és a hozzá telepített CLI beépülő modul AWS Session Manager, képessége AWS rendszermenedzser.
A SageMaker HyperPod teljesen integrálva van a VPC-vel. Az új VPC létrehozásával kapcsolatos információkért lásd: Hozzon létre egy alapértelmezett VPC-t or Hozzon létre egy VPC-t. Az erőforrások közötti legnagyobb teljesítményű zökkenőmentes kapcsolódás érdekében az összes erőforrást ugyanabban a régióban és elérhetőségi zónában kell létrehoznia, valamint gondoskodnia kell arról, hogy a kapcsolódó biztonsági csoportszabályok lehetővé teszik a fürterőforrások közötti kapcsolatot.
Következő, te FSx for Luster fájlrendszer létrehozása. Ez lesz a nagy teljesítményű fájlrendszer a modellképzés során. Győződjön meg arról, hogy az FSx for Luster és a fürt biztonsági csoportok lehetővé teszik a bejövő és kimenő kommunikációt a fürt erőforrásai és az FSx for Luster fájlrendszer között.
A fürt életciklus-parancsfájljainak beállításához, amelyek akkor futnak le, amikor események, például új fürtpéldányok fordulnak elő, hozzon létre egy S3-csoportot, majd másolja és tetszés szerint testreszabja az alapértelmezett életciklus-parancsfájlokat. Ebben a példában az összes életciklus-szkriptet egy vödör előtagban tároljuk lifecycle-scripts
.
Először töltse le a minta életciklus-szkripteket a GitHub repo. Ezeket a kívánt fürtviselkedéseknek megfelelően testre kell szabnia.
Ezután hozzon létre egy S3 tárolót a testreszabott életciklus-szkriptek tárolására.
Ezután másolja át az alapértelmezett életciklus-szkripteket a helyi könyvtárból a kívánt tárolóba és előtagja segítségével aws s3 sync
:
Végül, ha be szeretné állítani az ügyfelet a fürt főcsomópontjához való egyszerűsített csatlakozáshoz, akkor ezt meg kell tennie telepítse vagy frissítse az AWS parancssori felületet és telepítse a AWS Session Manager CLI beépülő modul lehetővé teszi az interaktív terminálkapcsolatok számára a fürt adminisztrálását és a képzési feladatok futtatását.
Létrehozhat egy SageMaker HyperPod-fürtöt a rendelkezésre álló igény szerinti erőforrásokkal, vagy kapacitásfoglalás kérésével a SageMakerrel. Kapacitásfoglalás létrehozásához hozzon létre egy kvótanövelési kérelmet, amely meghatározott számítási példánytípusokat és kapacitáslefoglalást foglal le a Szolgáltatási kvóták irányítópulton.
Állítsa be a képzési klasztert
A SageMaker HyperPod-fürt létrehozásához hajtsa végre a következő lépéseket:
- A SageMaker konzolon válassza a lehetőséget Klaszterkezelés alatt HyperPod-fürtök a navigációs ablaktáblában.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Fürt létrehozása.
- Adja meg a fürt nevét és opcionálisan a fürterőforrásokra alkalmazandó címkéket, majd válassza ki Következő.
- választ Példánycsoport létrehozása és adja meg a példánycsoport nevét, a szükséges példánytípust, a kívánt példányok számát, valamint az S3 gyűjtőcsoport és előtag elérési útját, ahová korábban másolta a fürt életciklus-parancsfájljait.
Javasoljuk, hogy különböző példánycsoportok legyenek a fürt adminisztrálására és a feladatok elküldésére használt vezérlőcsomópontokhoz, valamint a gyorsított számítási példányokat használó betanítási feladatok futtatásához használt dolgozó csomópontokhoz. Opcionálisan beállíthat egy további példánycsoportot a bejelentkezési csomópontokhoz.
- Először létre kell hoznia a vezérlőpéldánycsoportot, amely magában foglalja a fürt fő csomópontját.
- Ehhez a példánycsoporthoz AWS Identity and Access Management (IAM) szerepet, válasszon Hozzon létre egy új szerepet és adja meg azokat az S3-csoportokat, amelyekhez hozzáférést szeretne biztosítani a példánycsoportban lévő fürtpéldányoknak.
A létrehozott szerepkör alapértelmezés szerint csak olvasási hozzáférést kap a megadott gyűjtőcsoportokhoz.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Szerep létrehozása.
- Adja meg az egyes példányok létrehozásánál futtatandó szkript nevét a parancsfájl létrehozása közbeni parancssorban. Ebben a példában a létrehozás közbeni szkriptet hívják meg
on_create.sh
. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Megtakarítás.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Példánycsoport létrehozása a dolgozói példánycsoport létrehozásához.
- Adja meg az összes kért adatot, beleértve a példánytípust és a kívánt mennyiséget.
Ez a példa négy ml.trn1.32xl gyorsított példányt használ a betanítási feladatunk végrehajtásához. Használhatja ugyanazt az IAM-szerepet, mint korábban, vagy testreszabhatja a szerepkört a dolgozó példányokhoz. Ehhez a munkavégző-példánycsoporthoz hasonlóan a létrehozás közbeni életciklus-parancsfájlokat is használhatja, mint az előző példánycsoporthoz.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő A folytatáshoz.
- Válassza ki a kívánt VPC-t, alhálózatot és biztonsági csoportokat a fürtpéldányokhoz.
A fürtpéldányokat egyetlen rendelkezésre állási zónában és alhálózatban tároljuk az alacsony késleltetés biztosítása érdekében.
Vegye figyelembe, hogy ha gyakran fog hozzáférni az S3-adatokhoz, javasoljuk, hogy hozzon létre egy VPC-végpontot, amely a privát alhálózat útválasztási táblájához van társítva az esetleges adatátviteli költségek csökkentése érdekében.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- Tekintse át a fürt részleteinek összefoglalóját, majd válasszon Küld.
Alternatív megoldásként a SageMaker HyperPod létrehozásához az AWS parancssori felülettel először testreszabhatja a fürt létrehozásához használt JSON-paramétereket:
Ezután használja a következő parancsot a fürt létrehozásához a megadott bemenetek használatával:
Futtassa első edzési munkáját a Llama 2-vel
Vegye figyelembe, hogy a Llama 2 modell használatát a Meta licenc szabályozza. A modellsúlyok és a tokenizátor letöltéséhez látogassa meg a és fogadja el a licencet, mielőtt hozzáférést kér Meta Hugging Face weboldala.
A fürt futása után jelentkezzen be a Session Manager alkalmazásba a fürtazonosító, a példánycsoport nevével és a példányazonosítóval. A fürt részleteinek megtekintéséhez használja a következő parancsot:
Jegyezze fel a fürt ARN-jében szereplő fürtazonosítót a válaszban.
A következő paranccsal kérheti le a fürtbe való bejelentkezéshez szükséges példánycsoport nevét és példányazonosítóját.
Jegyezze fel a InstanceGroupName
és a InstanceId
a válaszban, mivel ezek segítségével csatlakozik a példányhoz a Session Manager segítségével.
Most a Session Manager használatával jelentkezhet be a főcsomópontba vagy valamelyik bejelentkezési csomópontba, és futtassa a képzési feladatot:
Ezután előkészítjük a környezetet, és letöltjük a Llama 2-t és a RedPajama adatkészletet. A teljes kódért és ennek lépésről lépésre történő áttekintéséhez kövesse a webhelyen található utasításokat AWSome Distributed Training GitHub repó.
Kövesse a részletben részletezett lépéseket 2.test_cases/8.neuronx-nemo-megatron/README.md
fájlt. A környezet előkészítésének, a modell elkészítésének, az adatkészlet letöltésének és tokenizálásának, valamint a modell előzetes összeállításának lépései után szerkessze a 6.pretrain-model.sh
forgatókönyv és a sbatch
feladatbeküldési parancsot, hogy tartalmazzon egy paramétert, amely lehetővé teszi a SageMaker HyperPod automatikus folytatási funkciójának kihasználását.
Szerkesztéséhez sbatch
sor a következőképpen néz ki:
Az állás beadása után kap a JobID
amellyel ellenőrizheti a munka állapotát a következő kód segítségével:
Ezenkívül a feladatot a következő kóddal követheti a feladat kimeneti naplójának követésével:
Tisztítsuk meg
A SageMaker HyperPod-fürt törléséhez használja a SageMaker konzolt vagy a következő AWS CLI parancsot:
Következtetés
Ez a bejegyzés bemutatta, hogyan készítheti elő az AWS-környezetet, telepítheti az első SageMaker HyperPod-fürtöt, és hogyan taníthat be egy 7 milliárdos paraméterű Llama 2 modellt. A SageMaker HyperPod ma általánosan elérhető Amerikában (Észak-Virginia, Ohio és Oregon), Ázsia-csendes-óceáni (Szingapúr, Sydney és Tokió) és Európa (Frankfurt, Írország és Stockholm) régiókban. A SageMaker konzolon, az AWS CLI-n és az AWS SDK-kon keresztül telepíthetők, és támogatják a p4d, p4de, p5, trn1, inf2, g5, c5, c5n, m5 és t3 példánycsaládokat.
Ha többet szeretne megtudni a SageMaker HyperPodról, látogasson el ide Amazon SageMaker HyperPod.
A szerzőkről
Brad Doran az Amazon Web Services vezető műszaki ügyfélmenedzsere, aki a generatív AI-ra összpontosít. Ő felel a generatív AI-ügyfelek mérnöki kihívásainak megoldásáért a digitális natív üzleti piaci szegmensben. Infrastruktúra- és szoftverfejlesztő háttérrel rendelkezik, jelenleg doktori tanulmányokat folytat, valamint kutatásokat folytat mesterséges intelligencia és gépi tanulás területén.
Keita Watanabe Senior GenAI Specialist Solutions Architect az Amazon Web Servicesnél, ahol segít gépi tanulási megoldások fejlesztésében olyan OSS projektek segítségével, mint a Slurm és a Kubernetes. Előzménye a gépi tanulással kapcsolatos kutatás-fejlesztés. Mielőtt csatlakozott volna az AWS-hez, Keita az e-kereskedelmi ágazatban dolgozott kutatóként, aki képkereső rendszereket fejleszt termékkereséshez. Keita a Tokiói Egyetemen szerzett PhD fokozatot természettudományokból.
Justin Pirtle az Amazon Web Services fő megoldási építésze. Rendszeresen tanácsot ad a generatív AI-ügyfeleknek az infrastruktúra tervezésében, telepítésében és méretezésében. Rendszeres előadója az AWS konferenciáknak, beleértve a re:Inventet, valamint más AWS rendezvényeket. Justin az austini Texasi Egyetemen szerzett alapképzést vezetői információs rendszerek szakon, a Seattle Egyetemen pedig szoftvermérnöki diplomát szerzett.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-to-train-foundation-models-at-scale/
- :is
- :ahol
- $ UP
- 1
- 100
- 12
- 14
- 24
- 7
- a
- képesség
- Rólunk
- felgyorsult
- gyorsítók
- Elfogad!
- hozzáférés
- megközelíthetőség
- Hozzáférés
- Fiók
- át
- mellett
- További
- címek
- beadására
- adminisztratív
- Előny
- Után
- AI
- Minden termék
- kiosztás
- lehetővé
- lehetővé teszi, hogy
- Is
- amazon
- Amazon SageMaker
- Az Amazon Web Services
- Americas
- Összegek
- an
- és a
- bármilyen
- alkalmaz
- építészeti
- VANNAK
- felmerülhet
- mesterséges
- mesterséges intelligencia
- Mesterséges intelligencia és gépi tanulás
- AS
- Ázsia
- asia pacific
- társult
- At
- Austin
- Automatizált
- automatikusan
- elérhetőség
- elérhető
- AWS
- háttér
- BE
- válik
- előtt
- viselkedés
- között
- milliárd
- blokkoló
- épít
- Épület
- üzleti
- by
- hívott
- TUD
- képességek
- képesség
- Kapacitás
- vezérigazgató
- kihívás
- kihívások
- Változások
- ellenőrizze
- Ellenőrzések
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- vásárló
- Fürt
- kód
- Kollektív
- jön
- közlés
- távközlés
- vállalat
- teljes
- alkatrészek
- Kiszámít
- számítástechnika
- konferenciák
- Configuration
- konfigurálása
- Csatlakozás
- kapcsolat
- kapcsolatok
- Konzol
- folytatódik
- ellenőr
- Költség
- drága
- kiadások
- teremt
- létrehozása
- teremtés
- Jelenleg
- szokás
- Ügyfelek
- testre
- szabott
- ciklus
- ciklusok
- műszerfal
- dátum
- Nap
- üzlet
- alapértelmezett
- Fok
- telepíteni
- telepített
- bevezetéséhez
- tervezés
- kívánatos
- részletes
- részletek
- Fejleszt
- fejlesztése
- Fejlesztés
- különböző
- Diffusion
- digitális
- Zavar
- megosztott
- elosztott számítástechnika
- elosztott képzés
- letöltés
- két
- alatt
- minden
- e-kereskedelem
- bármelyik
- megszüntetése
- lehetővé
- Endpoint
- Mérnöki
- biztosítására
- Egész
- Környezet
- környezeti
- létrehozni
- Európa
- Még
- esemény
- események
- példa
- izgatott
- drága
- külön-
- Arc
- Sikertelen
- nem sikerül
- Kudarc
- hibák
- családok
- gyorsabb
- hibás
- Funkció
- Jellemzők
- filé
- vezetéknév
- összpontosított
- következik
- következő
- A
- korábban
- talált
- Alapítvány
- alapító
- Alapítója és vezérigazgatója
- négy
- Keretrendszer
- Frankfurt
- gyakori
- gyakran
- ból ből
- Tele
- teljesen
- általában
- generált
- nemző
- Generatív AI
- kap
- GitHub
- cél
- megy
- szabályozott
- megadott
- Csoport
- Csoportok
- fogantyú
- hardver
- Legyen
- tekintettel
- he
- fej
- gyógyulás
- Egészség
- egészséges
- nehéz
- súlyemelés
- segít
- Magas
- magas szinten
- nagy teljesítményű
- legnagyobb
- nagyon
- övé
- tart
- vendéglátó
- Hogyan
- How To
- hpc
- HTML
- http
- HTTPS
- Több száz
- ID
- Identitás
- Idle
- if
- kép
- azonnali
- végre
- javul
- in
- tartalmaz
- beleértve
- Beleértve
- Növelje
- ipar
- információ
- Információs Rendszerek
- Infrastruktúra
- bemenet
- telepíteni
- telepítve
- példa
- utasítás
- integrált
- integrál
- Intelligencia
- kölcsönhatásba
- interaktív
- Felület
- megszakított
- bele
- bevezetéséről
- részt
- Írország
- kérdések
- IT
- Munka
- Állások
- csatlakozott
- jpg
- json
- Justin
- ismert
- nagy
- nagyarányú
- Késleltetés
- a későbbiekben
- legutolsó
- vezető
- TANUL
- tanulás
- könyvtárak
- könyvtár
- Engedély
- életciklus
- emelő
- mint
- vonal
- linux
- Láma
- helyi
- log
- Belépés
- néz
- hasonló
- vesztes
- Elő/Utó
- gép
- gépi tanulás
- fenntartása
- fenntartása
- csinál
- KÉSZÍT
- Gyártás
- sikerült
- vezetés
- menedzser
- piacára
- mester
- Anyag
- Maximize
- meta
- Perc
- ML
- Mód
- modell
- modellek
- modern
- monitor
- ellenőrizni
- ellenőrzés
- hónap
- több
- többnyire
- név
- bennszülött
- Navigáció
- Szükség
- szükséges
- igénylő
- hálózat
- Új
- Új funkciók
- csomópont
- csomópontok
- megjegyezni
- Most
- Nvidia
- of
- Ohio
- on
- Igény szerint
- ONE
- nyitva
- nyílt forráskódú
- üzemeltetési
- operatív
- optimalizálás
- optimalizálása
- or
- hangszerelés
- Oregon
- Minket
- Más
- mi
- teljesítmény
- felett
- Csendes-óceán
- üvegtábla
- Párhuzamos
- paraméter
- paraméterek
- Múló
- ösvény
- Teljesít
- teljesítmény
- phd
- Plató
- Platón adatintelligencia
- PlatoData
- csatlakoztat
- Népszerű
- állás
- potenciális
- Készít
- előző
- korábban
- Fő
- Előzetes
- magán
- proaktív
- folytassa
- feldolgozás
- Termékek
- Haladás
- projektek
- feltéve,
- biztosít
- amely
- Kiadás
- mennyiség
- RE
- ajánlott
- felépülés
- csökkenteni
- utal
- vidék
- régiók
- szabályos
- rendszeresen
- eltávolítása
- javítás
- cserélni
- csere
- kérni
- szükség
- megköveteli,
- kutatás
- kutatás és fejlesztés
- Booking
- Tartalék
- rugalmas
- forrás
- Tudástár
- válasz
- felelős
- folytatás
- Szerep
- routing
- szabályok
- futás
- futás
- fut
- sagemaker
- azonos
- Megtakarítás
- Skála
- skálázás
- Tudomány
- Tudós
- forgatókönyv
- szkriptek
- sdks
- zökkenőmentes
- Keresés
- Seattle
- biztonság
- lát
- részes
- idősebb
- szolgál
- szolgáltatás
- Szolgáltatások
- ülés
- készlet
- Megosztás
- kellene
- kimutatta,
- Hasonlóképpen
- Egyszerű
- egyszerűsített
- Szingapúr
- egyetlen
- kisebb
- szoftver
- szoftverfejlesztés
- szoftverfejlesztés
- Megoldások
- Megoldása
- forrás
- Hangszóró
- szakember
- különleges
- meghatározott
- költ
- osztott
- Stabilitás
- stabil
- szabványok
- kezdet
- csúcs-
- Állapot
- Lépései
- tárolás
- tárolni
- egyértelmű
- tanulmányok
- benyújtása
- beküldése
- benyújtott
- alhálózati
- ilyen
- Öltöny
- kíséret
- ÖSSZEFOGLALÓ
- támogatás
- Támogató
- biztos
- sydney
- szinkronizál.
- rendszer
- Systems
- táblázat
- Vesz
- Műszaki
- tíz
- terminál
- Texas
- mint
- hogy
- A
- azok
- Őket
- akkor
- Ezek
- ők
- ezt
- ezer
- Keresztül
- egész
- idő
- nak nek
- Ma
- tokenizálni
- tokyo
- Vonat
- Képzések
- átruházás
- típus
- típusok
- alatt
- egyetemi
- Tokiói Egyetem
- Frissítések
- használ
- használt
- használó
- Felhasználók
- használ
- segítségével
- hasznosság
- kihasználva
- különféle
- Hatalmas
- változat
- keresztül
- Megnézem
- Virginia
- Tényleges
- Látogat
- végigjátszás
- volt
- Út..
- we
- háló
- webes szolgáltatások
- Hetek
- JÓL
- amikor
- ami
- míg
- széles körben
- Wikipedia
- lesz
- val vel
- belül
- nélkül
- dolgozott
- munkás
- lenne
- te
- A te
- zephyrnet