Tänapäeval tunneb enamik meie kliente elevil suurtest keelemudelitest (LLM) ja mõtleb, kuidas generatiivne AI saaks nende äri muuta. Selliste lahenduste ja mudelite viimine tavalisse tegevusse ei ole aga lihtne ülesanne. Selles postituses arutleme, kuidas generatiivseid AI-rakendusi kasutusele võtta, kasutades MLOps-i põhimõtteid, mis viivad alusmudeli operatsioonideni (FMOps). Lisaks käsitleme sügavalt kõige levinumat generatiivset tehisintellekti kasutamist, milleks on tekst-tekstirakendused ja LLM-operatsioonid (LLMOps), mis on FMO-de alamhulk. Järgmine joonis illustreerib teemasid, mida arutame.
Täpsemalt tutvustame lühidalt MLOps-i põhimõtteid ja keskendume peamistele eristajatele võrreldes FMOps-i ja LLMOps-iga seoses protsesside, inimeste, mudelivaliku ja hindamise, andmete privaatsuse ja mudeli juurutamise osas. See kehtib klientide kohta, kes kasutavad neid karbist välja, loovad vundamendimudeleid nullist või viimistlevad neid. Meie lähenemisviis kehtib võrdselt nii avatud lähtekoodiga kui ka patenteeritud mudelite puhul.
ML-i kasutuselevõtu kokkuvõte
Nagu postituses määratletud MLOpsi sihtasutuse tegevuskava Amazon SageMakeriga ettevõtetele, ML ja operatsioonid (MLOps) on inimeste, protsesside ja tehnoloogia kombinatsioon masinõppe (ML) lahenduste tõhusaks tootmiseks. Selle saavutamiseks peavad meeskonnad ja isiksused tegema koostööd, nagu on näidatud järgmisel joonisel.
Need meeskonnad on järgmised:
- Täiustatud analüütikameeskond (andmejärv ja andmevõrk) – Andmeinsenerid vastutavad mitmest allikast pärit andmete ettevalmistamise ja sissevõtmise eest, ETL-i (ekstrakti, teisendus- ja laadimis-) torujuhtmete ehitamise eest andmete kureerimiseks ja kataloogimiseks ning vajalike ajalooliste andmete ettevalmistamise eest ML-i kasutusjuhtumite jaoks. Need andmeomanikud on keskendunud oma andmetele juurdepääsu pakkumisele mitmele äriüksusele või meeskonnale.
- Andmeteaduse meeskond – Andmeteadlased peavad keskenduma parima mudeli loomisele, mis põhineb sülearvutites töötavatel eelmääratletud võtmenäitajatel (KPI). Pärast uurimisfaasi lõppu peavad andmeteadlased tegema koostööd ML-i inseneridega, et luua automaatikaid (ML-i torujuhtmed) ja mudelite tootmisse juurutamiseks CI/CD torujuhtmete abil.
- Ärimeeskond – Toote omanik vastutab mudeli toimivuse hindamiseks kasutatava ärijuhtumi, nõuete ja KPI-de määratlemise eest. ML-i tarbijad on muud ärilised sidusrühmad, kes kasutavad järelduste tulemusi (ennustusi) otsuste tegemiseks.
- Platvormi meeskond – Arhitektid vastutavad ettevõtte üldise pilvarhitektuuri ja selle eest, kuidas kõik erinevad teenused on omavahel ühendatud. Turvalisuse VKEd vaatavad arhitektuuri üle lähtuvalt ettevõtte turvapoliitikast ja vajadustest. MLOpsi insenerid vastutavad andmeteadlastele ja ML-i inseneridele turvalise keskkonna pakkumise eest ML-i kasutusjuhtude produtseerimiseks. Täpsemalt vastutavad nad CI/CD torujuhtmete, kasutaja- ja teenuserollide ning konteineri loomise, mudeli tarbimise, testimise ja juurutamise metoodika standardimise eest, mis põhinevad äri- ja turvanõuetel.
- Riski- ja vastavusmeeskond – Kitsamate keskkondade puhul vastutavad audiitorid andmete, koodide ja mudeliartefaktide hindamise ning ettevõtte vastavuse eeskirjadele, näiteks andmete privaatsusele.
Pange tähele, et sama isik võib hõlmata mitut isikut olenevalt ettevõtte mastaabist ja MLOps-i küpsusest.
Need isikud vajavad erinevate protsesside läbiviimiseks spetsiaalset keskkonda, nagu on näidatud järgmisel joonisel.
Keskkonnad on järgmised:
- Platvormi administreerimine – Platvormi halduskeskkond on koht, kus platvormi meeskonnal on juurdepääs AWS-i kontode loomiseks ning õigete kasutajate ja andmete linkimiseks
- kuupäev – Andmekiht, mida sageli nimetatakse andmejärveks või andmevõrguks, on keskkond, mida andmeinsenerid või omanikud ja ettevõtete sidusrühmad kasutavad andmete ettevalmistamiseks, nendega suhtlemiseks ja visualiseerimiseks.
- Katse - Andmeteadlased kasutavad liivakasti või katsekeskkonda uute teekide ja ML-tehnikate testimiseks, et tõestada, et nende kontseptsiooni tõestus võib lahendada äriprobleeme
- Mudeli koostamine, mudeli testimine, mudeli juurutamine – Mudeli koostamise, testimise ja juurutamise keskkond on MLO-de kiht, kus andmeteadlased ja ML-insenerid teevad koostööd, et automatiseerida ja viia uurimistöö tootmisse.
- ML juhtimine – Viimaseks pusletükiks on ML-i juhtimiskeskkond, kus kõik mudeli- ja koodiartefaktid salvestatakse, vaadatakse üle ja auditeeritakse vastavate isikute poolt.
Järgmine diagramm illustreerib võrdlusarhitektuuri, mida on juba käsitletud MLOpsi sihtasutuse tegevuskava Amazon SageMakeriga ettevõtetele.
Igal äriüksusel on oma arenduskontode komplekt (automaatne mudeli väljaõpe ja ehitamine), eeltootmise (automaatne testimine) ja tootmise (mudeli juurutamine ja teenindamine) kontod ML kasutusjuhtude tootmiseks, mis toovad andmeid tsentraliseeritud või detsentraliseeritud andmejärvest või andmetest. vastavalt võrgusilma. Kõik toodetud mudelid ja koodiautomaatika salvestatakse tsentraliseeritud tööriistakontole, kasutades mudeliregistri võimalusi. Kõikide nende kontode infrastruktuurikood on versioonistatud jagatud teenuse kontol (täiustatud analüütikahalduse konto), mida platvormi meeskond saab iga uue meeskonna MLOps-platvormile lisamiseks võtta, mallida, hooldada ja uuesti kasutada.
Generatiivsed AI määratlused ja erinevused MLO-dest
Klassikalises ML-s võib eelnev inimeste, protsesside ja tehnoloogia kombinatsioon aidata teil ML-i kasutusjuhtumeid tootestada. Generatiivse AI puhul nõuab kasutusjuhtude olemus aga kas nende võimaluste laiendamist või uusi võimalusi. Üks neist uutest mõistetest on vundamendimudel (FM). Neid nimetatakse sellisteks, kuna neid saab kasutada paljude muude AI mudelite loomiseks, nagu on näidatud järgmisel joonisel.
FM-id on koolitatud terabaitide andmete põhjal ja neil on sadu miljardeid parameetreid, et ennustada järgmist parimat vastust, tuginedes generatiivsete AI kasutusjuhtude kolme põhikategooriale:
- Tekst tekstiks – FM-id (LLM-id) on koolitatud märgistamata andmete (nt vaba teksti) põhjal ja nad suudavad ennustada parimat järgmist sõna või sõnade jada (lõigud või pikad esseed). Peamised kasutusjuhtumid on seotud inimlike vestlusrobotite, kokkuvõtete või muu sisu loomisega, näiteks programmeerimiskoodiga.
- Tekst-pildiks – märgistatud andmed, näiteks paarid , on kasutatud FM-ide treenimiseks, mis suudavad ennustada parimat pikslite kombinatsiooni. Kasutusjuhtumiteks on näiteks rõivadisaini genereerimine või väljamõeldud isikupärastatud pildid.
- Tekst heliks või videoks – FM-treeninguks saab kasutada nii märgistatud kui ka märgistamata andmeid. Üks peamisi generatiivseid AI kasutusjuhtumeid on muusika kompositsioon.
Nende generatiivsete AI kasutusjuhtude produtseerimiseks peame laenama ja laiendama MLOps-domeeni, et hõlmata järgmist:
- FM-operatsioonid (FMOps) - See võib luua generatiivseid AI-lahendusi, sealhulgas mis tahes kasutusjuhtumeid
- LLM-i toimingud (LLMOps) - See on FMO-de alamhulk, mis keskendub LLM-põhiste lahenduste (nt tekst tekstiks) produtseerimisele
Järgmine joonis illustreerib nende kasutusjuhtude kattumist.
Võrreldes klassikaliste ML-i ja MLO-dega, lükkavad FMOps ja LLMOps edasi nelja põhikategooria alusel, mida käsitleme järgmistes jaotistes: inimesed ja protsess, FM-i valimine ja kohandamine, FM-i hindamine ja jälgimine, andmete privaatsus ja mudeli juurutamine ning tehnoloogiavajadused. Järelevalvet käsitleme eraldi postituses.
Operatsiooniteekond generatiivse AI kasutajatüübi järgi
Protsesside kirjelduse lihtsustamiseks peame kategoriseerima peamised generatiivsed AI kasutajatüübid, nagu on näidatud järgmisel joonisel.
Kasutajatüübid on järgmised:
- Providers – Kasutajad, kes loovad FM-e nullist ja pakuvad neid tootena teistele kasutajatele (peenhäälestaja ja tarbija). Neil on põhjalikud täielikud ML-i ja loomuliku keele töötlemise (NLP) teadmised ja andmeteaduse oskused ning tohutud andmesildijate ja toimetajate meeskonnad.
- Peenhäälestajad – Kasutajad, kes koolitavad (peenhäälestavad) FM-e teenusepakkujatelt kohandatud nõuete järgi. Nad juhivad mudeli juurutamist tarbijatele mõeldud teenusena. Need kasutajad vajavad tugevat täielikku ML-i ja andmeteaduse teadmisi ning teadmisi mudeli juurutamise ja järelduste tegemise kohta. Häälestamiseks, sealhulgas kiireks inseneriks, on vaja ka tugevaid domeeniteadmisi.
- Tarbijad – kasutajad, kes suhtlevad teenusepakkujate või peenhäälestajate generatiivsete AI-teenustega tekstiviipade või visuaalse liidese abil soovitud toimingute tegemiseks. ML-teadmisi pole vaja, vaid enamasti rakenduste arendajad või lõppkasutajad, kes mõistavad teenuse võimalusi. Paremate tulemuste saavutamiseks on vajalik ainult kiire projekteerimine.
Definitsiooni ja nõutavate ML-teadmiste kohaselt on MLOps-id vaja peamiselt pakkujate ja peenhäälestajate jaoks, samas kui tarbijad saavad generatiivsete AI-rakenduste loomiseks kasutada rakenduste tootmise põhimõtteid, nagu DevOps ja AppDev. Lisaks oleme täheldanud liikumist kasutajatüüpide vahel, kus pakkujad võivad saada peenhäälestajateks, et toetada konkreetsel vertikaalil (nt finantssektor) põhinevaid kasutusjuhtumeid, või tarbijad võivad saada täpsemate tulemuste saavutamiseks peenhäälestajateks. Kuid vaatleme peamisi protsesse kasutajatüübi järgi.
Tarbijate teekond
Järgmine joonis illustreerib tarbija teekonda.
Nagu eelnevalt mainitud, peavad tarbijad valima, testima ja kasutama FM-i, pakkudes sellega konkreetseid sisendeid ehk teisisõnu küsib. Viibad viitavad arvutiprogrammeerimise ja tehisintellekti kontekstis sisendile, mis antakse mudelile või süsteemile vastuse genereerimiseks. See võib olla teksti, käsu või küsimuse kujul, mida süsteem kasutab väljundi töötlemiseks ja genereerimiseks. FM-i genereeritud väljundit saavad seejärel kasutada lõppkasutajad, kes peaksid samuti suutma neid väljundeid hinnata, et parandada mudeli tulevasi reaktsioone.
Lisaks nendele põhiprotsessidele oleme märganud, et tarbijad väljendavad soovi mudelit täpsustada, kasutades ära peenhäälestajate pakutavaid funktsioone. Võtke näiteks veebisait, mis loob pilte. Siin saavad lõppkasutajad luua privaatseid kontosid, laadida üles isiklikke fotosid ja seejärel luua nende piltidega seotud sisu (näiteks luua pilt, mis kujutab lõppkasutajat mõõkaga mootorrattal või eksootilises kohas). Selle stsenaariumi korral peab tarbija loodud generatiivne AI-rakendus suhtlema peenhäälestaja taustaprogrammiga API-de kaudu, et pakkuda seda funktsiooni lõppkasutajatele.
Kuid enne sellesse süvenemist keskendume kõigepealt mudeli valimise, testimise, kasutamise, sisendi ja väljundi interaktsiooni ning reitingu teekonnale, nagu on näidatud järgmisel joonisel.
1. samm. Mõistke parimaid FM-i võimalusi
Vundamendi mudelite valimisel tuleb arvestada paljude mõõtmetega, olenevalt kasutusjuhtumist, saadaolevatest andmetest, eeskirjadest jne. Hea kontroll-loend, ehkki mitte kõikehõlmav, võib olla järgmine:
- Omandatud või avatud lähtekoodiga FM – Patenditud mudelid maksavad sageli rahalisi kulusid, kuid pakuvad tavaliselt paremat jõudlust (loodud teksti või pildi kvaliteedi osas), mida sageli arendavad ja hooldavad mudelipakkujate pühendunud meeskonnad, kes tagavad optimaalse jõudluse ja töökindluse. Teisest küljest näeme ka avatud lähtekoodiga mudelite kasutuselevõttu, mis lisaks tasuta kättesaadavusele pakuvad täiendavaid eeliseid, kuna need on juurdepääsetavad ja paindlikud (näiteks iga avatud lähtekoodiga mudel on peenhäälestatud). Patenditud mudeli näide on Anthropicu Claude'i mudel ja suure jõudlusega avatud lähtekoodiga mudeli näide on 40. aasta juuli seisuga Falcon-2023B.
- Kaubanduslik litsents – FM-i valimisel on litsentsimise kaalutlused üliolulised. Oluline on märkida, et mõned mudelid on avatud lähtekoodiga, kuid neid ei saa litsentsipiirangute või -tingimuste tõttu ärilistel eesmärkidel kasutada. Erinevused võivad olla väikesed: äsja välja antud xgen-7b-8k-baas mudel on näiteks avatud lähtekoodiga ja kaubanduslikult kasutatav (Apache-2.0 litsents), samas kui mudeli juhistega peenhäälestatud versioon xgen-7b-8k-inst avaldatakse ainult uurimise eesmärgil. Kommertsrakenduse jaoks FM-i valimisel on oluline kontrollida litsentsilepingut, mõista selle piiranguid ja tagada, et see on kooskõlas projekti kavandatud kasutusega.
- parameetrid – Teine oluline tegur on parameetrite arv, mis koosneb närvivõrgu kaaludest ja eelarvamustest. Rohkem parameetreid tähendab üldiselt keerukamat ja potentsiaalselt võimsamat mudelit, kuna see suudab tabada andmetes keerukamaid mustreid ja korrelatsioone. Kompromiss seisneb aga selles, et see nõuab rohkem arvutusressursse ja seetõttu maksab käitamine rohkem. Lisaks näeme suundumust väiksemate mudelite poole, eriti avatud lähtekoodiga ruumis (mudelid vahemikus 7–40 miljardit), mis toimivad hästi, eriti kui need on peenhäälestatud.
- Kiirus – Mudeli kiirust mõjutab selle suurus. Suuremad mudelid töötlevad andmeid aeglasemalt (kõrgem latentsusaeg), kuna arvutuslik keerukus on suurem. Seetõttu on ülioluline tasakaalustada vajadus suure ennustamisvõimega mudeli (sageli suuremate mudelite) järele praktiliste kiirusnõuetega, eriti rakendustes, nagu vestlusrobotid, mis nõuavad reaalajas või peaaegu reaalajas vastuseid.
- Kontekstiakna suurus (märkide arv) – Kontekstiaken, mis on määratletud ühe viipa kohta sisestatavate või väljastavate märkide maksimaalse arvuga, on otsustava tähtsusega selle määramisel, kui palju konteksti mudel suudab korraga arvesse võtta (inglise keeles tähendab token ligikaudu 0.75 sõna). Suuremate kontekstiakendega mudelid saavad aru ja genereerida pikemaid tekstijadasid, mis võivad olla kasulikud pikemate vestluste või dokumentidega seotud ülesannete puhul.
- Koolituse andmestik – Samuti on oluline mõista, milliste andmete põhjal FM-i õpetati. Mõned mudelid võivad olla koolitatud erinevate tekstiandmekogumitega, nagu Interneti-andmed, kodeerimisskriptid, juhised või inimeste tagasiside. Teisi võidakse õpetada ka multimodaalsete andmekogumite, näiteks teksti- ja pildiandmete kombinatsioonide alal. See võib mõjutada mudeli sobivust erinevate ülesannete jaoks. Lisaks võib organisatsioonil olla probleeme autoriõigustega, olenevalt täpsetest allikatest, mille kohta mudel on koolitatud. Seetõttu on koolituse andmekogumi hoolikas kontrollimine kohustuslik.
- Kvaliteet – FM-i kvaliteet võib varieeruda olenevalt selle tüübist (varaline vs. avatud lähtekoodiga), suurusest ja sellest, milleks seda õpetati. Kvaliteet sõltub kontekstist, mis tähendab, et see, mida peetakse ühe rakenduse jaoks kvaliteetseks, ei pruugi olla teise jaoks. Näiteks Interneti-andmetega koolitatud mudelit võib pidada kvaliteetseks vestlusteksti genereerimiseks, kuid vähem tehniliste või eriülesannete jaoks.
- Peenhäälestatav – Võimalus FM-i peenhäälestada, kohandades selle mudeli kaalu või kihte, võib olla otsustava tähtsusega. Peenhäälestus võimaldab mudelil paremini kohaneda rakenduse konkreetse kontekstiga, parandades konkreetse ülesande jõudlust. Peenhäälestus nõuab aga täiendavaid arvutusressursse ja tehnilisi teadmisi ning kõik mudelid seda funktsiooni ei toeta. Avatud lähtekoodiga mudelid on (üldiselt) alati peenhäälestatud, kuna mudeli artefaktid on allalaadimiseks saadaval ja kasutajad saavad neid oma äranägemise järgi laiendada ja kasutada. Patenditud mudelid võivad mõnikord pakkuda peenhäälestuse võimalust.
- Olemasolevad kliendioskused – FM-i valikut võivad mõjutada ka kliendi või arendusmeeskonna oskused ja tuttavlikkus. Kui organisatsiooni meeskonnas pole AI/ML-eksperte, võib API-teenus neile paremini sobida. Samuti, kui meeskonnal on konkreetse FM-iga laialdased kogemused, võib olla tõhusam jätkata selle kasutamist, mitte investeerida aega ja ressursse, et õppida ja kohaneda uuega.
Järgmine on näide kahest nimekirjast, millest üks on patenteeritud mudelite ja teine avatud lähtekoodiga mudelite jaoks. Võimalikest valikutest kiire ülevaate saamiseks võite koostada sarnaseid tabeleid oma konkreetsete vajaduste põhjal. Pange tähele, et nende mudelite jõudlus ja parameetrid muutuvad kiiresti ja võivad lugemise ajaks olla aegunud, samas kui muud võimalused võivad konkreetsete klientide jaoks olla olulised, näiteks toetatud keel.
Järgmine on näide märkimisväärsetest patenteeritud FM-idest, mis on saadaval AWS-is (juuli 2023).
Järgmine on näide märkimisväärsest avatud lähtekoodiga FM-ist, mis on saadaval AWS-is (juuli 2023).
Kui olete koostanud ülevaate 10–20 potentsiaalsest kandidaatmudelist, on vaja seda nimekirja veelgi täpsustada. Selles jaotises pakume välja kiire mehhanismi, mis annab järgmise vooru kandidaatidena kaks või kolm elujõulist lõplikku mudelit.
Järgmine diagramm illustreerib esialgset nimekirja lisamise protsessi.
Tavaliselt katsetavad viipade insenerid, kes on eksperdid kvaliteetsete viipade loomisel, mis võimaldavad AI-mudelitel kasutaja sisendeid mõista ja töödelda, erinevate meetodite abil, et täita mudelil sama ülesannet (nt kokkuvõtet). Soovitame neid viipasid mitte käigu pealt luua, vaid süstemaatiliselt viipade kataloogist välja võtta. See viipade kataloog on keskne asukoht viipade salvestamiseks, et vältida replikatsioone, lubada versioonihaldust ja jagada viipasid meeskonnas, et tagada järjepidevus erinevate viipade testijate vahel erinevates arendusetappides, mida tutvustame järgmises jaotises. See viipkataloog on analoogne funktsioonipoe Giti hoidlaga. Generatiivne tehisintellekti arendaja, kes võib potentsiaalselt olla sama isik kui kiire insener, peab seejärel hindama väljundit, et teha kindlaks, kas see sobiks generatiivse AI-rakenduse jaoks, mida nad soovivad arendada.
2. samm. Testige ja hinnake parimat FM-i
Pärast seda, kui valikloend on vähenenud ligikaudu kolmele FM-ile, soovitame FM-ide võimekuse ja kasutusjuhtumile sobivuse edasiseks testimiseks läbi viia hindamisetapi. Sõltuvalt hindamisandmete saadavusest ja iseloomust soovitame erinevaid meetodeid, nagu on näidatud järgmisel joonisel.
Esmalt kasutatav meetod sõltub sellest, kas teil on testiandmed märgistatud või mitte.
Kui teil on märgistatud andmeid, saate neid kasutada mudeli hindamiseks, nagu me teeme traditsiooniliste ML-mudelite puhul (sisestage mõned näidised ja võrrelge väljundit siltidega). Sõltuvalt sellest, kas testiandmetel on diskreetsed sildid (nagu positiivne, negatiivne või neutraalne sentimentanalüüs) või struktureerimata tekst (nt kokkuvõte), pakume hindamiseks erinevaid meetodeid:
- Täpsusnäitajad - Diskreetsete väljundite (nt sentimentide analüüs) korral saame kasutada standardseid täpsusmõõdikuid, nagu täpsus, meeldetuletus ja F1 skoor
- Sarnasuse mõõdikud – Kui väljund on struktureerimata (nt kokkuvõte), soovitame sarnasusmõõdikuid, nagu ROUGE ja koosinussarnasus
Mõned kasutusjuhud ei sobi ühe tõese vastuse saamiseks (nt „Loo minu 5-aastasele tütrele lühike lastejutt”). Sellistel juhtudel on mudelite hindamine keerulisem, kuna teil pole märgistatud katseandmeid. Sõltuvalt mudeli inimliku läbivaatamise ja automaatse hindamise olulisusest pakume välja kaks lähenemisviisi:
- Human-in-the-Loop (HIL) – Sel juhul vaatab kiiretest testijatest koosnev meeskond mudeli vastused üle. Olenevalt rakenduse kriitilisusest võivad testijad üle vaadata 100% mudeli väljunditest või ainult näidise.
- LLM-põhine hindamine – Selle stsenaariumi korral asendatakse kiired testijad LLM-iga, ideaaljuhul sellisega, mis on testitavatest võimsam (kuigi võib-olla aeglasem ja kulukam). LLM vaatab üle kõik mudeliga loodud vastused ja hindab neid. Selle meetodi tulemuseks võib olla madalam kvaliteet, kuid see on odavam ja kiirem hindamisvõimalus, mis võib anda mudelite jõudlusele hea esialgse mõõdupuu.
Näiteks saame kasutada järgmist LLM-i näidisviipa, mis sisaldab sisendpäringut, LLM-i vastust ja juhiseid: „Soovime küsida teie tagasisidet AI assistendi toimivuse kohta vastuseks ülaltoodud kasutaja küsimusele. . Palun hinnake assistendi vastuse abivalmidust, asjakohasust, täpsust ja detailsuse taset. Assistent saab koondhinde skaalal 1–10, kus kõrgem skoor näitab paremat üldist sooritust.
See viip saadetakse hindamiseks teisele LLM-ile (EvalLLM). Järgnev on näide, kus mudeli Falcon-40B reaktsiooni on hinnanud EvalLLM (antud juhul Claude). Kasutame küsimust "Mis siis, kui Suessi kanalit poleks kunagi ehitatud?" Vastus on järgmine:
Küsimus: Mis siis, kui Suessi kanalit poleks kunagi ehitatud?
pistrik-40b-instrueerima
Kui Suessi kanalit poleks kunagi ehitatud, peaksid laevad Vahemere ja Punase mere vahel navigeerimiseks Aafrikas ringi sõitma. See lisaks reisile märkimisväärselt aega ja vahemaad, muutes selle vähem tõhusaks ja kulukamaks. Lisaks oleks ilma Suessi kanalita paljud Lähis-Ida ja Põhja-Aafrika riigid olnud palju vähem ühenduses muu maailmaga, mis takistaks majanduslikku ja kultuurilist arengut.
Arvustus (skoor: 9/10)
Assistendi vastus on väga asjakohane, täpne ja üksikasjalik. See annab suurepärase vastuse kasutaja hüpoteetilisele küsimusele Suessi kanali puudumise kohta. Assistent juhib õigesti tähelepanu mõjule merereisidele ning majanduslikule ja kultuurilisele mõjule Lähis-Idale ja Põhja-Aafrikale. Siiski oleks võinud põhjalikuma vastuse saamiseks põhjalikumalt käsitleda geopoliitilisi mõjusid või mõju ülemaailmsetele kaubandusmudelitele.
Järgmine joonis illustreerib otsast lõpuni hindamisprotsessi näidet.
Selle näite põhjal peame hindamise teostamiseks esitama näidisviibad, mille salvestame viipade kataloogi, ja meie konkreetsete rakenduste põhjal märgistatud või märgistamata andmestiku. Näiteks märgistatud hindamisandmestikuga saame pakkuda viipasid (sisend ja päring), nagu „Andke mulle Ühendkuningriigi peaministri täisnimi aastal 2023”, ning väljundeid ja vastuseid, nagu „Rishi Sunak”. Märgistamata andmestiku puhul esitame ainult küsimuse või juhise, näiteks „Loo jaemüügiveebisaidi lähtekood”. Kutsume kiirkataloogi ja hindamisandmestiku kombinatsiooni hindamisjuhiste kataloog. Põhjus, miks me eristame viipade kataloogi ja hindamisviibade kataloogi, on see, et viimane on pühendatud konkreetsele kasutusjuhule, mitte üldiste viipade ja juhiste (nt küsimustele vastamine), mida viibakataloog sisaldab.
Selle hindamisviipade kataloogi puhul on järgmiseks sammuks hindamisviibade edastamine parimatele FM-idele. Tulemuseks on hindamistulemuste andmestik, mis sisaldab viipasid, iga FM-i väljundeid ja märgistatud väljundit koos skooriga (kui see on olemas). Märgistamata hindamisviipade kataloogi puhul on HIL-i või LLM-i jaoks tulemuste ülevaatamiseks ning hinde ja tagasiside andmiseks (nagu me varem kirjeldasime). Lõpptulemuseks on koondtulemused, mis ühendavad kõigi väljundite hinded (keskmise täpsuse või inimeste hinnangu arvutamine) ja võimaldavad kasutajatel mudelite kvaliteeti võrrelda.
Pärast hindamistulemuste kogumist teeme ettepaneku valida mudel mitme mõõtme alusel. Need taanduvad tavaliselt sellistele teguritele nagu täpsus, kiirus ja hind. Järgmisel joonisel on näide.
Igal mudelil on nendes mõõtmetes tugevad küljed ja teatud kompromissid. Olenevalt kasutusjuhtumist peaksime nendele dimensioonidele määrama erinevad prioriteedid. Eelmises näites valisime kõige olulisemaks teguriks kulud, millele järgneb täpsus ja seejärel kiirus. Kuigi see on aeglasem ja mitte nii tõhus kui FM1, on see piisavalt tõhus ja oluliselt odavam hostida. Järelikult võime valida parimaks valikuks FM2.
3. samm. Arendage generatiivse AI-rakenduse tausta- ja eesprogramm
Siinkohal on generatiivsed tehisintellekti arendajad koos kiirete inseneride ja testijate abiga välja valinud konkreetse rakenduse jaoks õige FM-i. Järgmise sammuna tuleb hakata arendama generatiivset AI rakendust. Oleme jaganud generatiivse AI-rakenduse arenduse kaheks kihiks, tausta- ja esiotsaks, nagu on näidatud järgmisel joonisel.
Taustaprogrammis lisavad generatiivsed AI-arendajad valitud FM-i lahendustesse ja teevad koos inseneridega koostööd, et luua automatiseerimine, et muuta lõppkasutaja sisend sobivateks FM-viipadeks. Viipetestijad loovad viipekataloogi vajalikud kirjed automaatseks või käsitsi (HIL või LLM) testimiseks. Seejärel loovad generatiivsed AI arendajad lõpliku väljundi saamiseks kiire aheldamise ja rakendusmehhanismi. Kiire aheldamine on selles kontekstis meetod dünaamilisemate ja kontekstiteadlikumate LLM-rakenduste loomiseks. See toimib, jagades keeruka ülesande väiksemateks, paremini juhitavateks alamülesanneteks. Näiteks kui esitame LLM-ile küsimuse „Kus sündis Ühendkuningriigi peaminister ja kui kaugel see koht on Londonist”, saab ülesande jaotada üksikuteks viipadeks, kus vastuse põhjal võib koostada viipa. eelnevast kiirest hinnangust, näiteks "Kes on Ühendkuningriigi peaminister", "Mis on nende sünnikoht" ja "Kui kaugel see koht on Londonist?" Teatud sisendi ja väljundi kvaliteedi tagamiseks peavad generatiivsed AI arendajad looma ka mehhanismi lõppkasutaja sisendite ja rakenduste väljundite jälgimiseks ja filtreerimiseks. Kui näiteks LLM-rakendus peaks vältima mürgiseid päringuid ja vastuseid, võivad nad sisendiks ja väljundiks rakendada toksilisuse detektorit ning need välja filtreerida. Lõpuks peavad nad pakkuma hindamismehhanismi, mis toetaks hindamisviibade kataloogi täiendamist heade ja halbade näidetega. Nende mehhanismide üksikasjalikum esitus esitatakse tulevastes postitustes.
Funktsionaalsuse pakkumiseks generatiivsele tehisintellekti lõppkasutajale on vaja välja töötada kasutajaliidese veebisait, mis suhtleb taustaprogrammiga. Seetõttu peavad DevOps ja AppDevs (rakenduste arendajad pilves) järgima parimaid arendustavasid, et rakendada sisendi/väljundi ja reitingu funktsionaalsust.
Lisaks sellele põhifunktsioonile peavad esi- ja taustaprogrammid hõlmama isiklike kasutajakontode loomise, andmete üleslaadimise, musta kasti peenhäälestamise ja põhi-FM-i asemel isikupärastatud mudeli kasutamise funktsiooni. Generatiivse AI-rakenduse tootmine on sarnane tavalise rakendusega. Järgmine joonis kujutab arhitektuuri näidet.
Selles arhitektuuris loovad ja testivad generatiivsed tehisintellekti arendajad, insenerid ja DevOps või AppDev rakendused käsitsi, juurutades selle CI/CD kaudu arenduskeskkonda (eelmisel joonisel generatiivne AI App Dev), kasutades selleks spetsiaalseid koodihoidlaid ja ühendades arendusharu. Selles etapis kasutavad generatiivsed AI-arendajad vastavat FM-i, helistades API-le, nagu on pakkunud peenhäälestajate FM-i pakkujad. Seejärel peavad nad rakenduse ulatuslikuks testimiseks reklaamima koodi testharusse, mis käivitab CI/CD kaudu juurutamise eeltootmiskeskkonda (generatiivne AI App Pre-prod). Selles keskkonnas peavad viipade testijad proovima suurt hulka viipade kombinatsioone ja tulemused üle vaatama. Testimisprotsessi automatiseerimiseks tulevikus tuleb viipade, väljundite ja ülevaate kombinatsioon viia hindamisviibade kataloogi. Pärast seda ulatuslikku testi on viimane samm generatiivse AI-rakenduse üleviimine tootmisse CI/CD kaudu, ühendades selle põhiharuga (generatiivne AI App Prod). Pange tähele, et kõik andmed, sealhulgas viipkataloog, hindamisandmed ja -tulemused, lõppkasutaja andmed ja metaandmed ning mudeli täpsustatud metaandmed, tuleb salvestada andmejärve või andmevõrgukihti. CI/CD torujuhtmed ja hoidlad tuleb salvestada eraldi tööriistakontole (sarnaselt MLO-de puhul kirjeldatule).
Pakkujate teekond
FM-i pakkujad peavad koolitama FM-e, näiteks süvaõppe mudeleid. Nende jaoks on vajalik täielik MLOps elutsükkel ja infrastruktuur. Täiendused on vajalikud ajalooliste andmete ettevalmistamisel, mudeli hindamisel ja jälgimisel. Nende teekonda illustreerib järgmine joonis.
Klassikalises ML-is luuakse ajaloolised andmed kõige sagedamini ETL-i torujuhtmete kaudu põhitõe edastamisel. Näiteks müügist loobumise prognoosi kasutamise korral värskendab automatiseerimine andmebaasi tabelit kliendi uue oleku alusel, et loobuda/mitte katkestada automaatselt. FM-ide puhul vajavad nad miljardeid märgistatud või märgistamata andmepunkte. Tekstist pildiks muutmise puhul peab andmesildistajate meeskond märgistama paarid käsitsi. See on kallis harjutus, mis nõuab suure hulga inimeste ressursse. Amazon SageMaker Ground Truth Plus võib pakkuda märgistajate meeskonda, kes seda tegevust teie eest teostab. Mõnel juhul saab seda protsessi ka osaliselt automatiseerida, näiteks kasutades CLIP-i sarnaseid mudeleid. LLM-i (nt tekst tekstiks muutmise) puhul on andmed märgistamata. Kuid need tuleb ette valmistada ja järgida olemasolevate ajalooliste märgistamata andmete vormingut. Seetõttu on vajalike andmete ettevalmistamiseks ja järjepidevuse tagamiseks vaja andmeredaktoreid.
Kui ajaloolised andmed on ette valmistatud, on järgmine samm mudeli väljaõpe ja tootmine. Pange tähele, et kasutada saab samu hindamismeetodeid, mida kirjeldasime tarbijate puhul.
Peenhäälestajate teekond
Peenhäälestajate eesmärk on kohandada olemasolevat FM-i oma konkreetse kontekstiga. Näiteks võib FM-mudel teha kokkuvõtte üldotstarbelisest tekstist, kuid mitte täpselt finantsaruandest või ei saa genereerida mittelevinud programmeerimiskeele lähtekoodi. Sellistel juhtudel peavad peenhäälestajad andmed märgistama, mudelit koolitustööga viimistlema, mudeli juurutama, tarbijaprotsesside põhjal testima ja mudelit jälgima. Seda protsessi illustreerib järgmine diagramm.
Praegu on kaks peenhäälestusmehhanismi:
- Peenhäälestus – Kasutades FM-i ja märgistatud andmeid, arvutab treeningtöö ümber süvaõppemudeli kihtide kaalud ja kõrvalekalded. See protsess võib olla arvutusmahukas ja nõuab tüüpilist andmemahtu, kuid võib anda täpseid tulemusi.
- Parameetritõhus peenhäälestus (PEFT) – Selle asemel, et kõik kaalud ja kallutused ümber arvutada, on teadlased näidanud, et süvaõppe mudelitele täiendavate väikeste kihtide lisamisega võivad nad saavutada rahuldavaid tulemusi (näiteks LoRA). PEFT nõuab väiksemat arvutusvõimsust kui sügav peenhäälestus ja vähema sisendandmetega koolitustöö. Puuduseks on potentsiaalne väiksem täpsus.
Järgmine diagramm illustreerib neid mehhanisme.
Nüüd, kui oleme määratlenud kaks peamist peenhäälestusmeetodit, on järgmine samm kindlaks teha, kuidas saame avatud lähtekoodiga ja patenteeritud FM-i juurutada ja kasutada.
Avatud lähtekoodiga FM-ide puhul saavad peenhäälestajad mudeli artefakti ja lähtekoodi veebist alla laadida, kasutades näiteks Kallistavate näomudelite keskus. See annab teile paindlikkuse mudeli põhjalikuks peenhäälestamiseks, selle salvestamiseks kohalikku mudeliregistrisse ja juurutamiseks Amazon SageMaker lõpp-punkt. See protsess nõuab Interneti-ühendust. Turvalisemate keskkondade toetamiseks (näiteks finantssektori klientide jaoks) saate mudeli kohapeal alla laadida, teha kõik vajalikud turvakontrollid ja laadida need AWS-i konto kohalikku ämbrisse. Seejärel kasutavad peenhäälestajad FM-i kohalikust ämbrist ilma Interneti-ühenduseta. See tagab andmete privaatsuse ja andmed ei liigu üle interneti. Seda meetodit illustreerib järgmine diagramm.
Patenditud FM-ide puhul on juurutamisprotsess erinev, kuna peenhäälestajatel pole juurdepääsu mudeli artefaktile ega lähtekoodile. Mudelid on salvestatud patenteeritud FM-i pakkuja AWS-kontodele ja mudeliregistritesse. Sellise mudeli SageMakeri lõpp-punkti juurutamiseks saavad peenhäälestajad taotleda ainult seda mudelipaketti, mis juurutatakse otse lõpp-punkti. See protsess nõuab kliendiandmete kasutamist patenteeritud FM-i pakkujate kontodel, mis tekitab küsimusi seoses klienditundlike andmete kasutamisega kaugkontol peenhäälestamiseks ja mudelite majutamise kohta mudeliregistris, mida jagatakse mitme kliendi vahel. . See toob kaasa mitme üürilepingu probleemi, mis muutub keerulisemaks, kui patenteeritud FM-teenuse pakkujad peavad neid mudeleid teenindama. Kui peenhäälestajad kasutavad Amazonase aluspõhi, on need väljakutsed lahendatud – andmed ei liigu üle Interneti ja FM-i pakkujatel pole juurdepääsu peenhäälestajate andmetele. Samad väljakutsed kehtivad ka avatud lähtekoodiga mudelite puhul, kui peenhäälestajad soovivad teenindada mitme kliendi mudeleid, näiteks näide, mille tõime varem veebisaidiga, kuhu tuhanded kliendid laadivad üles isikupärastatud pilte. Neid stsenaariume võib siiski pidada kontrollitavateks, kuna kaasatud on ainult peenhäälestaja. Seda meetodit illustreerib järgmine diagramm.
Tehnoloogilisest vaatenurgast on arhitektuur, mida peenhäälestaja peab toetama, nagu MLO-de oma (vt järgmist joonist). Peenhäälestus tuleb läbi viia arenduses, luues ML-konveierid, näiteks kasutades Amazon SageMakeri torujuhtmed; eeltöötluse, peenhäälestuse (koolitustöö) ja järeltöötluse teostamine; ja peenhäälestatud mudelite saatmine kohalikku mudeliregistrisse avatud lähtekoodiga FM-i puhul (vastasel juhul salvestatakse uus mudel patenteeritud FM-i pakkumiskeskkonda). Seejärel peame eeltootmise käigus testima mudelit, nagu me tarbija stsenaariumi jaoks kirjeldame. Lõpuks serveeritakse ja jälgitakse mudelit tootmisrežiimis. Pange tähele, et praegune (peenhäälestatud) FM nõuab GPU eksemplari lõpp-punkte. Kui peame juurutama iga peenhäälestatud mudeli eraldi lõpp-punktis, võib see sadade mudelite puhul kulusid suurendada. Seetõttu peame kasutama mitme mudeli lõpp-punkte ja lahendama mitme üürilepingu väljakutse.
Peenhäälestajad kohandavad FM-mudelit konkreetse konteksti alusel, et kasutada seda oma ärilistel eesmärkidel. See tähendab, et enamasti on peenhäälestajad ka tarbijad, kes peavad toetama kõiki kihte, nagu me eelmistes jaotistes kirjeldasime, sealhulgas generatiivse AI-rakenduse arendus, andmejärv ja andmevõrk ning MLOps.
Järgmine joonis illustreerib täielikku FM-i peenhäälestuse elutsüklit, mida peenhäälestajad vajavad generatiivse AI-lõppkasutaja jaoks.
Järgmine joonis illustreerib peamisi samme.
Peamised sammud on järgmised.
- Lõppkasutaja loob isikliku konto ja laadib üles privaatsed andmed.
- Andmed salvestatakse andmejärves ja neid eeltöödeldakse, et järgida vormingut, mida FM eeldab.
- See käivitab peenhäälestuse ML-konveieri, mis lisab mudeli mudeliregistrisse,
- Sealt alates võetakse mudel kasutusele minimaalse testimisega tootmisse või läbib mudel ulatusliku testimise HIL-i ja käsitsi kinnitamise väravatega.
- Peenhäälestatud mudel on tehtud lõppkasutajatele kättesaadavaks.
Kuna see infrastruktuur on mitteettevõtete klientide jaoks keeruline, andis AWS välja Amazon Bedrocki, et vähendada selliste arhitektuuride loomise ja peenhäälestatud FM-ide tootmisele lähemale toomist.
FMOps ja LLMOps isikud ja protsessid eristavad
Eelnevate kasutajatüüpi teekondade (tarbija, tootja ja peenhäälestaja) põhjal on vaja uusi spetsiifiliste oskustega isikuid, nagu on näidatud järgmisel joonisel.
Uued persoonid on järgmised:
- Andmesildistajad ja toimetajad – Need kasutajad märgistavad andmed, nt paaridesse või valmistage ette märgistamata andmed, nagu vaba tekst, ja laiendage täiustatud analüüsimeeskonna ja andmejärve keskkondi.
- Peenhäälestajad - Nendel kasutajatel on FM-ide kohta sügavad teadmised ja nad teavad neid häälestada, laiendades andmeteaduse meeskonda, mis keskendub klassikalisele ML-ile.
- Generatiivsed AI arendajad – Neil on sügavad teadmised FM-ide valimise, viipade ja rakenduste aheldamise ning sisendite ja väljundite filtreerimise kohta. Nad kuuluvad uude meeskonda - generatiivse AI rakenduste meeskond.
- Kiired insenerid – Need kasutajad kujundavad sisend- ja väljundviibad, et kohandada lahendust kontekstiga ning testida ja luua viibakataloogi esialgne versioon. Nende meeskond on generatiivse AI rakenduste meeskond.
- Kiired testijad – Nad testivad mastaapselt generatiivset AI-lahendust (tausta- ja esiosa) ja edastavad oma tulemusi, et täiendada kiiret kataloogi ja hindamisandmestikku. Nende meeskond on generatiivse AI rakenduste meeskond.
- AppDev ja DevOps – Nad arendavad generatiivse AI-rakenduse esiosa (nt veebisaiti). Nende meeskond on generatiivse AI rakenduste meeskond.
- Generatiivsed AI lõppkasutajad – Need kasutajad kasutavad generatiivseid AI-rakendusi mustade kastidena, jagavad andmeid ja hindavad väljundi kvaliteeti.
MLOps protsessikaardi laiendatud versiooni generatiivse tehisintellekti kaasamiseks saab illustreerida järgmise joonisega.
Uus rakenduskiht on keskkond, kus generatiivse AI arendajad, insenerid ja testijad ning AppDevs lõid generatiivsete AI rakenduste tausta- ja esiosa. Generatiivsed AI-lõppkasutajad suhtlevad generatiivsete AI-rakenduste esiotsaga Interneti (nt veebiliidese) kaudu. Teisest küljest peavad andmesildistajad ja redigeerijad andmeid eeltöötlema ilma andmejärve või andmevõrgu taustaprogrammi juurde pääsemata. Seetõttu on andmetega turvaliseks suhtlemiseks vajalik redaktoriga veebi kasutajaliides (veebisait). SageMaker Ground Truth pakub seda funktsiooni karbist välja.
Järeldus
MLOps aitab meil ML-mudeleid tõhusalt toota. Generatiivsete AI-rakenduste kasutuselevõtuks vajate aga täiendavaid oskusi, protsesse ja tehnoloogiaid, mis viivad FMOps-i ja LLMOpsini. Selles postituses määratlesime FMOps ja LLMOps peamised mõisted ning kirjeldasime peamisi eristajaid võrreldes MLOps-i võimalustega inimeste, protsesside, tehnoloogia, FM-mudeli valiku ja hindamise osas. Lisaks illustreerisime generatiivse AI arendaja mõtteprotsessi ja generatiivse AI rakenduse arendustsüklit.
Tulevikus keskendume lahenduste pakkumisele selles valdkonnas, mida arutasime, ja anname rohkem üksikasju selle kohta, kuidas integreerida FM-seire (nt toksilisus, eelarvamused ja hallutsinatsioonid) ja kolmanda osapoole või privaatsete andmeallikate arhitektuurimustrid, näiteks Retrieval Augmented Generation (RAG) FMOps/LLMOps-i.
Lisateabe saamiseks vaadake MLOpsi sihtasutuse tegevuskava Amazon SageMakeriga ettevõtetele ja proovige otsast lõpuni lahendust MLOps tavade rakendamine Amazon SageMaker JumpStart eelkoolitatud mudelitega.
Kui teil on kommentaare või küsimusi, jätke need kommentaaride jaotisesse.
Autoritest
Dr Sokratis Kartakis on Amazon Web Servicesi masinõppe ja operatsioonide lahenduste vanemarhitekt. Sokratis keskendub sellele, et võimaldada ettevõtetel klientidel oma masinõppe (ML) lahendusi industrialiseerida, kasutades AWS-i teenuseid ja kujundades oma tegevusmudelit, st MLOps-i vundamenti, ja transformatsiooni tegevuskava, kasutades parimaid arendustavasid. Ta on veetnud üle 15 aasta, et leiutada, kavandada, juhtida ja juurutada uuenduslikke täistootmise tasemel ML ja asjade Interneti (IoT) lahendusi energeetika, jaemüügi, tervishoiu, rahanduse/panganduse, motospordi jne valdkondades. Sokratisele meeldib veeta oma vaba aega pere ja sõpradega või mootorrattaga sõites.
Heiko Hotz on tehisintellekti ja masinõppe lahenduste vanemarhitekt, kes on keskendunud loomuliku keele töötlemisele, suurtele keelemudelitele ja generatiivsele tehisintellektile. Enne seda rolli oli ta Amazoni EL-i klienditeeninduse andmeteaduse juht. Heiko aitab meie klientidel olla edukas AI/ML teekonnal AWS-is ning on töötanud organisatsioonidega paljudes tööstusharudes, sealhulgas kindlustus, finantsteenused, meedia ja meelelahutus, tervishoid, kommunaalteenused ja tootmine. Vabal ajal reisib Heiko nii palju kui võimalik.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Autod/elektrisõidukid, Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- ChartPrime. Tõsta oma kauplemismängu ChartPrime'iga kõrgemale. Juurdepääs siia.
- BlockOffsets. Keskkonnakompensatsiooni omandi ajakohastamine. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/fmops-llmops-operationalize-generative-ai-and-differences-with-mlops/
- :on
- :on
- :mitte
- : kus
- $ UP
- 1
- 10
- 100
- 2023
- 23
- 7
- 75
- a
- võime
- Võimalik
- MEIST
- üle
- ABSTRACT
- juurdepääs
- juurdepääsetav
- Ligipääs
- konto
- Kontod
- täpsus
- täpne
- täpselt
- Saavutada
- meetmete
- tegevus
- kohandama
- kohandamine
- lisama
- lisades
- lisamine
- Täiendavad lisad
- Lisaks
- täiendused
- Lisab
- haldamine
- Vastuvõtmine
- edasijõudnud
- Aafrika
- pärast
- Kokkulepe
- AI
- Tehisintellekt ja masinõpe
- AI assistent
- AI mudelid
- AI teenused
- ai kasutusjuhtumeid
- AI / ML
- eesmärk
- Joondab
- Materjal: BPA ja flataatide vaba plastik
- võimaldama
- võimaldab
- mööda
- juba
- Ka
- Kuigi
- alati
- Amazon
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Amazon Web Services
- vahel
- summa
- an
- analüüs
- analytics
- ja
- infrastruktuuri
- Teine
- vastus
- vastuseid
- mistahes
- API
- API-liidesed
- app
- taotlus
- Sovelluskehitys
- rakendused
- kehtima
- lähenemine
- lähenemisviisid
- asjakohane
- heakskiit
- umbes
- arhitektid
- arhitektuuri-
- arhitektuur
- OLEME
- ümber
- AS
- Hindamine
- assistent
- At
- auditeeritud
- audiitorid
- suurendatud
- automatiseerima
- Automatiseeritud
- Automaatne
- automaatselt
- Automaatika
- kättesaadavus
- saadaval
- keskmine
- vältima
- AWS
- Taustaprogramm
- Halb
- Saldo
- põhineb
- põhiline
- BE
- sest
- muutuma
- muutub
- olnud
- enne
- on
- võrrelda
- Kasu
- BEST
- Parem
- vahel
- erapoolikus
- kalduvusi
- Miljard
- miljardeid
- Must
- sündinud
- laenama
- mõlemad
- eest
- Kast
- karbid
- Filiaal
- Purustamine
- lühidalt
- Toomine
- Katki
- ehitama
- Ehitus
- ehitatud
- äri
- kuid
- by
- arvutama
- helistama
- kutsutud
- kutsudes
- CAN
- kandidaat
- kandidaadid
- võimeid
- võime
- lüüa
- juhul
- juhtudel
- kataloog
- kategooriad
- kesk-
- tsentraliseeritud
- kindel
- väljakutse
- väljakutseid
- raske
- muutma
- jututoad
- odavam
- Kontroll
- valik
- valimine
- klassika
- lähedalt
- lähemale
- Riided
- Cloud
- kood
- Kodeerimine
- Teevad koostööd
- kombinatsioon
- kombinatsioonid
- ühendama
- Tulema
- kommentaarid
- kaubandus-
- kaubanduslikult
- ühine
- võrdlema
- võrreldes
- täitma
- lõpetamist
- keeruline
- keerukus
- Vastavus
- Nõuetele vastav
- koostis
- terviklik
- arvutusjõud
- arvuti
- kontsentraat
- mõiste
- mõisted
- Murettekitav
- Tingimused
- Läbi viima
- läbi
- seotud
- ühendus
- Järelikult
- Arvestama
- kaalutlused
- kaaluda
- tarbima
- tarbija
- Tarbijad
- tarbimine
- Konteiner
- sisaldab
- sisu
- sisu loomine
- kontekst
- jätkama
- kontrollida
- jutukas
- vestlused
- autoriõigus
- Vastav
- Maksma
- kulukas
- kulud
- võiks
- riikides
- cover
- kaetud
- looma
- loodud
- loob
- loomine
- loomine
- kriitiline
- otsustav
- kultuuriline
- Praegune
- tava
- klient
- kliendi andmed
- Kasutajatugi
- Kliendid
- andmed
- andmejärv
- andmepunktid
- Andmete ettevalmistamine
- andmekaitse
- andmeteadus
- andmebaas
- andmekogumid
- Detsentraliseeritud
- Otsustamine
- otsused
- pühendunud
- sügav
- sügav sukeldumine
- sügav õpe
- määratletud
- määratlemisel
- määratlus
- mõisted
- tarnima
- süvenema
- Nõudlus
- Olenevalt
- sõltub
- kujutavad
- juurutada
- lähetatud
- juurutamine
- kasutuselevõtu
- kirjeldama
- kirjeldatud
- kirjeldus
- Disain
- kavandatud
- projekteerimine
- soov
- soovitud
- üksikasjalik
- detailid
- Määrama
- määrates kindlaks
- dev
- arendama
- arenenud
- arendaja
- Arendajad
- arenev
- & Tarkvaraarendus
- arendusmeeskond
- erinevused
- erinev
- eristada
- mõõdud
- otse
- arutama
- arutatud
- kuvatakse
- kaugus
- sukelduma
- mitu
- do
- dokumendid
- Ei tee
- domeen
- Domeenid
- Ära
- alla
- lae alla
- ajam
- kaks
- dünaamiline
- e
- iga
- Ajalugu
- Ida
- lihtne
- Majanduslik
- toimetaja
- Tõhus
- tõhus
- tõhusalt
- jõupingutusi
- kumbki
- välja töötatud
- valitud
- võimaldama
- võimaldades
- lõpp
- Lõpuks-lõpuni
- Lõpp-punkt
- energia
- insener
- Inseneriteadus
- Inseneride
- Inglise
- suurendama
- tagama
- tagab
- ettevõte
- ettevõtete
- meelelahutus
- keskkond
- keskkondades
- Võrdselt
- eriti
- oluline
- jms
- EU
- hindama
- hinnatud
- hindamine
- Isegi
- Iga
- näide
- näited
- suurepärane
- erutatud
- Teostama
- olemasolevate
- olemas
- Eksootiline
- ootab
- kallis
- kogemus
- eksperiment
- teadmised
- ekspertide
- ära kasutades
- laiendama
- laiendades
- laiendamine
- ulatuslik
- Laialdased kogemused
- laialdaselt
- väljavõte
- f1
- nägu
- faktor
- tegurid
- Tuttav
- pere
- kaugele
- kiiremini
- tunnusjoon
- tagasiside
- toitmine
- Joonis
- filtreerida
- filtreerimine
- lõplik
- Lõpuks
- finants-
- finantsaruanne
- Finantssektor
- finantsteenused
- esimene
- sobima
- Paindlikkus
- paindlik
- Keskenduma
- keskendunud
- keskendub
- keskendumine
- järgima
- Järgneb
- Järel
- järgneb
- eest
- Tarbijatele
- vorm
- formaat
- Sihtasutus
- neli
- tasuta
- sõbrad
- Alates
- esi-
- Esiots
- Frontend
- täis
- funktsionaalsus
- põhiline
- edasi
- Pealegi
- tulevik
- Gates
- gabariit
- Üldine
- Üldine otstarve
- üldiselt
- tekitama
- loodud
- genereerib
- teeniva
- põlvkond
- generatiivne
- Generatiivne AI
- geopoliitiline
- saama
- Git
- antud
- annab
- Globaalne
- maailmakaubanduse
- hea
- valitsemistava
- GPU
- Maa
- olnud
- käsi
- Kasutamine
- Olema
- võttes
- he
- juhataja
- Tervis
- tervishoid
- aitama
- aitab
- siin
- Suur
- kvaliteetne
- rohkem
- kõrgelt
- tema
- ajalooline
- hoidma
- võõrustaja
- võõrustas
- Kuidas
- Kuidas
- aga
- HTML
- HTTPS
- inim-
- sajad
- i
- ideaalis
- if
- illustreerib
- pilt
- pildid
- kujuteldav
- mõju
- rakendada
- rakendamisel
- mõjud
- tähtsus
- oluline
- Paranemist
- in
- sisaldama
- hõlmab
- Kaasa arvatud
- lisada
- Suurendama
- kasvanud
- näitab
- näitajad
- eraldi
- tööstusharudes
- mõju
- mõjutatud
- Infrastruktuur
- esialgne
- uuenduslik
- sisend
- sisendite
- Näiteks
- selle asemel
- juhised
- kindlustus
- integreerima
- ette nähtud
- suhelda
- suhtlevad
- suhtlemist
- interaktiivne
- Interface
- Internet
- internetiühendus
- Asjade Internet
- sisse
- kehtestama
- investeerimine
- seotud
- kaasates
- asjade Interneti
- IT
- ITS
- töö
- teekond
- Reisid
- Juuli
- lihtsalt
- Võti
- võtmetegur
- Laps
- Teadma
- teadmised
- teatud
- silt
- Labels
- järv
- keel
- suur
- suurem
- viimane
- Hilinemine
- kiht
- kihid
- juhtivate
- Leads
- Õppida
- õppimine
- Lahkuma
- Laenata
- vähem
- Tase
- võimendav
- raamatukogud
- litsents
- litsentsimine
- eluring
- nagu
- meeldib
- piirangud
- LINK
- LLM
- koormus
- kohalik
- asub
- liising
- London
- Pikk
- enam
- vähendada
- masin
- masinõpe
- tehtud
- põhiline
- säilitada
- Enamus
- Tegemine
- juhitav
- kohustuslik
- käsiraamat
- käsitsi
- tootmine
- palju
- kaart
- suur
- tähtaeg
- maksimaalne
- mai..
- me
- tähendus
- vahendid
- mehhanism
- mehhanismid
- Meedia
- Vahemere
- mainitud
- ühinevad
- silma
- Metaandmed
- meetod
- Metoodika
- meetodid
- Meetrika
- Kesk-
- Lähis-Ida
- võib
- miinimum
- ML
- MLOps
- mudel
- mudelid
- Jälgida
- jälgitakse
- järelevalve
- rohkem
- tõhusam
- kõige
- enamasti
- Motorsports
- liikuma
- kolis
- liikumine
- palju
- mitmekordne
- muusika
- peab
- my
- nimi
- Natural
- Natural Language Processing
- loodus
- Navigate
- vajalik
- Vajadus
- vaja
- vajadustele
- negatiivne
- võrk
- Närvivõrgus
- Neutraalne
- mitte kunagi
- Uus
- äsja
- järgmine
- nlp
- ei
- normaalne
- põhja-
- märkimisväärne
- number
- jälgima
- of
- pakkuma
- pakutud
- sageli
- on
- Pardal
- ONE
- ones
- ainult
- avatud
- avatud lähtekoodiga
- tegutsevad
- Operations
- optimaalselt
- valik
- Valikud
- or
- organisatsioon
- organisatsioonid
- Muu
- teised
- muidu
- meie
- välja
- Tulemus
- väljund
- üle
- üldine
- ülevaade
- enda
- omanik
- omanikud
- pakend
- paari
- parameetrid
- mustrid
- Inimesed
- kohta
- täitma
- jõudlus
- esitades
- ehk
- inimene
- isiklik
- Isikliku
- perspektiiv
- faas
- Fotod
- tükk
- torujuhe
- Koht
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- palun
- Punkt
- võrra
- Poliitika
- positiivne
- omama
- võimalik
- post
- Postitusi
- potentsiaal
- potentsiaalselt
- võim
- võimas
- Praktiline
- tavad
- Täpsus
- ennustada
- ennustus
- Ennustused
- ettevalmistamine
- Valmistama
- valmis
- ettevalmistamisel
- esitatud
- eelmine
- varem
- Peamine
- peaminister
- põhimõtted
- Eelnev
- Prioriteet
- privaatsus
- era-
- Probleem
- protsess
- Protsessid
- töötlemine
- Toodetud
- tootja
- Toode
- Produktsioon
- Programming
- projekt
- edendama
- tõend
- tõendi mõiste
- esitama
- varaline
- Tõesta
- anda
- tingimusel
- tarnija
- pakkujad
- annab
- pakkudes
- eesmärk
- eesmärkidel
- vajutab
- mõistatus
- kvaliteet
- küsimus
- Küsimused
- Kiire
- tõstab
- valik
- alates
- kiiresti
- määr
- pigem
- hinnang
- Lugemine
- reaalajas
- põhjus
- saama
- soovitama
- Red
- Lühendatud
- filtreeri
- kohta
- registrid
- registri
- määrused
- seotud
- vabastatud
- asjakohasus
- asjakohane
- usaldusväärsus
- jäänused
- kauge
- asendatakse
- aru
- Hoidla
- esindamine
- esindaja
- taotleda
- Taotlusi
- nõutav
- Nõuded
- Vajab
- teadustöö
- Teadlased
- Vahendid
- vastavalt
- vastus
- vastuste
- vastutav
- REST
- piirangud
- Piirav
- kaasa
- Tulemused
- jaemüük
- taaskasutada
- läbi
- -Läbi
- ratsutamine
- õige
- tegevuskava
- Roll
- rollid
- ligikaudu
- ümber
- jooks
- jooksmine
- salveitegija
- sama
- liivakast
- Skaala
- ketendamine
- stsenaarium
- stsenaariumid
- teadus
- teadlased
- skoor
- kriimustada
- skripte
- SEA
- Osa
- lõigud
- sektor
- kindlustama
- kindlalt
- turvalisus
- julgeolekupoliitika
- vaata
- otsib
- väljavalitud
- valides
- valik
- saatmine
- vanem
- Saadetud
- tunne
- eri
- Jada
- Seeria
- teenima
- teenus
- Teenused
- teenindavad
- komplekt
- mitu
- vormimine
- Jaga
- jagatud
- laevade
- Lühike
- peaks
- näidatud
- Näitused
- külg
- märkimisväärne
- märgatavalt
- sarnane
- lihtsustama
- SUURUS
- oskused
- väike
- väiksem
- VKEde
- So
- lahendus
- Lahendused
- LAHENDAGE
- mõned
- allikas
- lähtekoodi
- Allikad
- Ruum
- eriline
- spetsialist
- spetsialiseeritud
- konkreetse
- eriti
- kiirus
- kulutama
- kasutatud
- Stage
- etappidel
- huvirühmad
- standard
- standardimine
- algus
- olek
- Samm
- Sammud
- salvestada
- ladustatud
- ladustamine
- Lugu
- tugevused
- tugev
- Järgnevalt
- edukas
- selline
- soovitama
- sobivus
- sobiv
- Kokku võtta
- KOKKUVÕTE
- toetama
- Toetatud
- peaks
- kindel
- SWIFT
- süsteem
- tabel
- Võtma
- Ülesanne
- ülesanded
- meeskond
- meeskonnad
- Tehniline
- tehnikat
- Tehnoloogiad
- Tehnoloogia
- tingimused
- test
- katsetatud
- testijad
- Testimine
- kui
- et
- .
- Tulevik
- Allikas
- Suurbritannia
- maailm
- oma
- Neile
- ennast
- SIIS
- Seal.
- seetõttu
- Need
- nad
- asjad
- Mõtlemine
- kolmanda osapoole
- see
- need
- kuigi?
- arvasin
- tuhandeid
- kolm
- aeg
- et
- kokku
- sümboolne
- märgid
- ülemine
- Teemasid
- suunas
- kaubelda
- traditsiooniline
- Rong
- koolitatud
- koolitus
- Muutma
- Transformation
- reisima
- reisib
- Trend
- vallandada
- tõsi
- Tõde
- püüdma
- kaks
- tüüp
- liigid
- tüüpiliselt
- ui
- Uk
- mõistma
- mõistmine
- üksus
- üksused
- Uudised
- Üleslaadimine
- us
- kasutatav
- Kasutus
- kasutama
- kasutage juhtumit
- Kasutatud
- Kasutaja
- Kasutajad
- kasutusalad
- kasutamine
- kommunaalteenused
- kasutatud
- eri
- kontrollima
- versioon
- Versus
- vertikaalne
- kaudu
- elujõuline
- visualiseeri
- vs
- tahan
- oli
- we
- web
- veebiteenused
- veebisait
- Hästi
- M
- Mis on
- millal
- samas kui
- kas
- mis
- kuigi
- WHO
- lai
- Lai valik
- will
- aken
- aknad
- koos
- jooksul
- ilma
- sõna
- sõnad
- Töö
- koos töötama
- töötas
- töö
- töötab
- maailm
- oleks
- aastat
- saak
- sa
- Sinu
- sephyrnet