Nykyään suurin osa asiakkaistamme on innoissaan suurista kielimalleista (LLM) ja pohtiessaan, kuinka generatiivinen tekoäly voisi muuttaa heidän liiketoimintaansa. Tällaisten ratkaisujen ja mallien tuominen normaaliin toimintaan ei kuitenkaan ole helppoa. Tässä viestissä keskustelemme siitä, miten generatiivisia tekoälysovelluksia voidaan käyttää MLOps-periaatteilla, jotka johtavat perusmallitoimintoihin (FMOps). Lisäksi sukeltamme syvällisesti yleisimpiin generatiivisiin tekoälyn käyttötapauksiin tekstistä tekstiksi -sovelluksiin ja LLM-toimintoihin (LLMOps), jotka ovat FMOps-osajoukko. Seuraava kuva havainnollistaa käsittelemiämme aiheita.
Erityisesti esittelemme lyhyesti MLOps-periaatteet ja keskitymme tärkeimpiin eroavaisuuksiin verrattuna FMOps- ja LLMOps-prosesseihin, ihmisiin, mallien valintaan ja arviointiin, tietosuojaan ja mallin käyttöön. Tämä koskee asiakkaita, jotka käyttävät niitä suoraan, luovat alustamalleja alusta alkaen tai hienosäätävät niitä. Lähestymistapamme koskee yhtä lailla sekä avoimen lähdekoodin että patentoituja malleja.
ML-operaation yhteenveto
Kuten viestissä on määritelty MLOps-säätiön etenemissuunnitelma yrityksille Amazon SageMakerin kanssa, ML and Operations (MLOps) on ihmisten, prosessien ja teknologian yhdistelmä koneoppimisratkaisujen (ML) tuottamiseksi tehokkaasti. Tämän saavuttamiseksi tiimien ja henkilöiden yhdistelmän on tehtävä yhteistyötä, kuten seuraavassa kuvassa näkyy.
Nämä joukkueet ovat seuraavat:
- Edistyksellinen analytiikkatiimi (data Lake ja data mesh) – Tietosuunnittelijat ovat vastuussa tietojen valmistelusta ja syöttämisestä useista lähteistä, ETL-putkien rakentamisesta (extract, transform and load) tietojen kuratoimiseksi ja luetteloimiseksi sekä tarvittavien historiatietojen valmistelusta ML-käyttötapauksia varten. Nämä tietojen omistajat ovat keskittyneet tarjoamaan pääsyn tietoihinsa useille liiketoimintayksiköille tai tiimeille.
- Datatieteen tiimi – Tietojen tutkijoiden on keskityttävä luomaan paras malli, joka perustuu muistikirjoissa toimiviin ennalta määritettyihin avainindikaattoreihin (KPI). Tutkimusvaiheen päätyttyä datatieteilijöiden on tehtävä yhteistyötä ML-insinöörien kanssa luodakseen automaatioita rakentamiseen (ML-putkistot) ja mallien käyttöönottoon tuotantoon CI/CD-putkien avulla.
- Liiketoiminnan tiimi – Tuotteen omistaja on vastuussa mallin suorituskyvyn arvioinnissa käytettävien liiketoimintamallien, vaatimusten ja KPI:iden määrittelystä. ML-kuluttajat ovat muita liiketoiminnan sidosryhmiä, jotka käyttävät johtopäätöstuloksia (ennusteita) tehdäkseen päätöksiä.
- Alustan tiimi – Arkkitehdit vastaavat liiketoiminnan kokonaispilviarkkitehtuurista ja siitä, miten kaikki eri palvelut liittyvät toisiinsa. Tietoturva-pk-yritykset tarkastelevat arkkitehtuuria liiketoiminnan tietoturvapolitiikan ja -tarpeiden perusteella. MLOps-insinöörit ovat vastuussa suojatun ympäristön tarjoamisesta datatieteilijöille ja ML-insinööreille ML-käyttötapausten tuottamiseksi. He vastaavat erityisesti CI/CD-putkien, käyttäjä- ja palveluroolien ja säilön luomisen, mallien kulutuksen, testauksen ja käyttöönottomenetelmien standardoinnista liiketoiminta- ja tietoturvavaatimusten perusteella.
- Riski- ja vaatimustenmukaisuustiimi – Rajoitetuissa ympäristöissä auditoijat ovat vastuussa datan, koodin ja malliartefaktien arvioinnista ja sen varmistamisesta, että liiketoiminta noudattaa säännöksiä, kuten tietosuojaa.
Huomaa, että sama henkilö voi kattaa useita henkilöitä yrityksen skaalaus- ja MLOps-kypsyysasteesta riippuen.
Nämä persoonat tarvitsevat erilliset ympäristöt eri prosessien suorittamiseen, kuten seuraavassa kuvassa näkyy.
Ympäristöt ovat seuraavat:
- Alustan hallinto – Alustan hallintaympäristö on paikka, jossa alustatiimi voi luoda AWS-tilejä ja linkittää oikeat käyttäjät ja tiedot
- Päiväys – Tietokerros, joka tunnetaan usein nimellä data Lake tai data mesh, on ympäristö, jota tietosuunnittelijat tai omistajat ja yritysten sidosryhmät käyttävät tietojen valmistelemiseen, vuorovaikutukseen ja visualisointiin.
- kokeilu – Datatieteilijät testaavat hiekkalaatikkoa tai kokeiluympäristöä uusien kirjastojen ja ML-tekniikoiden avulla todistaakseen, että heidän konseptinsa voi ratkaista liiketoimintaongelmia.
- Mallin rakentaminen, mallin testaus, mallin käyttöönotto – Mallin rakennus-, testaus- ja käyttöönottoympäristö on MLOps-kerros, jossa datatieteilijät ja ML-insinöörit tekevät yhteistyötä automatisoidakseen ja siirtääkseen tutkimuksen tuotantoon.
- ML:n hallinto – Viimeinen pala palapelissä on ML-hallintaympäristö, jossa vastaavat persoonat tallentavat, tarkastavat ja tarkastavat kaikki mallin ja koodin artefaktit.
Seuraava kaavio havainnollistaa referenssiarkkitehtuuria, josta on jo keskusteltu MLOps-säätiön etenemissuunnitelma yrityksille Amazon SageMakerin kanssa.
Jokaisella liiketoimintayksiköllä on omat kehitys- (automaattinen mallin koulutus ja rakentaminen), esituotanto (automaattinen testaus) ja tuotanto (mallin käyttöönotto ja käyttö) tilit ML-käyttötapausten tuottamiseksi, jotka hakevat tietoja keskitetystä tai hajautetusta datajärvestä tai datasta. verkkoa vastaavasti. Kaikki valmistetut mallit ja koodiautomaatio tallennetaan keskitetylle työkalutilille mallirekisterin avulla. Kaikkien näiden tilien infrastruktuurikoodi on versioitu jaetulle palvelutilille (advanced analytics governance -tili), jota alustatiimi voi abstraktoida, mallintaa, ylläpitää ja käyttää uudelleen jokaisen uuden tiimin MLOps-alustan käyttöönottoon.
Generatiiviset AI-määritelmät ja erot MLO:ihin
Klassisessa ML:ssä edellinen ihmisten, prosessien ja teknologian yhdistelmä voi auttaa sinua tuotteistamaan ML-käyttötapauksiasi. Kuitenkin generatiivisessa tekoälyssä käyttötapausten luonne edellyttää joko näiden ominaisuuksien laajentamista tai uusia ominaisuuksia. Yksi näistä uusista käsitteistä on perusmalli (FM). Niitä kutsutaan sellaisiksi, koska niillä voidaan luoda laaja valikoima muita tekoälymalleja, kuten seuraavassa kuvassa näkyy.
FM:t on koulutettu teratavujen datan perusteella, ja niillä on satoja miljardeja parametreja, jotta ne pystyvät ennustamaan seuraavaksi parhaan vastauksen kolmen generatiivisen tekoälyn käyttötapausten pääluokan perusteella:
- Tekstistä tekstiksi – FM:t (LLM:t) on koulutettu merkitsemättömän datan (kuten vapaan tekstin) perusteella, ja ne pystyvät ennustamaan seuraavaksi parhaan sanan tai sanasarjan (kappaleet tai pitkät esseet). Tärkeimmät käyttötapaukset liittyvät ihmisen kaltaisiin chatboteihin, yhteenvetoon tai muuhun sisällön luomiseen, kuten ohjelmointikoodiin.
- Tekstistä kuvaksi – Merkittyjä tietoja, kuten pareja , on käytetty FM:ien kouluttamiseen, jotka pystyvät ennustamaan parhaan pikseliyhdistelmän. Esimerkkejä käyttötapauksista ovat vaatesuunnittelun sukupolvi tai kuvitteelliset yksilölliset kuvat.
- Tekstistä ääneksi tai videoksi – Sekä merkittyjä että merkitsemättömiä tietoja voidaan käyttää FM-harjoitteluun. Yksi tärkeimmistä generatiivisista tekoälyn käyttötapauksista on musiikin sävellys.
Tuottaaksemme nämä generatiiviset tekoälyn käyttötapaukset, meidän on lainattava ja laajennettava MLOps-verkkotunnus sisältämään seuraavat:
- FM-toiminnot (FMOps) – Tämä voi tuottaa generatiivisia tekoälyratkaisuja, mukaan lukien minkä tahansa käyttötapaustyypin
- LLM-toiminnot (LLMOps) – Tämä on FMOps-osajoukko, joka keskittyy LLM-pohjaisten ratkaisujen, kuten tekstistä tekstiksi, tuotantoon
Seuraava kuva havainnollistaa näiden käyttötapausten päällekkäisyyttä.
Verrattuna klassisiin ML- ja MLOps-järjestelmiin, FMOps ja LLMOps viivästyvät neljän pääkategorian perusteella, joita käsittelemme seuraavissa osioissa: ihmiset ja prosessit, FM:n valinta ja mukauttaminen, FM:n arviointi ja seuranta, tietosuoja ja mallin käyttöönotto sekä teknologiatarpeet. Kerromme seurannasta erillisessä postauksessa.
Operaatiomatka generatiivisen AI-käyttäjätyypin mukaan
Prosessien kuvauksen yksinkertaistamiseksi meidän on luokiteltava tärkeimmät generatiiviset AI-käyttäjätyypit seuraavan kuvan mukaisesti.
Käyttäjätyypit ovat seuraavat:
- Hankkija – Käyttäjät, jotka rakentavat FM:itä tyhjästä ja tarjoavat niitä tuotteena muille käyttäjille (hienoviritin ja kuluttaja). Heillä on syvällinen päästä päähän ML- ja luonnollisen kielen käsittelyn (NLP) asiantuntemus ja datatieteen taidot sekä massiiviset datamerkintä- ja editoritiimit.
- Hienosäätimet – Käyttäjät, jotka kouluttavat (hienovirittävät) FM-lähetyksiä palveluntarjoajilta mukautettujen vaatimusten mukaisiksi. He organisoivat mallin käyttöönoton palveluna kuluttajien käyttöön. Nämä käyttäjät tarvitsevat vahvaa päästä päähän ML- ja datatieteen asiantuntemusta sekä tietämystä mallin käyttöönotosta ja päättelystä. Viritystä varten tarvitaan myös vahvaa verkkotuntia, mukaan lukien nopea suunnittelu.
- Kuluttajat – Käyttäjät, jotka ovat vuorovaikutuksessa palveluntarjoajien tai hienovirittäjien luovien tekoälypalvelujen kanssa tekstikehotteen tai visuaalisen käyttöliittymän avulla haluttujen toimien suorittamiseksi. ML-asiantuntemusta ei vaadita, vaan enimmäkseen sovelluskehittäjiä tai loppukäyttäjiä, jotka ymmärtävät palvelun ominaisuudet. Vain nopea suunnittelu on tarpeen parempien tulosten saavuttamiseksi.
Määritelmän ja vaaditun ML-asiantuntemuksen mukaan MLOps:ita tarvitaan enimmäkseen palveluntarjoajilta ja hienovirittäjiltä, kun taas kuluttajat voivat käyttää sovellusten tuotantoperiaatteita, kuten DevOps ja AppDev luodessaan generatiivisia AI-sovelluksia. Lisäksi olemme havainneet liikettä käyttäjätyyppien välillä, jolloin palveluntarjoajista saattaa tulla hienosäätäjiä tukemaan tiettyyn toimialaan (kuten finanssialaan) perustuvia käyttötapauksia tai kuluttajista voi tulla hienosäätäjiä saadakseen tarkempia tuloksia. Mutta tarkastellaan pääprosesseja käyttäjätyyppikohtaisesti.
Kuluttajien matka
Seuraava kuva havainnollistaa kuluttajan matkaa.
Kuten aiemmin mainittiin, kuluttajien on valittava, testattava ja käytettävä FM-soitinta ja vuorovaikutuksessa sen kanssa antamalla erityisiä tuloja, jotka tunnetaan myös nimellä ohjeita. Ohjelmoinnin ja tekoälyn yhteydessä kehotteet viittaavat syötteeseen, joka annetaan mallille tai järjestelmälle vastauksen luomiseksi. Tämä voi olla tekstin, komennon tai kysymyksen muodossa, jonka avulla järjestelmä käsittelee ja tuottaa tulosteen. FM:n tuottamaa lähtöä voivat sitten hyödyntää loppukäyttäjät, joiden pitäisi myös pystyä arvioimaan nämä lähdöt parantaakseen mallin tulevia vasteita.
Näiden perusprosessien lisäksi olemme havainneet kuluttajien ilmaisevan halunsa hienosäätää mallia hyödyntämällä hienosäätimien tarjoamia toimintoja. Otetaan esimerkiksi verkkosivusto, joka luo kuvia. Täällä loppukäyttäjät voivat luoda yksityisiä tilejä, ladata henkilökohtaisia valokuvia ja myöhemmin luoda näihin kuviin liittyvää sisältöä (esimerkiksi luoda kuvan, joka esittää loppukäyttäjää miekkaa käyttävässä moottoripyörässä tai eksoottisessa paikassa). Tässä skenaariossa kuluttajan suunnitteleman generatiivisen tekoälysovelluksen on oltava vuorovaikutuksessa hienovirittimen taustajärjestelmän kanssa API:iden kautta toimittaakseen tämän toiminnon loppukäyttäjille.
Kuitenkin ennen kuin syvennymme siihen, keskitytään ensin mallien valinnan, testauksen, käytön, tulon ja lähdön vuorovaikutuksen ja luokituksen matkaan, kuten seuraavassa kuvassa näkyy.
Vaihe 1. Ymmärrä parhaat FM-ominaisuudet
Perustusmalleja valittaessa on otettava huomioon monia ulottuvuuksia riippuen käyttötapauksesta, saatavilla olevista tiedoista, määräyksistä ja niin edelleen. Hyvä tarkistuslista, vaikka se ei ole kattava, voi olla seuraava:
- Oma tai avoimen lähdekoodin FM – Omistusoikeudellisista malleista aiheutuu usein taloudellisia kustannuksia, mutta ne tarjoavat yleensä paremman suorituskyvyn (luodun tekstin tai kuvan laadun suhteen), ja niitä kehittävät ja ylläpitävät usein omistautuneita mallintoimittajia, jotka varmistavat optimaalisen suorituskyvyn ja luotettavuuden. Toisaalta näemme myös avoimen lähdekoodin mallien käyttöönottoa, jotka paitsi ovat ilmaisia, tarjoavat lisäetuja saavutettavuudesta ja joustavuudesta (esimerkiksi jokainen avoimen lähdekoodin malli on hienosäädettävä). Esimerkki patentoidusta mallista on Anthropicin Claude-malli, ja esimerkki tehokkaasta avoimen lähdekoodin mallista on Falcon-40B, heinäkuussa 2023.
- Kaupallinen lisenssi – Lisenssinäkökohdat ovat ratkaisevia valittaessa FM:ää. On tärkeää huomata, että jotkin mallit ovat avoimen lähdekoodin, mutta niitä ei voida käyttää kaupallisiin tarkoituksiin lisenssirajoitusten tai ehtojen vuoksi. Erot voivat olla hienovaraisia: Äskettäin julkaistu xgen-7b-8k-base malli on esimerkiksi avoimen lähdekoodin ja kaupallisesti käyttökelpoinen (Apache-2.0-lisenssi), kun taas mallin ohjeistettu versio xgen-7b-8k-inst julkaistaan vain tutkimustarkoituksiin. Kun valitset FM:ää kaupalliseen sovellukseen, on tärkeää tarkistaa lisenssisopimus, ymmärtää sen rajoitukset ja varmistaa, että se vastaa projektin käyttötarkoitusta.
- parametrit – Parametrien määrä, joka koostuu hermoverkon painotuksista ja biaseista, on toinen keskeinen tekijä. Enemmän parametreja tarkoittaa yleensä monimutkaisempaa ja mahdollisesti tehokkaampaa mallia, koska se voi siepata monimutkaisempia kuvioita ja korrelaatioita tiedoissa. Kompromissi on kuitenkin se, että se vaatii enemmän laskentaresursseja ja siksi sen käyttö maksaa enemmän. Lisäksi näemme suuntauksen kohti pienempiä malleja, erityisesti avoimen lähdekoodin alueella (7–40 miljardia mallia), jotka toimivat hyvin varsinkin hienosäädettynä.
- Nopeus – Mallin nopeuteen vaikuttaa sen koko. Suuremmat mallit käsittelevät tietoja yleensä hitaammin (korkeampi latenssi) lisääntyneen laskennan monimutkaisuuden vuoksi. Siksi on ratkaisevan tärkeää tasapainottaa mallin, jolla on suuri ennusteteho (usein isommat mallit) tarve käytännön nopeusvaatimuksiin, erityisesti sovelluksissa, kuten chat-boteissa, jotka vaativat reaaliaikaisia tai lähes reaaliaikaisia vastauksia.
- Kontekstiikkunan koko (merkkien määrä) – Konteksti-ikkuna, joka määritellään kehotekohtaisesti syötettävien tai tulostettavien merkkien enimmäismäärällä, on ratkaiseva määritettäessä, kuinka paljon kontekstia malli voi ottaa huomioon kerrallaan (englannin kielen sanake on suunnilleen 0.75 sanaa). Suuremmilla kontekstiikkunoilla varustetut mallit voivat ymmärtää ja luoda pidempiä tekstisarjoja, joista voi olla hyötyä tehtävissä, joihin liittyy pidempiä keskusteluja tai asiakirjoja.
- Koulutuksen tietojoukko – On myös tärkeää ymmärtää, minkälaiselle datalle FM on koulutettu. Jotkut mallit voidaan kouluttaa erilaisiin tekstitietosarjoihin, kuten Internet-tietoihin, koodausskripteihin, ohjeisiin tai ihmisten antamaan palautteeseen. Toiset voivat myös saada koulutusta multimodaalisista tietojoukoista, kuten teksti- ja kuvatietojen yhdistelmistä. Tämä voi vaikuttaa mallin soveltuvuuteen erilaisiin tehtäviin. Lisäksi organisaatiolla voi olla tekijänoikeusongelmia sen mukaan, mistä lähteistä mallia on koulutettu. Siksi koulutustietojoukko on tarkastettava tarkasti.
- Laatu – FM-soittimen laatu voi vaihdella sen tyypin (omistusoikeus vs. avoin lähdekoodi), koon ja koulutuksen mukaan. Laatu on kontekstista riippuvaista, mikä tarkoittaa, että se, mitä pidetään korkealaatuisena yhdessä sovelluksessa, ei välttämättä ole toisessa. Esimerkiksi Internet-dataan koulutettua mallia voidaan pitää korkealaatuisena keskustelutekstin luomisessa, mutta vähemmän teknisissä tai erikoistehtävissä.
- Hienosäädettävä – Mahdollisuus hienosäätää FM:ää säätämällä sen mallin painoja tai kerroksia voi olla ratkaiseva tekijä. Hienosäätö mahdollistaa sen, että malli mukautuu paremmin sovelluksen erityiseen kontekstiin, mikä parantaa suorituskykyä tietyssä tehtävässä. Hienosäätö vaatii kuitenkin lisää laskentaresursseja ja teknistä asiantuntemusta, eivätkä kaikki mallit tue tätä ominaisuutta. Avoimen lähdekoodin mallit ovat (yleensä) aina hienosäädettävissä, koska malliartefaktit ovat ladattavissa ja käyttäjät voivat laajentaa ja käyttää niitä mielensä mukaan. Alkuperäiset mallit voivat joskus tarjota hienosäätömahdollisuuden.
- Nykyiset asiakastaidot – FM:n valintaan voi vaikuttaa myös asiakkaan tai kehitystiimin osaaminen ja tuntemus. Jos organisaation tiimissä ei ole AI/ML-asiantuntijoita, API-palvelu saattaa sopia heille paremmin. Lisäksi, jos tiimillä on laaja kokemus tietystä FM:stä, saattaa olla tehokkaampaa jatkaa sen käyttöä sen sijaan, että investoisit aikaa ja resursseja oppimiseen ja uuteen sopeutumiseen.
Seuraavassa on esimerkki kahdesta suppeasta listasta, joista toinen on omistetuille malleille ja toinen avoimen lähdekoodin malleille. Voit laatia samanlaisia taulukoita erityistarpeidesi perusteella saadaksesi nopean yleiskatsauksen käytettävissä olevista vaihtoehdoista. Huomaa, että näiden mallien suorituskyky ja parametrit muuttuvat nopeasti ja saattavat olla vanhentuneita lukuhetkellä, kun taas muut ominaisuudet voivat olla tärkeitä tietyille asiakkaille, kuten tuettu kieli.
Seuraavassa on esimerkki AWS:ssä saatavilla olevista merkittävistä patentoiduista FM-soittimista (heinäkuu 2023).
Seuraavassa on esimerkki merkittävästä avoimen lähdekoodin FM:stä, joka on saatavilla AWS:ssä (heinäkuu 2023).
Kun olet koonnut yleiskatsauksen 10–20 mahdollisesta ehdokasmallista, on tarpeen tarkentaa tätä luetteloa edelleen. Tässä osiossa ehdotamme nopeaa mekanismia, joka antaa kaksi tai kolme toteuttamiskelpoista lopullista mallia ehdokkaaksi seuraavalle kierrokselle.
Seuraava kaavio havainnollistaa alkuperäisen luettelointiprosessin.
Yleensä kehotusinsinöörit, jotka ovat asiantuntijoita luomaan korkealaatuisia kehotteita, joiden avulla tekoälymallit voivat ymmärtää ja käsitellä käyttäjien syötteitä, kokeilevat erilaisia menetelmiä suorittaakseen saman tehtävän (kuten yhteenvedon) mallissa. Suosittelemme, että näitä kehotteita ei luoda lennossa, vaan ne poimitaan järjestelmällisesti kehoteluettelosta. Tämä kehoteluettelo on keskeinen paikka kehotteiden tallentamiseen replikaatioiden välttämiseksi, versionhallinnan mahdollistamiseksi ja kehotteiden jakamiseksi tiimin sisällä varmistaakseen johdonmukaisuuden eri kehotteiden testaajien välillä eri kehitysvaiheissa. Esittelemme ne seuraavassa osiossa. Tämä kehoteluettelo on analoginen ominaisuuskaupan Git-arkistolle. Generatiivisen tekoälyn kehittäjän, joka voi olla sama henkilö kuin nopea insinööri, on sitten arvioitava tulos määrittääkseen, soveltuuko se generatiiviseen tekoälysovellukseen, jota he haluavat kehittää.
Vaihe 2. Testaa ja arvioi huippu-FM
Kun lista on supistunut noin kolmeen FM:ään, suosittelemme arviointivaihetta FM-laitteiden ominaisuuksien ja soveltuvuuden testaamiseksi edelleen. Arviointitietojen saatavuudesta ja luonteesta riippuen suosittelemme erilaisia menetelmiä, kuten seuraavassa kuvassa on esitetty.
Ensin käytettävä menetelmä riippuu siitä, onko testitiedot merkitty vai ei.
Jos sinulla on merkittyjä tietoja, voit käyttää sitä mallin arvioinnissa, kuten teemme perinteisten ML-mallien kanssa (syötä näytteitä ja vertaa tulosta tarroihin). Riippuen siitä, onko testitiedoissa erillisiä otsikoita (kuten positiivinen, negatiivinen tai neutraali tunneanalyysi) vai onko se jäsentämätöntä tekstiä (kuten yhteenveto), ehdotamme erilaisia arviointimenetelmiä:
- Tarkkuusmittarit – Erillisten tulosten (kuten tunneanalyysin) tapauksessa voimme käyttää vakiotarkkuusmittareita, kuten tarkkuus, muistaminen ja F1-pisteet
- Samankaltaisuusmittarit – Jos tulos on jäsentämätön (kuten yhteenveto), suosittelemme samankaltaisuusmittareita, kuten ROUGE ja kosinin samankaltaisuus
Jotkin käyttötapaukset eivät anna yhtä oikeaa vastausta (esimerkiksi "Luo lyhyt lastentarina 5-vuotiaalle tyttärelleni"). Tällaisissa tapauksissa mallien arvioiminen on haastavampaa, koska sinulla ei ole merkittyjä testitietoja. Ehdotamme kahta lähestymistapaa mallin ihmisen suorittaman tarkastelun tärkeydestä automaattiseen arviointiin verrattuna:
- Human-in-the-Loop (HIL) – Tässä tapauksessa nopea testaajien ryhmä tarkistaa mallin vastaukset. Riippuen siitä, kuinka kriittinen sovellus on, kehotteen testaajat voivat tarkistaa 100 % mallin tuloksista tai vain näytteen.
- LLM-pohjainen arviointi – Tässä skenaariossa pikatestaajat korvataan LLM:llä, mieluiten sellaisella, joka on tehokkaampi (tosin ehkä hitaampi ja kalliin) kuin testattavat. LLM tarkistaa kaikki mallin luomat vastaukset ja pisteyttää ne. Tämä menetelmä saattaa heikentää laatua, mutta se on halvempi ja nopeampi arviointivaihtoehto, joka voi antaa hyvän alustavan mittarin mallien suorituskyvystä.
Voimme esimerkiksi käyttää seuraavaa esimerkkikehotetta LLM:lle, joka sisältää syöttökyselyn, LLM-vastauksen ja ohjeet: "Haluamme pyytää palautettasi tekoälyavustajan suorituskyvystä vastauksena yllä näkyvään käyttäjän kysymykseen. . Arvioi avustajan vastauksen hyödyllisyys, osuvuus, tarkkuus ja yksityiskohdat. Assistentti saa kokonaispistemäärän asteikolla 1-10, jossa korkeampi pistemäärä osoittaa parempaa kokonaissuoritusta."
Tämä kehote lähetetään toiselle LLM:lle (EvalLLM) arvioitavaksi. Seuraavassa on esimerkki, jossa EvalLLM (tässä tapauksessa Claude) on arvioinut Falcon-40B-mallin vasteen. Käytämme kysymystä "Mitä jos Suezin kanavaa ei olisi koskaan rakennettu?" Vastaus on seuraava:
Kysymys: Entä jos Suezin kanavaa ei olisi koskaan rakennettu?
falcon-40b-ohje
Jos Suezin kanavaa ei olisi koskaan rakennettu, laivojen olisi matkustettava Afrikan ympäri navigoidakseen Välimeren ja Punaisenmeren välillä. Tämä lisäisi huomattavasti aikaa ja etäisyyttä matkaan, mikä tekisi siitä vähemmän tehokkaan ja kalliimman. Lisäksi ilman Suezin kanavaa monet Lähi-idän ja Pohjois-Afrikan maat olisivat olleet paljon vähemmän yhteydessä muuhun maailmaan, mikä haittaisi taloudellista ja kulttuurista kehitystä.
Arvostelu (pisteet: 9/10)
Avustajan vastaus on erittäin osuva, tarkka ja yksityiskohtainen. Se tarjoaa erinomaisen vastauksen käyttäjän hypoteettiseen kysymykseen Suezin kanavan olemattomuudesta. Assistentti korostaa oikein merimatkailun vaikutukset sekä Lähi-idän ja Pohjois-Afrikan taloudelliset ja kulttuuriset vaikutukset. Se olisi kuitenkin voinut tarkentaa geopoliittisia vaikutuksia tai vaikutusta maailmanlaajuisiin kauppamalleihin kattavamman vastauksen saamiseksi.
Seuraava kuva havainnollistaa end-to-end -arviointiprosessin esimerkkiä.
Tämän esimerkin perusteella arvioinnin suorittamista varten meidän on annettava esimerkkikehotteet, jotka tallennamme kehoteluetteloon, ja arvioinnin, joka on merkitty tai merkitsemätön tietojoukko, joka perustuu erityisiin sovelluksiimme. Esimerkiksi merkityllä arviointitietojoukolla voimme tarjota kehotteita (syöttö ja kysely), kuten "Anna minulle Yhdistyneen kuningaskunnan pääministerin koko nimi vuonna 2023", sekä tuloksia ja vastauksia, kuten "Rishi Sunak". Merkitsemättömässä tietojoukossa tarjoamme vain kysymyksen tai ohjeen, kuten "Luo lähdekoodi vähittäismyyntisivustolle". Kutsumme nopean luettelon ja arviointitietojoukon yhdistelmää arviointikehoteluettelo. Syy, miksi erottelemme kehoteluettelon ja arviointikehoteluettelon, johtuu siitä, että jälkimmäinen on omistettu tietylle käyttötapaukselle yleisten kehotteiden ja ohjeiden (kuten kysymykseen vastaamisen) sijaan, joita kehoteluettelo sisältää.
Tämän arviointikehotteen luettelon avulla seuraava vaihe on syöttää arviointikehotteet parhaille FM-laitteille. Tuloksena on arvioinnin tulostietojoukko, joka sisältää kehotteet, kunkin FM:n lähdöt ja nimetyn lähdön sekä pistemäärän (jos sellainen on). Kun kyseessä on nimeämätön arviointikehoteluettelo, HIL:lle tai LLM:lle on lisävaihe, jonka avulla hän voi tarkistaa tulokset ja antaa pisteet ja palautteen (kuten kuvailimme aiemmin). Lopputuloksena on aggregoituja tuloksia, jotka yhdistävät kaikkien tulosten pisteet (laskevat keskimääräisen tarkkuuden tai ihmisarvosanan) ja antavat käyttäjille mahdollisuuden vertailla mallien laatua.
Kun arviointitulokset on kerätty, ehdotamme mallin valintaa useiden ulottuvuuksien perusteella. Nämä johtuvat yleensä sellaisista tekijöistä kuin tarkkuus, nopeus ja hinta. Seuraavassa kuvassa on esimerkki.
Jokaisella mallilla on vahvuuksia ja tiettyjä kompromisseja näissä ulottuvuuksissa. Käyttötapauksesta riippuen meidän tulisi määrittää näille ulottuvuuksille erilaisia prioriteetteja. Edellisessä esimerkissä päätimme asettaa kustannukset tärkeimmäksi tekijäksi, jota seurasi tarkkuus ja sitten nopeus. Vaikka se on hitaampi eikä yhtä tehokas kuin FM1, se on riittävän tehokas ja huomattavasti halvempi isännöiminen. Tästä syystä saatamme valita FM2:n parhaaksi valinnaksi.
Vaihe 3. Kehitä generatiivisen AI-sovelluksen tausta- ja käyttöliittymä
Tässä vaiheessa generatiiviset tekoälykehittäjät ovat valinneet oikean FM:n tiettyyn sovellukseen yhdessä nopeiden insinöörien ja testaajien avulla. Seuraava askel on aloittaa generatiivisen tekoälysovelluksen kehittäminen. Olemme jakaneet generatiivisen AI-sovelluksen kehityksen kahteen kerrokseen, tausta- ja etupäähän, kuten seuraavassa kuvassa näkyy.
Taustalla generatiiviset AI-kehittäjät sisällyttävät valitun FM-äänen ratkaisuihin ja työskentelevät yhdessä kehotteen insinöörien kanssa automaation muuttamiseksi loppukäyttäjän syötteen sopiviksi FM-kehotteiksi. Kehotestaajat luovat tarvittavat merkinnät kehoteluetteloon automaattista tai manuaalista (HIL tai LLM) testausta varten. Sitten generatiiviset tekoälykehittäjät luovat nopean ketjutus- ja sovellusmekanismin lopullisen tuloksen saamiseksi. Nopea ketjutus on tässä yhteydessä tekniikka dynaamisempien ja kontekstuaalisesti tietoisempien LLM-sovellusten luomiseksi. Se toimii jakamalla monimutkaisen tehtävän sarjaksi pienempiä, paremmin hallittavia alitehtäviä. Jos esimerkiksi kysymme LLM:ltä kysymyksen "Missä Britannian pääministeri syntyi ja kuinka kaukana se paikka on Lontoosta", tehtävä voidaan jakaa yksittäisiin kehotteisiin, joihin vastauksen perusteella voidaan rakentaa kehote. aiemmasta nopeasta arvioinnista, kuten "Kuka on Yhdistyneen kuningaskunnan pääministeri", "Mikä on heidän syntymäpaikkansa" ja "Kuinka kaukana se paikka on Lontoosta?" Tietyn syötteen ja tulosteen laadun varmistamiseksi generatiivisten AI-kehittäjien on myös luotava mekanismi, joka valvoo ja suodattaa loppukäyttäjien syötteitä ja sovelluslähtöjä. Jos esimerkiksi LLM-sovelluksen oletetaan välttävän myrkyllisiä pyyntöjä ja vastauksia, ne voivat käyttää myrkyllisyysilmaisinta syötteelle ja ulostulolle ja suodattaa ne pois. Lopuksi niiden on tarjottava arviointimekanismi, joka tukee arviointikehotteiden luettelon lisäämistä hyvillä ja huonoilla esimerkeillä. Yksityiskohtaisempi esitys näistä mekanismeista esitetään tulevissa viesteissä.
Jotta toiminnallisuus voidaan tarjota generatiiviselle tekoälyn loppukäyttäjälle, taustajärjestelmän kanssa vuorovaikutuksessa olevan käyttöliittymän verkkosivuston kehittäminen on välttämätöntä. Siksi DevOps- ja AppDevs-persoonoiden (sovelluskehittäjät pilvessä) on noudatettava parhaita kehityskäytäntöjä syötteen/tulosteen ja luokituksen toiminnallisuuden toteuttamiseksi.
Tämän perustoiminnon lisäksi käyttöliittymään ja taustajärjestelmään on sisällytettävä henkilökohtaisten käyttäjätilien luominen, tietojen lataaminen, hienosäädön aloittaminen mustana laatikkona ja personoidun mallin käyttäminen perus-FM:n sijaan. Generatiivisen AI-sovelluksen tuotanto on samanlainen kuin normaalin sovelluksen. Seuraava kuva esittää esimerkkiarkkitehtuuria.
Tässä arkkitehtuurissa generatiiviset AI-kehittäjät, kehotteet ja DevOps- tai AppDev-kehittäjät luovat ja testaavat sovelluksen manuaalisesti ottamalla sen käyttöön CI/CD:n kautta kehitysympäristöön (edellisessä kuvassa luova AI App Dev) käyttämällä omistettuja koodivarastoja ja yhdistämällä kehityshaara. Tässä vaiheessa generatiiviset AI-kehittäjät käyttävät vastaavaa FM:ää kutsumalla API:ta, kuten hienovirittimien FM-toimittajat ovat tarjonneet. Sitten, jotta he voivat testata sovellusta laajasti, heidän on mainostettava koodi testihaaraan, mikä käynnistää CI:n/CD:n kautta käyttöönoton esituotantoympäristöön (generative AI App Pre-prod). Tässä ympäristössä kehotteiden testaajien on kokeiltava suuri määrä kehoteyhdistelmiä ja tarkistettava tulokset. Kehotteiden, tulosteiden ja tarkistuksen yhdistelmä on siirrettävä arviointikehotteiden luetteloon, jotta testausprosessi voidaan automatisoida tulevaisuudessa. Tämän laajan testin jälkeen viimeinen askel on viedä generatiivinen AI-sovellus tuotantoon CI/CD:n kautta yhdistämällä päähaaraan (generative AI App Prod). Huomaa, että kaikki tiedot, mukaan lukien kehoteluettelo, arviointitiedot ja tulokset, loppukäyttäjien tiedot ja metatiedot sekä hienosäädetyt mallin metatiedot, on tallennettava datajärveen tai dataverkkokerrokseen. CI/CD-putket ja arkistot on tallennettava erilliselle työkalutilille (samanlainen kuin MLOps:ille kuvattu).
Palveluntarjoajien matka
FM-palveluntarjoajien on koulutettava FM:itä, kuten syväoppimismalleja. Heille tarvitaan päästä päähän MLOpsin elinkaarta ja infrastruktuuria. Lisäyksiä tarvitaan historiatietojen valmistelussa, mallin arvioinnissa ja seurannassa. Seuraava kuva havainnollistaa heidän matkaansa.
Klassisessa ML:ssä historialliset tiedot luodaan useimmiten syöttämällä pohjatotuus ETL-putkilinjojen kautta. Esimerkiksi vaihtuvuusennusteen käyttötapauksessa automaatio päivittää tietokantataulukon asiakkaan uuden tilan perusteella vaihtuu/ei vaihtuu automaattisesti. FM-laitteiden tapauksessa ne tarvitsevat joko miljardeja merkittyjä tai merkitsemättömiä datapisteitä. Tekstistä kuvaksi -käyttötapauksissa datamerkintätiimin on tehtävä nimilaput parit käsin. Tämä on kallis harjoitus, joka vaatii suuren määrän ihmisresursseja. Amazon SageMaker Ground Truth Plus voi tarjota tarratiimin suorittamaan tämän toiminnon puolestasi. Joissakin käyttötapauksissa tämä prosessi voidaan myös osittain automatisoida, esimerkiksi käyttämällä CLIP-tyyppisiä malleja. LLM:n tapauksessa, kuten tekstistä tekstiksi, tiedot ovat nimeämättömiä. Ne on kuitenkin valmisteltava ja noudatettava olemassa olevan historiallisen merkitsemättömän tiedon muotoa. Siksi dataeditoreja tarvitaan suorittamaan tarvittava tietojen valmistelu ja varmistamaan johdonmukaisuus.
Kun historiatiedot on valmisteltu, seuraava vaihe on mallin koulutus ja tuotanto. Huomaa, että voidaan käyttää samoja arviointitekniikoita, joita kuvailimme kuluttajille.
Hienosäätäjien matka
Hienovirittimet pyrkivät mukauttamaan olemassa olevan FM:n omaan kontekstiinsa. Esimerkiksi FM-malli voi tehdä yhteenvedon yleiskäyttöisestä tekstistä, mutta ei talousraportista tarkasti tai ei voi luoda lähdekoodia ei-yleiselle ohjelmointikielelle. Tällaisissa tapauksissa hienosäätäjien täytyy merkitä tiedot, hienosäätää malli suorittamalla koulutustyötä, ottaa malli käyttöön, testata sitä kuluttajaprosessien perusteella ja seurata mallia. Seuraava kaavio havainnollistaa tätä prosessia.
Tällä hetkellä käytössä on kaksi hienosäätömekanismia:
- Hienosäätö – Käyttämällä FM:ää ja merkittyä dataa harjoitustyö laskee uudelleen syväoppimismallikerrosten painot ja poikkeamat. Tämä prosessi voi olla laskennallisesti intensiivinen ja vaatii edustavan määrän tietoa, mutta se voi tuottaa tarkkoja tuloksia.
- Parametritehokas hienosäätö (PEFT) – Kaikkien painojen ja harhojen uudelleenlaskemisen sijaan tutkijat ovat osoittaneet, että lisäämällä uusia pieniä kerroksia syväoppimismalleihin, he voivat saavuttaa tyydyttäviä tuloksia (esim. LoRA). PEFT vaatii pienempää laskentatehoa kuin syvällinen hienosäätö ja harjoitustyö, jossa on vähemmän syöttödataa. Haittapuolena on mahdollinen pienempi tarkkuus.
Seuraava kaavio havainnollistaa näitä mekanismeja.
Nyt kun olemme määrittäneet kaksi tärkeintä hienosäätömenetelmää, seuraava askel on määrittää, kuinka voimme ottaa käyttöön ja käyttää avoimen lähdekoodin ja patentoitua FM:ää.
Avoimen lähdekoodin FM-laitteilla hienovirittimet voivat ladata malliartefaktin ja lähdekoodin verkosta esimerkiksi käyttämällä Halaava Face Model Hub. Tämä antaa sinulle joustavuuden hienosäätää mallia, tallentaa se paikalliseen mallirekisteriin ja ottaa käyttöön Amazon Sage Maker päätepiste. Tämä prosessi vaatii Internet-yhteyden. Turvallisempien ympäristöjen tukemiseksi (kuten finanssialan asiakkaille) voit ladata mallin paikan päällä, suorittaa kaikki tarvittavat turvatarkastukset ja ladata ne paikalliseen AWS-tiliin. Sitten hienovirittimet käyttävät FM:ää paikallisesta kauhasta ilman Internet-yhteyttä. Tämä varmistaa tietojen yksityisyyden, eivätkä tiedot kulje Internetissä. Seuraava kaavio havainnollistaa tätä menetelmää.
Omien FM:ien kanssa käyttöönottoprosessi on erilainen, koska hienovirittimet eivät pääse käsiksi mallin artefakttiin tai lähdekoodiin. Mallit on tallennettu FM-palveluntarjoajan omistamiin AWS-tileihin ja mallirekistereihin. Ottaakseen käyttöön tällaisen mallin SageMaker-päätepisteeseen hienovirittimet voivat pyytää vain mallipakettia, joka otetaan käyttöön suoraan päätepisteeseen. Tämä prosessi edellyttää asiakastietojen käyttöä omistetuissa FM-palveluntarjoajien tileissä, mikä herättää kysymyksiä siitä, miten asiakasarkaluontoisia tietoja käytetään etätilillä hienosäätöön ja mallien isännöimisestä mallirekisterissä, joka jaetaan useiden asiakkaiden kesken. . Tämä johtaa usean vuokrauksen ongelmaan, joka muuttuu haastavammaksi, jos omat FM-palveluntarjoajat joutuvat palvelemaan näitä malleja. Jos hienovirittimet käyttävät Amazonin kallioperä, nämä haasteet on ratkaistu – data ei kulje Internetin yli, eikä FM-palveluntarjoajilla ole pääsyä hienovirittimien tietoihin. Samat haasteet pätevät avoimen lähdekoodin malleihin, jos hienosäätäjät haluavat palvella malleja useilta asiakkailta, kuten esimerkki, jonka annoimme aiemmin verkkosivustolla, jolle tuhannet asiakkaat lataavat personoituja kuvia. Näitä skenaarioita voidaan kuitenkin pitää hallittavissa, koska vain hienoviritin on mukana. Seuraava kaavio havainnollistaa tätä menetelmää.
Teknologian näkökulmasta arkkitehtuuri, jota hienovirittimen on tuettava, on kuin MLOps-arkkitehtuuri (katso seuraava kuva). Hienosäätö on suoritettava devissä luomalla ML-liukuhihnat, kuten käyttämällä Amazon SageMaker -putkistot; esikäsittelyn, hienosäädön (koulutustyö) ja jälkikäsittelyn suorittaminen; ja hienosäädetyt mallit lähetetään paikalliseen mallirekisteriin avoimen lähdekoodin FM:n tapauksessa (muuten uusi malli tallennetaan omaan FM-tarjontaympäristöön). Sitten esituotannossa meidän on testattava mallia, kuten kuvaamme kuluttajien skenaariossa. Lopuksi mallia tarjotaan ja valvotaan tuotannossa. Huomaa, että nykyinen (hienoviritetty) FM vaatii GPU-ilmentymän päätepisteitä. Jos meidän on otettava jokainen hienosäädetyt mallit käyttöön erilliseen päätepisteeseen, tämä saattaa lisätä satojen mallien kustannuksia. Siksi meidän on käytettävä usean mallin päätepisteitä ja ratkaistava usean vuokrauksen haaste.
Hienovirittimet mukauttavat FM-mallin tiettyyn kontekstiin käyttääkseen sitä liiketoimintatarkoituksiinsa. Tämä tarkoittaa, että suurimman osan ajasta hienovirittimet ovat myös kuluttajia, jotka vaaditaan tukemaan kaikkia tasoja, kuten kuvailimme edellisissä osissa, mukaan lukien generatiivinen AI-sovelluskehitys, datajärvi ja dataverkko sekä MLOps.
Seuraava kuva havainnollistaa koko FM-hienovirityksen elinkaaren, jonka hienovirittimet tarvitsevat tuottaakseen tekoälyn loppukäyttäjälle.
Seuraava kuva havainnollistaa tärkeimmät vaiheet.
Tärkeimmät vaiheet ovat seuraavat:
- Loppukäyttäjä luo henkilökohtaisen tilin ja lataa yksityisiä tietoja.
- Tiedot tallennetaan datajärveen ja esikäsitellään noudattamaan FM:n odottamaa muotoa.
- Tämä käynnistää hienosäätöisen ML-putken, joka lisää mallin mallirekisteriin,
- Sieltä joko malli otetaan tuotantoon minimitestauksella tai malli ajaa laajan testauksen HIL:n ja manuaalisten hyväksyntäporttien avulla.
- Hienosäädetty malli on saatavilla loppukäyttäjille.
Koska tämä infrastruktuuri on monimutkainen muille kuin yritysasiakkaille, AWS julkaisi Amazon Bedrockin kuormittaakseen tällaisten arkkitehtuurien luomista ja tuodakseen hienosäädetyt FM-laitteet lähemmäs tuotantoa.
FMOps ja LLMOps persoonat ja prosessit erottavat
Edellisten käyttäjätyyppisten matkojen (kuluttaja, tuottaja ja hienosäätäjä) perusteella tarvitaan uusia henkilöitä, joilla on erityistaitoja, kuten seuraavasta kuvasta näkyy.
Uudet persoonat ovat seuraavat:
- Tiedontunnistimet ja editorit – Nämä käyttäjät merkitsevät tietoja, kuten pareja tai valmistele merkitsemättömiä tietoja, kuten vapaata tekstiä, ja laajentaa edistyneitä analytiikkatiimiä ja datajärviympäristöjä.
- Hienosäätimet – Näillä käyttäjillä on syvällinen FM-tietämys ja he osaavat virittää niitä, mikä laajentaa datatieteen tiimiä, joka keskittyy klassiseen ML:ään.
- Generatiiviset AI-kehittäjät – Heillä on syvä tietämys FM-soittimien valinnasta, kehotteiden ja sovellusten ketjuttamisesta sekä tulojen ja lähtöjen suodattamisesta. He kuuluvat uuteen tiimiin – generatiiviseen tekoälysovellustiimiin.
- Nopeat insinöörit – Nämä käyttäjät suunnittelevat syöttö- ja tuloskehotteet mukauttaakseen ratkaisun kontekstiin ja testaavat ja luovat kehoteluettelon alkuperäisen version. Heidän tiiminsä on generatiivinen tekoälysovellustiimi.
- Nopeat testaajat – He testaavat laajassa mittakaavassa generatiivista tekoälyratkaisua (tausta- ja käyttöliittymä) ja syöttävät tulokset täydentämään nopeaa luetteloa ja arviointitietoaineistoa. Heidän tiiminsä on generatiivinen tekoälysovellustiimi.
- AppDev ja DevOps – He kehittävät generatiivisen tekoälysovelluksen käyttöliittymän (kuten verkkosivuston). Heidän tiiminsä on generatiivinen tekoälysovellustiimi.
- Luovat tekoälyn loppukäyttäjät – Nämä käyttäjät käyttävät generatiivisia tekoälysovelluksia mustina laatikoina, jakavat tietoja ja arvioivat tulosteen laatua.
MLOps-prosessikartan laajennettu versio, joka sisältää generatiivisen tekoälyn, voidaan havainnollistaa seuraavalla kuvalla.
Uusi sovelluskerros on ympäristö, jossa generatiivisen tekoälyn kehittäjät, insinöörit ja testaajat sekä AppDevs loivat generatiivisten tekoälysovellusten tausta- ja etupään. Tekoälyn generatiiviset loppukäyttäjät ovat vuorovaikutuksessa generatiivisten tekoälysovellusten käyttöliittymän kanssa Internetin (kuten verkkokäyttöliittymän) kautta. Toisaalta datatunnisteiden ja -editorien on esikäsiteltävä tiedot käyttämättä datajärven tai tietoverkon taustaa. Siksi verkkokäyttöliittymä (verkkosivusto), jossa on editori, on välttämätön tietojen turvalliseen vuorovaikutukseen. SageMaker Ground Truth tarjoaa tämän toiminnon heti käyttöön.
Yhteenveto
MLOps voi auttaa meitä tuottamaan ML-malleja tehokkaasti. Luovien tekoälysovellusten käyttö edellyttää kuitenkin lisätaitoja, prosesseja ja teknologioita, jotka johtavat FMOpsiin ja LLMOpsiin. Tässä viestissä määritimme FMOps- ja LLMOps-käsitteet ja kuvailimme tärkeimmät erottimet verrattuna MLOps-ominaisuuksiin ihmisten, prosessien, tekniikan, FM-mallin valinnan ja arvioinnin osalta. Lisäksi havainnollistimme generatiivisen tekoälykehittäjän ajatusprosessia ja generatiivisen tekoälysovelluksen kehityksen elinkaarta.
Jatkossa keskitymme ratkaisujen tarjoamiseen keskustelemallamme alueella ja annamme lisätietoja siitä, kuinka integroida FM-seuranta (kuten myrkyllisyys, harha ja hallusinaatiot) ja kolmannen osapuolen tai yksityisen tietolähteen arkkitehtuurimallit, kuten Retrieval Augmented Generation (RAG) FMOps/LLMOps:iin.
Lisätietoja saat osoitteesta MLOps-säätiön etenemissuunnitelma yrityksille Amazon SageMakerin kanssa ja kokeile päästä päähän -ratkaisua MLOps-käytäntöjen toteuttaminen Amazon SageMaker JumpStart -esikoulutetuilla malleilla.
Jos sinulla on kommentteja tai kysymyksiä, jätä ne kommenttiosioon.
Tietoja Tekijät
Tohtori Sokratis Kartakis on vanhempi koneoppimisen ja operaatioiden asiantuntijaratkaisuarkkitehti Amazon Web Servicesille. Sokratis keskittyy siihen, että yritysasiakkaat voivat teollistaa koneoppimisratkaisunsa hyödyntämällä AWS-palveluita ja muokkaamalla toimintamalliaan eli MLOps-perustaa sekä transformaatiosuunnitelmaa parhaita kehityskäytäntöjä hyödyntäen. Hän on viettänyt yli 15 vuotta innovatiivisten päästä päähän tuotantotason ML- ja Internet of Things (IoT) -ratkaisujen keksimiseen, suunnitteluun, johtamiseen ja toteuttamiseen energian, vähittäiskaupan, terveydenhuollon, rahoituksen/pankkitoiminnan, moottoriurheilun jne. aloilla. Sokratis viettää vapaa-aikaa perheen ja ystävien kanssa tai ajaa moottoripyörällä.
Heiko Hotz on tekoälyn ja koneoppimisen vanhempi ratkaisuarkkitehti, joka keskittyy erityisesti luonnollisen kielen käsittelyyn, suuriin kielimalleihin ja generatiiviseen tekoälyyn. Ennen tätä tehtävää hän toimi Amazonin EU-asiakaspalvelun datatieteen johtajana. Heiko auttaa asiakkaitamme menestymään AI/ML-matkallaan AWS:ssä ja on työskennellyt organisaatioiden kanssa monilla toimialoilla, mukaan lukien vakuutus-, rahoitus-, media- ja viihde-, terveydenhuolto-, yleishyödylliset ja valmistusalat. Vapaa-ajallaan Heiko matkustaa niin paljon kuin mahdollista.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. Autot / sähköautot, hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- ChartPrime. Nosta kaupankäyntipeliäsi ChartPrimen avulla. Pääsy tästä.
- BlockOffsets. Ympäristövastuun omistuksen nykyaikaistaminen. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/fmops-llmops-operationalize-generative-ai-and-differences-with-mlops/
- :on
- :On
- :ei
- :missä
- $ YLÖS
- 1
- 10
- 100
- 2023
- 23
- 7
- 75
- a
- kyky
- pystyy
- Meistä
- edellä
- TIIVISTELMÄ
- pääsy
- saatavilla
- Pääsy
- Tili
- Tilit
- tarkkuus
- tarkka
- tarkasti
- Saavuttaa
- toimet
- toiminta
- sopeuttaa
- sovitus
- lisätä
- lisää
- Lisäksi
- lisä-
- Lisäksi
- lisäyksiä
- Lisää
- hallinto
- Hyväksyminen
- kehittynyt
- Afrikka
- Jälkeen
- sopimus
- AI
- Tekoäly ja koneoppiminen
- AI avustaja
- AI-mallit
- Tekoälyn palvelut
- ai käyttötapauksia
- AI / ML
- tavoitteena
- Kohdistaa
- Kaikki
- sallia
- mahdollistaa
- pitkin
- jo
- Myös
- Vaikka
- aina
- Amazon
- Amazon Sage Maker
- Amazon SageMaker JumpStart
- Amazon Web Services
- keskuudessa
- määrä
- an
- analyysi
- Analytics
- ja
- ja infrastruktuuri
- Toinen
- vastaus
- vastauksia
- Kaikki
- api
- API
- sovelluksen
- Hakemus
- Application Development
- sovellukset
- käyttää
- lähestymistapa
- lähestymistavat
- sopiva
- hyväksyminen
- suunnilleen
- arkkitehdit
- arkkitehtuurin
- arkkitehtuuri
- OVAT
- noin
- AS
- arvioidessaan
- Avustaja
- At
- tarkastettu
- tilintarkastajat
- täydennetty
- automatisoida
- Automatisoitu
- automaattisesti
- automaattisesti
- Automaatio
- saatavuus
- saatavissa
- keskimäärin
- välttää
- AWS
- taustaosa
- Huono
- Balance
- perustua
- perustiedot
- BE
- koska
- tulevat
- tulee
- ollut
- ennen
- ovat
- benchmark
- Hyödyt
- PARAS
- Paremmin
- välillä
- puolueellisuus
- harhat
- Miljardi
- miljardeja
- Musta
- syntynyt
- lainata
- sekä
- botit
- Laatikko
- laatikot
- Sivuliike
- Breaking
- lyhyesti
- Tuominen
- Rikki
- rakentaa
- Rakentaminen
- rakennettu
- liiketoiminta
- mutta
- by
- laskea
- soittaa
- nimeltään
- soittamalla
- CAN
- ehdokkaat
- ehdokkaat
- kyvyt
- valmiudet
- kaapata
- tapaus
- tapauksissa
- luettelo
- luokat
- keskeinen
- keskitetty
- tietty
- haaste
- haasteet
- haastava
- muuttaa
- chatbots
- halvempaa
- Tarkastukset
- valinta
- valita
- klassinen
- tarkasti
- lähempänä
- Vaatetus
- pilvi
- koodi
- Koodaus
- tehdä yhteistyötä
- yhdistelmä
- yhdistelmät
- yhdistää
- Tulla
- kommentit
- kaupallinen
- kaupallisesti
- Yhteinen
- verrata
- verrattuna
- täydellinen
- valmistuminen
- monimutkainen
- monimutkaisuus
- noudattaminen
- mukautuva
- koostumus
- kattava
- laskentateho
- tietokone
- keskittää
- käsite
- käsitteet
- huolenaiheet
- olosuhteet
- Suorittaa
- tehty
- kytketty
- liitäntä
- siis
- Harkita
- näkökohdat
- harkittu
- kuluttaa
- kuluttaja
- Kuluttajat
- kulutus
- Kontti
- sisältää
- pitoisuus
- sisällön luominen
- tausta
- jatkaa
- ohjaus
- puhekielen
- keskustelut
- tekijänoikeus
- vastaava
- Hinta
- kallis
- kustannukset
- voisi
- maahan
- kattaa
- katettu
- luoda
- luotu
- luo
- Luominen
- luominen
- kriittinen
- ratkaiseva
- kulttuurinen
- Nykyinen
- asiakassuhde
- asiakas
- asiakastiedot
- Asiakaspalvelu
- Asiakkaat
- tiedot
- Datajärvi
- datapisteet
- Tietojen valmistelu
- Tietosuoja
- tietojenkäsittely
- tietokanta
- aineistot
- hajautettu
- Päätetään
- päätökset
- omistautunut
- syvä
- syväsukellus
- syvä oppiminen
- määritelty
- määrittelemällä
- määritelmä
- määritelmät
- toimittaa
- kaivaa
- Kysyntä
- Riippuen
- riippuu
- kuvaava
- sijoittaa
- käyttöön
- levityspinnalta
- käyttöönotto
- kuvata
- on kuvattu
- kuvaus
- Malli
- suunniteltu
- suunnittelu
- halu
- haluttu
- yksityiskohtainen
- yksityiskohdat
- Määrittää
- määritetään
- dev
- kehittää
- kehitetty
- Kehittäjä
- kehittäjille
- kehittämällä
- Kehitys
- kehitystiimi
- erot
- eri
- eriyttää
- mitat
- suoraan
- pohtia
- keskusteltiin
- näyttöön
- etäisyys
- sukellus
- useat
- do
- asiakirjat
- ei
- verkkotunnuksen
- verkkotunnuksia
- Dont
- alas
- download
- ajaa
- kaksi
- dynaaminen
- e
- kukin
- Aikaisemmin
- Itään
- helppo
- Taloudellinen
- toimittaja
- Tehokas
- tehokas
- tehokkaasti
- vaivaa
- myöskään
- käsitellylle
- valittiin
- mahdollistaa
- mahdollistaa
- loppu
- päittäin
- päätepiste
- energia
- insinööri
- Tekniikka
- Engineers
- Englanti
- parantaa
- varmistaa
- varmistaa
- yritys
- yrityksille
- Viihde
- ympäristö
- ympäristöissä
- yhtä
- erityisesti
- olennainen
- jne.
- EU
- arvioida
- arvioitu
- arviointi
- Jopa
- Joka
- esimerkki
- Esimerkit
- erinomainen
- innoissaan
- Käyttää
- olemassa
- olemassa
- Eksoottinen
- odottaa
- kallis
- experience
- kokeilu
- asiantuntemus
- asiantuntijat
- hyödyntäminen
- laajentaa
- ulottuu
- laajentaminen
- laaja
- Kattava kokemus
- laajasti
- uute
- f1
- Kasvot
- tekijä
- tekijät
- perehtyneisyys
- perhe
- paljon
- nopeampi
- Ominaisuus
- palaute
- ruokinta
- Kuva
- suodattaa
- suodatus
- lopullinen
- Vihdoin
- taloudellinen
- taloudellinen raportti
- Taloussektori
- rahoituspalvelut
- Etunimi
- sovittaa
- Joustavuus
- joustava
- Keskittää
- keskityttiin
- keskittyy
- tarkennus
- seurata
- seurannut
- jälkeen
- seuraa
- varten
- Kuluttajille
- muoto
- muoto
- perusta
- neljä
- Ilmainen
- ystäviä
- alkaen
- etuosa
- etupään
- Frontend
- koko
- toiminnallisuus
- perus-
- edelleen
- Lisäksi
- tulevaisuutta
- Gates
- arvioida
- general
- yleinen tarkoitus
- yleensä
- tuottaa
- syntyy
- synnyttää
- tuottaa
- sukupolvi
- generatiivinen
- Generatiivinen AI
- geopoliittinen
- saada
- mennä
- tietty
- antaa
- Global
- maailmankaupan
- hyvä
- hallinto
- GPU
- Maa
- HAD
- käsi
- valjastaminen
- Olla
- ottaa
- he
- pää
- terveys
- terveydenhuollon
- auttaa
- auttaa
- tätä
- Korkea
- korkealaatuisia
- korkeampi
- erittäin
- hänen
- historiallinen
- pitää
- isäntä
- isännöi
- Miten
- Miten
- Kuitenkin
- HTML
- HTTPS
- ihmisen
- Sadat
- i
- ihannetapauksessa
- if
- havainnollistaa
- kuva
- kuvien
- kuvitteellinen
- Vaikutus
- toteuttaa
- täytäntöönpanosta
- vaikutukset
- merkitys
- tärkeä
- parantaminen
- in
- sisältää
- sisältää
- Mukaan lukien
- sisällyttää
- Kasvaa
- kasvoi
- ilmaisee
- indikaattorit
- henkilökohtainen
- teollisuuden
- vaikutus
- vaikuttaneet
- Infrastruktuuri
- ensimmäinen
- innovatiivinen
- panos
- tuloa
- esimerkki
- sen sijaan
- ohjeet
- vakuutus
- yhdistää
- tarkoitettu
- olla vuorovaikutuksessa
- vuorovaikutuksessa
- vuorovaikutus
- vuorovaikutuksessa
- liitäntä
- Internet
- Internet-yhteys
- Internet asioita
- tulee
- esitellä
- investoimalla
- osallistuva
- johon
- Esineiden internet
- IT
- SEN
- Job
- matka
- matkat
- heinäkuu
- vain
- avain
- avaintekijä
- laji
- Tietää
- tuntemus
- tunnettu
- Merkki
- tarrat
- järvi
- Kieli
- suuri
- suurempi
- Sukunimi
- Viive
- kerros
- kerrokset
- johtava
- Liidit
- OPPIA
- oppiminen
- jättää
- lainata
- vähemmän
- Taso
- vipuvaikutuksen
- kirjastot
- Lisenssi
- Licensing
- elinkaari
- pitää
- tykkää
- rajoitukset
- LINK
- OTK
- kuormitus
- paikallinen
- sijaitsevat
- sijainti
- Lontoo
- Pitkät
- kauemmin
- alentaa
- kone
- koneoppiminen
- tehty
- tärkein
- ylläpitää
- Enemmistö
- Tekeminen
- hallittavissa
- pakollinen
- manuaalinen
- käsin
- valmistus
- monet
- kartta
- massiivinen
- kypsyys
- maksimi
- Saattaa..
- me
- merkitys
- välineet
- mekanismi
- mekanismit
- Media
- Välimeren
- mainitsi
- sulautuvan
- verkko
- Metadata
- menetelmä
- Metodologia
- menetelmät
- Metrics
- Keskimmäinen
- Lähi-itä
- ehkä
- minimi
- ML
- MLOps
- malli
- mallit
- monitori
- seurataan
- seuranta
- lisää
- tehokkaampi
- eniten
- enimmäkseen
- Moottoriurheilu
- liikkua
- siirretty
- liike
- paljon
- moninkertainen
- Musiikki
- täytyy
- my
- nimi
- Luonnollinen
- Luonnollinen kielen käsittely
- luonto
- Navigoida
- välttämätön
- Tarve
- tarvitaan
- tarpeet
- negatiivinen
- verkko
- neuroverkkomallien
- Neutraali
- ei ikinä
- Uusi
- hiljattain
- seuraava
- NLP
- Nro
- normaali
- Pohjoiseen
- merkittävä
- numero
- tarkkailla
- of
- kampanja
- tarjotaan
- usein
- on
- perehdytyksessä
- ONE
- yhdet
- vain
- avata
- avoimen lähdekoodin
- toiminta
- Operations
- optimaalinen
- Vaihtoehto
- Vaihtoehdot
- or
- organisaatio
- organisaatioiden
- Muut
- Muuta
- muuten
- meidän
- ulos
- Tulos
- ulostulo
- yli
- yleinen
- yleiskatsaus
- oma
- omistaja
- omistajat
- paketti
- paria
- parametrit
- kuviot
- Ihmiset
- varten
- Suorittaa
- suorituskyky
- esittävä
- ehkä
- henkilö
- henkilöstö
- yksilöllinen
- näkökulma
- vaihe
- Valokuvat
- kappale
- putki
- Paikka
- foorumi
- Platon
- Platonin tietotieto
- PlatonData
- Ole hyvä
- Kohta
- pistettä
- politiikkaa
- positiivinen
- omistaa
- mahdollinen
- Kirje
- Viestejä
- mahdollinen
- mahdollisesti
- teho
- voimakas
- Käytännön
- käytännöt
- Tarkkuus
- ennustaa
- ennustus
- Ennusteet
- valmistelu
- Valmistella
- valmis
- valmistelee
- esitetty
- edellinen
- aiemmin
- tärkein
- pääministeri
- periaatteet
- Aikaisempi
- Asettaa etusijalle
- yksityisyys
- yksityinen
- Ongelma
- prosessi
- Prosessit
- käsittely
- valmistettu
- tuottaja
- Tuotteet
- tuotanto
- Ohjelmointi
- projekti
- edistää
- todiste
- todiste käsitteestä
- ehdottaa
- patentoitu
- todistaa
- toimittaa
- mikäli
- toimittaja
- tarjoajat
- tarjoaa
- tarjoamalla
- tarkoitus
- tarkoituksiin
- työntää
- palapeli
- laatu
- kysymys
- kysymykset
- nopea
- herättää
- alue
- alainen
- nopeasti
- hinta
- pikemminkin
- luokitus
- Lukeminen
- reaaliaikainen
- reason
- vastaanottaa
- suositella
- punainen
- Vähentynyt
- tarkentaa
- suhteen
- rekisterit
- rekisterin
- määräykset
- liittyvä
- julkaistu
- Merkitys
- merkityksellinen
- luotettavuus
- jäännökset
- kaukosäädin
- korvataan
- raportti
- säilytyspaikka
- edustus
- edustaja
- pyyntö
- pyynnöt
- tarvitaan
- vaatimukset
- Vaatii
- tutkimus
- Tutkijat
- Esittelymateriaalit
- vastaavasti
- vastaus
- vasteet
- vastuullinen
- REST
- rajoitukset
- rajoittava
- johtua
- tulokset
- vähittäiskauppa
- uudelleenkäyttö
- arviot
- tarkistetaan
- ratsastus
- oikein
- roadmap
- Rooli
- roolit
- karkeasti
- kierros
- ajaa
- juoksu
- sagemaker
- sama
- hiekkalaatikko
- Asteikko
- skaalaus
- skenaario
- skenaariot
- tiede
- tutkijat
- pisteet
- raapia
- skriptejä
- SEA
- Osa
- osiot
- sektori
- turvallinen
- turvallisesti
- turvallisuus
- turvallisuuspolitiikkaa
- nähdä
- etsiä
- valittu
- valitsemalla
- valinta
- lähettäminen
- vanhempi
- lähetetty
- näkemys
- erillinen
- Järjestys
- Sarjat
- palvella
- palvelu
- Palvelut
- palvelevat
- setti
- useat
- muotoiluun
- Jaa:
- yhteinen
- alukset
- Lyhyt
- shouldnt
- esitetty
- Näytä
- puoli
- merkittävä
- merkittävästi
- samankaltainen
- yksinkertaistaa
- Koko
- taitoja
- pieni
- pienempiä
- Pk-yritysten
- So
- ratkaisu
- Ratkaisumme
- SOLVE
- jonkin verran
- lähde
- lähdekoodi
- Lähteet
- Tila
- erityinen
- asiantuntija
- erikoistunut
- erityinen
- erityisesti
- nopeus
- viettää
- käytetty
- Vaihe
- vaiheissa
- sidosryhmien
- standardi
- standardointi
- Alkaa
- Tila
- Vaihe
- Askeleet
- verkkokaupasta
- tallennettu
- tallentamiseksi
- Tarina
- vahvuudet
- vahva
- Myöhemmin
- onnistunut
- niin
- ehdottaa
- sopivuus
- sopiva
- yhteenveto
- YHTEENVETO
- tuki
- Tuetut
- tarkoitus
- varma
- SWIFT
- järjestelmä
- taulukko
- ottaa
- Tehtävä
- tehtävät
- joukkue-
- tiimit
- Tekninen
- tekniikat
- Technologies
- Elektroniikka
- ehdot
- testi
- testattu
- testaajat
- Testaus
- kuin
- että
- -
- Tulevaisuus
- Lähde
- UK
- maailma
- heidän
- Niitä
- itse
- sitten
- Siellä.
- siksi
- Nämä
- ne
- asiat
- Ajattelu
- kolmannen osapuolen
- tätä
- ne
- vaikka?
- ajatus
- tuhansia
- kolmella
- aika
- että
- yhdessä
- symbolinen
- tokens
- ylin
- Aiheet
- kohti
- kauppaa
- perinteinen
- Juna
- koulutettu
- koulutus
- Muuttaa
- Muutos
- matkustaa
- matkustaa
- Trend
- laukaista
- totta
- Totuus
- yrittää
- kaksi
- tyyppi
- tyypit
- tyypillisesti
- ui
- Uk
- ymmärtää
- ymmärtäminen
- yksikkö
- yksiköt
- Päivitykset
- Ladataan
- us
- käyttökelpoinen
- Käyttö
- käyttää
- käyttölaukku
- käytetty
- käyttäjä
- Käyttäjät
- käyttötarkoituksiin
- käyttämällä
- apuohjelmia
- hyödynnetty
- eri
- todentaa
- versio
- Vastaan
- pystysuora
- kautta
- kannattava
- havainnollistaa
- vs
- haluta
- oli
- we
- verkko
- verkkopalvelut
- Verkkosivu
- HYVIN
- Mitä
- Mikä on
- kun
- taas
- onko
- joka
- vaikka
- KUKA
- leveä
- Laaja valikoima
- tulee
- ikkuna
- ikkunat
- with
- sisällä
- ilman
- sana
- sanoja
- Referenssit
- työskennellä yhdessä
- työskenteli
- työskentely
- toimii
- maailman-
- olisi
- vuotta
- tuotto
- Voit
- Sinun
- zephyrnet