Esittelemme parannuksia hienosäätöön sovellusliittymään ja laajennamme mukautettuja mallien ohjelmaamme

Avustettu hienosäätö

DevDayssa viime marraskuussa me ilmoitti Custom Model -ohjelma, joka on suunniteltu kouluttamaan ja optimoimaan malleja tietylle toimialueelle yhteistyössä OpenAI-tutkijoiden ryhmän kanssa. Siitä lähtien olemme tavanneet kymmeniä asiakkaita arvioidaksemme heidän räätälöityjen mallien tarpeita ja kehittäneet ohjelmaamme suorituskyvyn maksimoimiseksi entisestään.

Tänään julkistamme virallisesti avustetun hienosäätötarjouksemme osana Custom Model -ohjelmaa. Avustettu hienosäätö on yhteistyössä teknisten tiimiemme kanssa hienosäätö-API:n ulkopuolisten tekniikoiden hyödyntämiseksi, kuten ylimääräisiä hyperparametreja ja erilaisia ​​parametritehokkaita hienosäätömenetelmiä (PEFT) suuremmassa mittakaavassa. Se on erityisen hyödyllinen organisaatioille, jotka tarvitsevat tukea tehokkaiden koulutustietoputkien, arviointijärjestelmien ja räätälöityjen parametrien ja menetelmien määrittämiseen mallin suorituskyvyn maksimoimiseksi käyttötapauksessaan tai tehtävässään.

Esimerkiksi SK Telecom, teleoperaattori, joka palvelee yli 30 miljoonaa tilaajaa Etelä-Koreassa, halusi räätälöidä mallin televiestintäalan asiantuntijaksi, joka keskittyy aluksi asiakaspalveluun. He työskentelivät OpenAI:n kanssa hienosäätääkseen GPT-4:ää parantaakseen sen suorituskykyä televiestintään liittyvissä keskusteluissa korean kielellä. Useiden viikkojen aikana SKT ja OpenAI paransivat merkittävästi televiestinnän asiakaspalvelutehtävien suorituskykyä – keskustelujen yhteenvedon laatu parani 35 %, aikomusten tunnistuksen tarkkuus parani 33 % ja tyytyväisyyspisteet kasvoivat 3.6:sta 4.5:een (ulos). 5), kun verrataan hienosäädettyä mallia GPT-4:ään. 

Räätälöity malli

Joissakin tapauksissa organisaatioiden on koulutettava alusta alkaen tarkoitukseen rakennettu malli, joka ymmärtää heidän liiketoimintaansa, toimialaansa tai toimialuettaan. Täysin räätälöidyt mallit tuovat uutta tietoa tietystä alueesta muokkaamalla mallin koulutusprosessin keskeisiä vaiheita käyttämällä uusia keski- ja koulutuksen jälkeisiä tekniikoita. Organisaatioilla, jotka näkevät menestyksen täysin räätälöidyn mallin avulla, on usein suuria määriä omaa dataa – miljoonia esimerkkejä tai miljardeja tunnuksia –, joita ne haluavat käyttää opettaakseen mallille uutta tietoa tai monimutkaisia, ainutlaatuisia käyttäytymismalleja erittäin erityisiin käyttötapauksiin. 

Esimerkiksi Harvey, tekoälyn natiivi lakimiestyökalu, joka on yhteistyössä OpenAI:n kanssa luoda räätälöity laaja kielimalli oikeuskäytäntöä varten. Perusmallit olivat vahvoja päättelyssä, mutta niiltä puuttui laaja oikeustapaushistorian tuntemus ja muu lakityössä tarvittava tieto. Testattuaan nopean suunnittelun, RAG:n ja hienosäädön Harvey työskenteli tiimimme kanssa lisätäkseen malliin tarvittavan kontekstin syvyyden – mikä vastaa 10 miljardin tokenin arvosta dataa. Tiimimme muokkasi mallin koulutusprosessin jokaista vaihetta aluekohtaisesta välikoulutuksesta koulutuksen jälkeisten prosessien räätälöintiin ja asiantuntevien asianajajien palautteen sisällyttämiseen. Tuloksena saatu malli saavutti 83 % lisäyksen tosiasiallisten vastausten määrässä, ja asianajajat pitivät parempana räätälöidyn mallin tuloksia 97 % ajasta GPT-4:n sijaan.