Den koreanska webbjätten Naver debuterade förra veckan med en familj av stora språkmodeller vid namn HyperCLOVA X, som den hävdade presterar bättre på tvärspråkiga resonemang på asiatiska språk än andra modeller – och kan därför hjälpa regionen att utveckla suveräna stora språkmodeller.
Naver meddelade debuten av HyperCLOVA X på koreanska och pekade på ett engelskspråkigt teknisk rapport i tidskriften arXiv med öppen tillgång som hävdar "Vi tror att HyperCLOVA X - med dess konkurrenskraftiga kapacitet på engelska och andra språk utöver koreanska - kan ge användbar vägledning för regioner eller länder om att utveckla sina egna suveräna LLMs."
LLM:erna var förutbildade på data "bestående av koreanska, flerspråkiga och kodsegment."
Den flerspråkiga delmängden var övervägande engelska, men inkluderade också en mängd andra språk – som japanska, tyska och franska.
Det koreanska språket utgjorde ungefär en tredjedel av förträningsdatan, en indikation på att Naver valde att förbättra sina modellers prestanda på sitt hemspråk. Förträningsprocessen tog också hänsyn till det koreanska språkets speciella grammatik.
Resultatet av denna ansträngning, hävdar Naver, är modeller "med inneboende kunskaper i både koreanska och engelska."
Ännu bättre är att modellerna uppvisar "flerspråkighet" - förmågan att arbeta på andra språk än de som de är utbildade att hantera.
"Vår analys visar att HyperCLOVA X inte bara kan utöka sin resonemangsförmåga bortom sina primärt målspråk utan också uppnå den senaste nivån i maskinöversättning mellan koreanska och oriktade språk, som japanska och kinesiska," teknisk rapport uppger. "HyperCLOVA X:s imponerande flerspråkiga förmåga inkluderar även överföring av flera språk mellan koreanska och engelska, där instruktionsinställning på ett språk kan leda till uppkomsten av instruktionsföljande möjligheter på det andra", tilläggs det.
Flerspråkiga testresultat fick utvecklaren att dra slutsatsen att HyperCLOVA X "kan överföras till asiatiska språk som är underrepresenterade i förträningsdata."
Sovereign AI växer fram som en nödvändig nationell kapacitet – som ett sätt att säkerställa datasäkerhet och minska beroendet av offshore-leverantörer. Nvidia har kämpat för konceptet, som av en slump har potential att skapa en ännu större marknad för sina varor.
Men som Navers tekniska rapport påpekar, är engelska och nordamerikanska kulturer "extremt överrepresenterade i före-utbildningskorporna" för befintliga vanliga LLM:er.
"Därför uppvisar dessa LLMs begränsningar i sin förmåga att bearbeta och förstå icke-engelska språk som koreanska, vilket förkroppsligar distinkta kulturella nyanser, geopolitiska situationer och andra regionala särdrag, såväl som unika språkliga attribut," förklarar det.
Det regionala tungviktspartiet Kina har försökt utveckla LLM i sitt nationella intresse – eller åtminstone KKP:s intresse – för att varierande framgång. Icke desto mindre hade chatbots som Baidus ERNIE samlat över 100 miljoner användare i slutet av 2023.
Nak-ho-Seon, chef för Naver Cloud Hyperscale AI-teknologi, förklarade att de planerar "att skapa specialiserad superskalig AI för olika regioner och länder i framtiden."
Samtidigt innehåller den tekniska rapporten ett löfte om att "utforska multimodalitet, som syftar till att bredda HyperCLOVA Xs kapacitet för att sömlöst bearbeta och integrera olika typer av data, såsom text, bilder och ljud", samtidigt som man försöker optimera modellens slutledningsförmåga.
Naver påstod sig "aktivt undersöka integrationen av externa verktyg och API:er för att utöka modellens funktioner" - en strävan som den tror kommer att "aktivera HyperCLOVA X att få tillgång till specialiserade datauppsättningar och tjänster." ®
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
- Källa: https://go.theregister.com/feed/www.theregister.com/2024/04/08/naver_cloud_hyperclova_llm_sovereign_ai/
- : har
- :är
- :inte
- :var
- $UPP
- 100
- 2023
- 7
- a
- förmågor
- förmåga
- Able
- tillgång
- Konto
- Uppnå
- aktivt
- lagt till
- AI
- sikta
- också
- amerikan
- an
- analys
- och
- API: er
- ÄR
- runt
- AS
- asiatisk
- At
- attribut
- audio
- förstärka
- Baidu
- BE
- tro
- tror
- Bättre
- mellan
- Bortom
- båda
- bredda
- men
- by
- KAN
- kapacitet
- kapacitet
- Kapacitet
- ccp
- kämpat
- chatbots
- Kina
- kinesisk
- valde
- hävdade
- cloud
- CO
- koda
- konkurrenskraftig
- Består
- begrepp
- avslutar
- Följaktligen
- länder
- skapa
- kultur
- kulturer
- datum
- datasäkerhet
- datauppsättningar
- debut
- debuterade
- Debuter
- deklarerade
- Dependency
- utveckla
- Utvecklare
- utveckla
- Visa
- utmärkande
- flera
- ansträngning
- förkroppsligar
- uppkomst
- smärgel
- möjliggöra
- änden
- bemöda
- Engelska
- säkerställa
- Även
- uppvisar
- befintliga
- Förklarar
- utforska
- förlänga
- extern
- extremt
- familj
- För
- franska
- funktionaliteter
- framtida
- geopolitiska
- tyska
- jätte
- grammatik
- vägleda
- hade
- hantera
- huvud
- Tungvikt
- hjälpa
- hjälp
- Hem
- html
- HTTPS
- bilder
- imponerande
- förbättra
- in
- ingår
- innefattar
- indikation
- inneboende
- integrera
- integrering
- intresse
- in
- IT
- DESS
- japanska
- tidskriften
- jpg
- koreanska
- språk
- Språk
- Large
- större
- Efternamn
- leda
- t minst
- Led
- Nivå
- tycka om
- begränsningar
- LLM
- Maskinen
- gjord
- Vanliga
- marknad
- Materialet
- Maj..
- betyder
- miljon
- modell
- modeller
- Som heter
- nationell
- Naver
- nödvändigt för
- Nord
- nyanser
- Nvidia
- of
- on
- ONE
- endast
- öppet
- Optimera
- or
- Övriga
- vår
- ut
- över
- egen
- särskilt
- Utföra
- prestanda
- planer
- plato
- Platon Data Intelligence
- PlatonData
- Lova
- poäng
- potentiell
- övervägande
- primärt
- process
- ge
- leverantörer
- reducerande
- region
- regionala
- regioner
- rapport
- resultera
- Resultat
- Reuters
- s
- sömlöst
- säkerhet
- söker
- segment
- Tjänster
- Visar
- situationer
- eftersträvas
- shiner
- specialiserad
- state-of-the-art
- Stater
- sådana
- riktade
- Teknisk
- Teknologi
- testa
- text
- än
- den där
- Smakämnen
- Framtiden
- deras
- därför
- Dessa
- Tredje
- de
- till
- tog
- verktyg
- tränad
- överföring
- överförd
- Översättning
- typer
- underrepresenterad
- förstå
- unika
- användare
- mängd
- olika
- var
- we
- webb
- vecka
- VÄL
- były
- som
- medan
- kommer
- med
- Arbete
- X
- ännu
- zephyrnet