Meta avaldab generatiivse AI muusika ja helide tegemiseks

Taasavaldanud Platon

järgijaid: 0

Meta annab muusika tegemiseks välja generatiivse AI, kõlab PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai.

Meta andis kolmapäeval välja AudioCrafti, kolmest AI-mudelist koosneva komplekti, mis on võimeline tekstikirjeldustest automaatselt heli looma.

Kuna generatiivsed AI mudelid, mis kasutavad kirjalikke viipeid ja muudavad need kujutisteks või suuremaks tekstiks, arenevad edasi, uurivad arvutiteadlased masinõppe abil muid meediumivorme.

Heli on AI-süsteemide, eriti muusika jaoks keeruline, kuna tarkvara peab õppima mitme minuti jooksul ühtseid mustreid looma ja olema piisavalt loominguline, et luua midagi meeldejäävat või meeldivat kuulata.

"Tüüpiline mõne minuti pikkune muusikapala, mis on võetud sagedusel 44.1 kHz (mis on muusikasalvestiste standardkvaliteet), koosneb miljonitest ajasammudest," selgitas Team Meta. See tähendab, et heli genereeriv mudel peab inimsõbraliku raja loomiseks väljastama palju andmeid.

Võrdluseks, tekstipõhised generatiivsed mudelid, nagu Llama ja Llama 2, toidetakse tekstiga, mida töödeldakse alamsõnadena, mis esindavad vaid mõne tuhande ajasammu proovi kohta.

Facebooki hiiglane näeb inimesi, kes kasutavad AudioCrafti, et katsetada arvutiga loodud helide loomist, ilma et nad peaksid õppima ühtegi instrumenti mängima. Tööriistakomplekt koosneb kolmest mudelist: MusicGen, AudioGen ja EnCodec.

MusicGen koolitati 20,000 XNUMX tundi salvestusi, mille omanik või litsents on Meta, koos vastavate tekstikirjeldustega. AudioGen keskendub rohkem heliefektide kui muusika loomisele ja seda koolitati avalike andmete põhjal. Lõpuks kirjeldatakse EnCodecit kui kadudega närvikoodekit, mis suudab helisignaale suure täpsusega tihendada ja lahti pakkida.

Meta ütles, et see oli "avatud hankimisega" AudioCraft ja see on teatud määral. Mudelite loomiseks ja koolitamiseks ning järelduste tegemiseks vajalik tarkvara on saadaval avatud lähtekoodiga MIT-litsentsi alusel. Koodi saab kasutada tasuta (nagu vabaduses ja tasuta õlles) ja kommertsrakendustes ning uurimisprojektides.

See tähendab, et mudeli kaalud ei ole avatud lähtekoodiga. Neid jagatakse Creative Commonsi litsentsi alusel, mis keelab konkreetselt ärilise kasutamise. Nagu nägime Laama 2, kui Meta räägib avatud hankimise asjadest, kontrollige peenes kirjas.

MusicGen ja AudioGen genereerivad sisestusteksti viipaga helisid. Meta AudioCrafti vahendusel saate kuulda lühikesi klippe, mis on loodud kirjeldustest „tuulega vihisemine“ ja „meeldivate meloodiate, troopiliste löökpillide ja meeleolukate rütmidega poptantsulugu, mis sobib ideaalselt randa“ sihtleht, siin.

Lühikesed heliefektid on realistlikud, kuigi muusikalaadsed pole meie arvates suurepärased. Need kõlavad pigem korduvate ja üldiste kõlksudena, mis kõlavad halvasti hoitud muusika või liftilaulude kui hittidena.

Meta teadlased ütlesid, et AudioGen – kirjeldatud põhjalikult siin – koolitati, teisendades toorheli žetoonide jadaks ja rekonstrueerides sisendi, muutes need kõrge täpsusega heliks tagasi. Keelemudel kaardistab sisendteksti viiba katked helimärkidega, et õppida sõnade ja helide vahelist seost. MuusikaGen koolitati sarnase protsessiga muusikanäidiste, mitte heliefektide puhul.

"Selle asemel, et hoida teost läbitungimatu musta kastina, aitab avatud olemine nende mudelite väljatöötamise kohta ja selle tagamine, et inimestel on neid lihtne kasutada – olgu selleks siis teadlased või muusikakogukond tervikuna –, et inimesed mõistaksid, mida need mudelid võimaldavad. teha, mõista, mida nad ei saa teha, ja olla võimelised neid tegelikult kasutama,“ väitis Team Meta.

"Tulevikus võib generatiivne tehisintellekt aidata inimestel iteratsiooniaega oluliselt parandada, võimaldades neil kiiremini tagasisidet saada varases prototüüpimise ja hallkasti loomisetapis – olgu nad siis suur arendaja, kes ehitab maailmu metaversumi jaoks, muusik (amatöör, professionaal või muul juhul) oma järgmise koosseisu kallal töötamine või väikese või keskmise suurusega ettevõtte omanik, kes soovib oma loomingulisi varasid tõsta.

Saate hankida AudioCrafti koodi siinja katsetage rakendusega MusicGen siin ja proovige seda. ®