Modele de generare video ca simulatoare mondiale

Acest raport tehnic se concentrează pe (1) metoda noastră de transformare a datelor vizuale de toate tipurile într-o reprezentare unificată care permite formarea la scară largă a modelelor generative și (2) evaluarea calitativă a capacităților și limitărilor Sora. Detaliile modelului și implementării nu sunt incluse în acest raport.

Multe lucrări anterioare au studiat modelarea generativă a datelor video folosind o varietate de metode, inclusiv rețele recurente,^{[^ 1][^ 2]} rețele generative adverse,^{[^ 4][^ 6]} transformatoare autoregresive,^{[^ 8]} și modele de difuzie.^{[^ 10][^ 12]} Aceste lucrări se concentrează adesea pe o categorie restrânsă de date vizuale, pe videoclipuri mai scurte sau pe videoclipuri de dimensiune fixă. Sora este un model generalist de date vizuale - poate genera videoclipuri și imagini cu durate, raporturi de aspect și rezoluții diverse, până la un minut întreg de videoclipuri de înaltă definiție.