Text-to-3D-modellstarten Luma samlade in 43 miljoner dollar i senaste omgången

Text-to-3D-modellstarten Luma samlade in 43 miljoner dollar i senaste omgången

Tidsstämpel: 10 januari 2024 3:24

Luma, en generativ AI-startup-programvara som omvandlar textbeskrivningar till motsvarande 3D-modeller, samlade precis in 43 miljoner dollar (34 miljoner pund) i en serie B-finansieringsrunda ledd av Andreesen Horowitz, Nvidia och andra. 

Luma AI grundades 2021 av VD Amit Jain, en före detta systemingenjör som arbetar med datorseende på Apple, och CTO Alex Yu, en doktorand från University of California, Berkeley, och utvecklar mjukvara för maskininlärning som går ett steg längre än vad vi har sett från de flesta befintliga generativa neurala nätverk.

Till skillnad från text-till-bild-modeller som avger platta bitmappar av digital konst, använder Luma AI för att utifrån foton, videor eller textbeskrivningar skapa tredimensionella modeller av objekt som kan laddas ner, manipuleras, redigeras och renderas efter behov.

Uppkomlingen, baserad i Palo Alto, Kalifornien, har redan lanserat denna teknik som en app som heter Genie – tillgänglig via webben, som Luma iOS-appen och via Discord – som kan konvertera bilder och video till 3D-scener eller producera 3D modeller av användarbeskrivna objekt. Dessa maskintillverkade modeller kan förhandsgranskas på skärmen och exporteras till konstpaket som Blender, populära spelmotorer som Unreal eller Unity och andra verktyg för vidare användning. 

Skärmdump av Luma's Genie som skapar en gam som håller i en kopp kaffe

Skärmdump av Genies försök att skapa en gam som håller en kopp kaffe åt oss ... Detta skapades från den enkla uppmaningen: en gam med en kopp kaffe. Klicka för att förstora

"Vi tror att multimodalitet är avgörande för intelligens," uppkomlingens grundare gushed i ett uttalande som tillkännager deras senaste finansieringsrunda på måndag. "För att gå bortom språkmodeller och bygga mer medvetna, kapabla och användbara system, kommer nästa steg funktionsändring att komma från vision. Så vi arbetar med att träna och skala upp multimodala grundmodeller för system som kan se och förstå, visa och förklara och så småningom interagera med vår värld för att åstadkomma förändring."

Luma säger att de använder olika proprietära datorseendetekniker, från bildsegmentering till meshing, för att generera dessa 3D-modeller från filmer och beskrivningar. Modellerna kan mycket väl komma att användas i videospel, virtual reality-applikationer, simuleringar eller robottestning.

Vissa människor kan tycka att den här tekniken är ganska användbar om de har en idé om något som involverar 3D-grafik eller en 3D-scen, och saknar artistens talang eller skicklighet för att skapa de nödvändiga modellerna. Nu kan de be Luma att generera dessa tillgångar och importera dem till vilken mjukvarusvit eller motor de har till hands.

Uppkomlingens teknik kan användas för att göra prototyper eller testa 3D-system innan en mer skicklig mänsklig konstnär tas in för att skapa bättre modeller – eller så kan Genies produktion vara tillräckligt bra för just din produktion.

Vi lekte med systemet och tyckte att Genies produktion såg ganska söt ut men kanske inte är för alla i det här skedet; exemplen som uppkomlingen gav såg bättre ut än vad vi kunde komma på, kanske för att de producerades via startupens betalda API medan vi använde gratisversionen.

Det där är betalt gränssnitt kostar en dollar en pop att konstruera en modell eller scen från levererade tillgångar. The biz gör även poängen att detta är billigare och snabbare än att förlita sig på en mänsklig designer. Om du kan dra ut Genie så har du inget att oroa dig för just nu.

Luma samlade tidigare in 20 miljoner dollar i en serie A-runda ledd av Amplify Partners, Nventures (Nvidias investeringsarm) och General Catalyst. Andra investerare var Matrix Partners, South Park Commons och Remote First Capital. Efter att ha samlat in totalt över 70 miljoner dollar hittills har den en värdering beräknad mellan 200 miljoner och 300 miljoner dollar. ®

Tidsstämpel:

Mer från Registret