Стартап по преобразованию текста в 3D-модели Luma привлек $43 млн в последнем раунде

Стартап по преобразованию текста в 3D-модели Luma привлек $43 млн в последнем раунде

Отметка времени: 10 января 2024 г., 3:24

Luma, генеративное программное обеспечение для создания стартапов с искусственным интеллектом, которое преобразует текстовые описания в соответствующие 3D-модели, только что привлекло 43 миллиона долларов (34 миллиона фунтов стерлингов) в раунде финансирования серии B, возглавляемом Андреесеном Горовицем, Nvidia и другими. 

Компания Luma AI, основанная в 2021 году генеральным директором Амитом Джайном, бывшим системным инженером, работающим над компьютерным зрением в Apple, и техническим директором Алексом Ю, аспирантом Калифорнийского университета в Беркли, разрабатывает программное обеспечение для машинного обучения, которое выходит за рамки того, что мы Я видел это в большинстве существующих генеративных нейронных сетей.

В отличие от моделей преобразования текста в изображение, которые создают плоские растровые изображения цифрового искусства, Luma использует ИИ для создания из фотографий, видео или текстовых описаний трехмерных моделей объектов, которые можно загружать, манипулировать, редактировать и визуализировать по мере необходимости.

Стартап, базирующийся в Пало-Альто, Калифорния, уже запустил эту технологию в виде приложения под названием Genie, доступного через Интернет, как приложение Luma для iOS и через Discord, которое способно конвертировать изображения и видео в 3D-сцены или создавать 3D-изображения. модели объектов, описанных пользователем. Эти машинные модели можно просмотреть на экране и экспортировать в художественные пакеты, такие как Blender, популярные игровые движки, такие как Unreal или Unity, и другие инструменты для дальнейшего использования. 

Скриншот джинна Лумы, создающего стервятника с чашкой кофе

Скриншот попытки Джини создать стервятника, держащего для нас чашку кофе… Он был сгенерирован из простой подсказки: стервятник с чашкой кофе. нажмите, чтобы увеличить

«Мы считаем, что мультимодальность имеет решающее значение для интеллекта», — заявили основатели стартапа. брызнули в заявлении, объявляющем об их последнем раунде финансирования в понедельник. «Чтобы выйти за рамки языковых моделей и создать более осознанные, способные и полезные системы, следующим шагом станет изменение функций. Итак, мы работаем над обучением и расширением мультимодальных базовых моделей для систем, которые могут видеть и понимать, показывать и объяснять и, в конечном итоге, взаимодействовать с нашим миром, чтобы добиться изменений».

Luma говорит, что использует различные собственные методы компьютерного зрения, от сегментации изображений до создания сетки, для создания 3D-моделей на основе отснятого материала и описаний. Эти модели вполне могут быть использованы в видеоиграх, приложениях виртуальной реальности, симуляциях или тестировании робототехники.

Некоторые люди могут найти эту технологию весьма полезной, если у них есть идея чего-то, связанного с 3D-графикой или 3D-сценой, и им не хватает таланта или навыков художника для создания необходимых моделей. Теперь они могут попросить Luma сгенерировать эти ресурсы и импортировать их в любой программный пакет или движок, который у них есть.

Технологию выскочки можно использовать для прототипирования или тестирования 3D-систем, прежде чем будет привлечен более опытный художник-человек для создания более качественных моделей — или результаты Genie могут быть достаточно хороши для вашего конкретного производства.

Мы поигрались с системой и обнаружили, что результаты Genie выглядят довольно мило, но на данном этапе могут подойти не всем; примеры, приведенные выскочкой, выглядели лучше, чем то, что мы могли придумать, возможно, потому, что они были созданы через платный API стартапа, в то время как мы использовали бесплатную версию.

Это оплачено интерфейс создание модели или сцены из предоставленных ресурсов обходится в доллар за штуку. Бизнес даже подчеркивает, что это дешевле и быстрее, чем полагаться на дизайнера-человека. Если вы сможете переиграть Джинна, вам сейчас не о чем беспокоиться.

Luma ранее привлекла $20 млн в раунде серии А, проводимом Amplify Partners, Nventures (инвестиционное подразделение Nvidia) и General Catalyst. Среди других инвесторов были Matrix Partners, South Park Commons и Remote First Capital. После привлечения на данный момент в общей сложности более 70 миллионов долларов, компания имеет оценку к XNUMX году от 200 до 300 миллионов долларов. ®

Отметка времени:

Больше от Регистр