Make-A-Video с AI и несколько слов: ознакомьтесь с новым инструментом Meta

Искусственный интеллект становится все лучше и лучше в создании изображения в ответ на несколько слов с помощью общедоступных генераторов изображений ИИ, таких как DALL-E 2 и Stable Diffusion. Теперь исследователи Meta делают ИИ еще дальше: они используют его для создания видео из текстовой подсказки.

Генеральный директор Meta Марк Цукерберг опубликовал в Facebook в четверг об исследовании, называемые Сделать видео, с 20-секундным роликом, в котором собрано несколько текстовых подсказок, использованных исследователями Meta, и полученными (очень короткими) видеороликами. Подсказки включают в себя: «Плюшевый мишка рисует автопортрет», «Космический корабль приземляется на Марс», «Ленинец в вязаной шапке пытается разобраться в ноутбуке» и «Робот, бороздящий волну в океане».

Видео для каждой подсказки длится всего несколько секунд и обычно показывает то, что предлагает подсказка (за исключением детеныша ленивца, который не очень похож на настоящее существо), в довольно низком разрешении и несколько отрывистым. стиль. Тем не менее, это демонстрирует новое направление исследований ИИ, поскольку системы становятся все более эффективными в создании изображений из слов. Однако если эта технология в конечном итоге будет широко распространена, она вызовет многие из тех же опасений, которые вызывают системы преобразования текста в изображение, например, что ее можно использовать для распространения дезинформации через видео.

Веб-страница for Make-A-Video включает в себя эти и другие короткие клипы, некоторые из которых выглядят довольно реалистично, например видео, созданное в ответ на подсказку. «Рыба-клоун, плывущая по коралловому рифу» или тот, который предназначен для показа «Молодая пара гуляет под проливным дождем".

В своем посте в Facebook Цукерберг отметил, насколько сложно создать движущееся изображение из нескольких слов.

«Создавать видео гораздо сложнее, чем фотографии, потому что помимо правильной генерации каждого пикселя система также должна предсказывать, как они будут меняться с течением времени», — написал он.

Исследовательская работа В описании работы объясняется, что в проекте используется модель ИИ преобразования текста в изображение, чтобы выяснить, как слова соотносятся с изображениями, а также метод ИИ, известный как неконтролируемое обучение — в котором алгоритмы изучают данные, которые не помечены, чтобы выявить в них закономерности — чтобы просмотреть видео и определить, как выглядит реалистичное движение.

Как и в случае с массивными популярными системами искусственного интеллекта, генерирующими изображения из текста, исследователи отметили, что их модель искусственного интеллекта, преобразующая текст в изображение, была обучена на интернет-данных, а это означает, что она усвоила «и, вероятно, преувеличила социальные предубеждения, в том числе вредные», говорят исследователи. написал. Они отметили, что отфильтровали данные по «контенту NSFW и токсичным словам», но, поскольку наборы данных могут включать в себя многие миллионы изображений и текста, удалить весь такой контент может быть невозможно.

Цукерберг написал, что Meta планирует в будущем поделиться проектом Make-A-Video в качестве демо-версии.

The-CNN-Wire™ и © 2022 Cable News Network, Inc., компания Warner Bros. Discovery. Все права защищены.