Microsoft VASA-1 AI может заставить одно изображение петь или говорить

Искусственный интеллект и его модели быстро развиваются. От создания изображений, видео и аудио до создания аудио и видеоклипов из одного изображения произошел огромный прогресс. Microsoft Research объявила о выпуске VASA-1, модели искусственного интеллекта, которая может заставить изображение петь или говорить. Он превращает изображение в видеоклип со звуком и выражениями лица, соответствующими звуку.

Microsoft VASA-1 AI может заставить одно изображение петь или говорить

VASA — это новая модель искусственного интеллекта от Microsoft, которая может генерировать гиперреалистичные говорящие лица из одного изображения. Вам нужно всего лишь ввести изображение и один аудиоклип, чтобы получить реалистичный видеоклип. Модель VASA не только синхронизирует звук по губам, но также генерирует нюансы лица и естественные моменты головы, чтобы соответствовать звуку и создавать реалистичный эффект.

Microsoft только что отказалась от VASA-1.

Этот ИИ может заставить отдельное изображение петь и выразительно говорить на основе аудиозаписи. Похоже на: ЭМО от Alibaba

10 диких примеров:

1. Мона Лиза читает рэп папарацци pic.twitter.com/LSGF3mMVnD

— Мин Чой (@minchoi) 18 апреля 2024 г.

Модель VASA может обеспечивать высококачественный видеовыход и значительно превосходит другие модели, способные генерировать видео. Он также может генерировать онлайн-видео 512×512 со скоростью до 40 кадров в секунду с очень незначительной задержкой. Эта модель может быть очень полезна для создания реалистичных аватаров, имитирующих разговорное поведение человека.

С помощью VASA пользователи могут контролировать генерацию видео, вводя условия для взгляда, расстояния между головами и других эмоциональных смещений. Модель может обрабатывать художественные фотографии, такие как Мона Лиза, аудиозаписи пения и неанглоязычные речи для создания гиперреалистичных видеороликов.

Майкрософт в своей исследовательской статье добавлено, что исследование сосредоточено на создании визуальных аффективных навыков для виртуальных аватаров ИИ, предназначенных для позитивных сценариев использования. Любой контент, созданный с целью введения в заблуждение или обман, противоречит их политике. Microsoft признала, что, как и другие модели, эту также можно использовать для выдачи себя за людей. Они уверены, что существует разрыв между тем, чего они сейчас могут достичь, и реальными видеороликами.

Microsoft не планирует публиковать онлайн-демонстрацию, API, дополнительные сведения о реализации или любые другие связанные предложения до тех пор, пока они не будут уверены, что инструменты будут использоваться ответственно и в соответствии с надлежащими правилами.