EMO AI: искусственный интеллект заставляет людей петь по фотографиям

недавно выпущенный Эмо ИИ, искусственный интеллект группы Алибаба, вызвало большой резонанс в Интернете. Инструмент создает видео из фотографий, заставляя аватара петь песни на разных языках с удивительной реалистичностью.

Этот сегмент искусственного интеллекта за прошедшие годы добился значительного прогресса, ранее он появлялся в области редактирования фотографий, когда с помощью приложений можно было менять лица с кем-то, добавлять фильтры и использовать другие функции. Сейчас симуляция действий в видеороликах вызвала большой интерес со стороны пользователей Интернета, главным образом, благодаря реалистичности, примененной к этому контенту.

Что такое ЭМО ИИ?

A EMO AI: Живой портрет эмоций — это инструмент для создания аудиовизуального контента посредством распространения сверхреалистичного аудио и видео — или изображений.

A IA Основное внимание уделяется точному и достоверному моделированию черт лица модели в ситуациях, которые можно вообразить по фотографии. Возможно создание музыкального клипа по фотографии человека, где персонаж может спеть популярную песню, двигая губами и мышцами лица, правильно произносить текст в реалистичных позах.

По мнению разработчиков Институт интеллектуальных вычислений, из группы Алибаба, видео, созданные Эмо ИИ Они могут иметь любую продолжительность, в зависимости только от размера аудиофайла, вставленного для создания видео.

Как работает ИИ?

На основе методологии, используемой профессионалами, EMO Ему нужно только изображение, которое послужит основой для создания видео, созданного искусственным интеллектом. Затем вы должны вставить аудиофайл, чтобы инструмент мог создать видео с интерпретацией персонажа, синхронизируя движения губ с текстами песен и анимируя человека до тех пор, пока существует аудиофайл.

См. ниже видео с использованием EMO AI.

В видео выше используется аниме-рисунок для создания сцены, моделируемой искусственным интеллектом. О Эмо ИИ ему также удалось удовлетворительно и убедительно передать движения лица и губ персонажа.

Структура инструмента EMO AI

Методика, использованная при разработке Эмо ИИ был применен именно с целью улучшения качества видео, создаваемых ИИ. Исследователи стремились найти альтернативные способы повышения качества результата.

В связи с этим на начальном этапе процесса, называемого Кодирование кадров, нейронная сеть под названием РеференсНет извлекает особенности из одного эталонного изображения путем моделирования кадров движения. Этот процесс кодирования закладывает основу видео.

Затем с помощью кодировщика включается звук и применяются маски для лица, которые обеспечивают реалистичные движения лица. Завершая процесс, механизм Магистральная сеть отвечает за сохранение личности персонажа и корректировку скорости движения лица.

Несмотря на инновационный процесс, разработчики Alibaba в своей научной статье сообщают, что обнаружили в модели ограничения. Они указали, что Эмо ИИ на создание контента уходит больше времени, чем у других ИИ в том же сегменте, и в некоторых случаях в видео могут появляться и другие части тела, например, руки персонажа.

Поиск ИИ, имитирующих действия

С ростом совместимости ИИ с существующими операционными системами на мобильных телефонах поиск этих инструментов в последние годы резко возрос. В настоящее время можно найти несколько вариантов приложения, которые изменяют лицо пользователя на известное, состаривают его, омолаживают, корректируют мимику и другие функции.

Среди этих возможностей, Deepfake , что является результатом сопоставления лиц или их замены с помощью ИИ. Этот ресурс можно использовать в разных целях: юмористических, политических или даже порнографических. Что касается политики, то в Бразилии TSE включила тревогу по этому поводу, уже предвидя использование Deepfake на октябрьских выборах этого года.

В этом случае Deepfake Это полная тарелка для поддельные новости, поскольку они обычно изображают кандидата в лживых ситуациях или имитируют спорные речи, о которых он никогда не говорил, мотивированные политическими интересами.

EMO AI создает выражения на нескольких языках

Еще один барьер, преодолеваемый ИИ, в том числе Эмо ИИ, — это производство видеороликов на разных языках. Эти технологии понимают разные языки, звучание их слов и их произношение. Благодаря этому можно создавать аудиовизуальный контент на многих языках.

Посмотрите больше видео, созданных EMO AI, ниже

Fontes: НовадАлс, Arxiv, Гуманэйгк.

См. также:

Рассмотрено Главкон Витал от 28.