NVIDIA поделилась исходным кодом генеративной нейросети Audio2Face со всем миром

NVIDIA открыла исходный код генеративной нейросети Audio2Face. Вполне возможно, этот шаг окажет существенное влияние на развитие игровой индустрии.

Технология позволяет создавать реалистичную лицевую анимацию и синхронизировать движение губ с речью из любого аудиофайла, от голоса актёра до сгенерированных реплик.

Выглядит это так: ИИ анализирует звуковую дорожку, распознаёт фонемы, интонацию и эмоциональную окраску, а потом преобразует всё это в поток данных. Они, в свою очередь, накладываются на 3D-модель персонажа, создавая правдоподобную мимику.

Процесс может работать в реальном времени, что однажды позволит, например, вступать в открытый диалог с персонажами MMORPG. Другой вопрос — не будет ли подобное вызывать эффект зловещей долины?

С открытием исходного кода моделей и SDK инструмент стал доступен всем желающим, в том числе независимым разработчикам. Инди-игры производятся медленно, во многом из-за трудоёмкого процесса анимации. Audio2Face поможет решить эту проблему.

Но вот понравится ли новость профессиональным аниматорам больших компаний? Разработчики Alien: Rogue Incursion из студии Survios отметили, что интеграция Audio2Face значительно ускоряет процесс лип-синка и экономит много времени… и денег.

В любом случае, технология уже существует, и с этим ничего не поделать. Лишь с течением времени мы поймём, принесёт ли она благо или обратится во зло.