Audio2Face - программа для создания анимации лиц в 3D по голосовым трекам

Компания NVIDIA славится не только созданием видеокарт для компьютеров. Среди направлений, которыми занимается студия - это разработка трехмерной лицевой анимации. Не так давно была презентована новая программа. Она нацелена на создание 3D-лиц, которые можно синхронизировать с аудио дорожками.

Для корректной работы программы используется другой продукт NVIDIA - Omniverse. Эти две разработки дополняют друг друга. Смоделированная трехмерное изображение считывает качество трека, а затем формирует движения, воссоздавая мимику. На текущий день программа находится в бета-режиме.

Она поддерживает английский, французский и русский языки. Однако в будущем, в компании планируют научить Audio2Face другим языкам. Точнее, искусственный интеллект, применяемый в программе, должен будет освоить их самостоятельно. Чтобы показать достижения выложены несколько роликов.

Программа Audio2Face может работать как с человеческими лицами, так и с изображениями животных. Однако есть существенный недостаток. Реалистичность воспроизведения и синхронность зависит от качества трека. Если звуковая дорожка в плохой записи, то ожидать высокой результативности не приходится.