Nvidia научила ИИ создавать SloMo

Фильм «Матрица» 1999 года популяризовал эффект SloMo и привёл к тому, что сейчас ни один блокбастер не обходится без него. Технически это довольно простой способ акцентировать внимание на происходящем, потому голливудские режиссёры не гнушаются использовать его где надо и не надо. Его вставляют в игры, фильмы и короткометражки, а также оснащают топовые смартфоны возможностью снимать такое видео. Но, похоже, в скором будущем появится обновлённый вариант SloMo.

Суть в том, что разработчики из Nvidia решили использовать для этого искусственный интеллект. В ходе 2018 Conference on Computer Vision and Pattern Recognition компания показала свою новую разработку. Она основана на методе «многокадровой интерполяции переменной длины». Проще говоря, это дополнение существующего изображения промежуточными кадрами.

В технологии используются две нейросети. Первая оценивает изображение, объекты и переходы, а вторая интерполирует видеопоток. При этом разработчики утверждают, что видео можно замедлять сколько угодно. И хотя о коммерческой версии пока речи не идёт, в будущем она вполне может появиться.

Выглядит это как в ролике выше. Мы видим, что в обычном SloMo при достаточном замедлении пропадает плавность переходов между кадрами. Версия Nvidia компенсирует это, чем обеспечивает равномерный видеопоток.

Разработчики заявили, что обучали систему на роликах YouTube -канала The Slow Mo Guys. В качестве аппаратной основы использовались ускорители Nvidia Tesla V100 и система глубокого обучения PyTorch.