Искусственный интеллект от Facebook делает из снятых на видео людей управляемых игровых персонажей

Искусственный интеллект от Facebook делает из снятых на видео людей управляемых игровых персонажей

19/04/2019 0 Автор Nice Day

Группа исследователей компании Facebook создали искусственный интеллект, что умеет превращать реальных людей из видео в игровых персонажей, которыми можно управлять. Технология была названа «Vid2Play».

Как?

Для достижения результата используются две нейронные сети и система DensePose для превращения двумерного человека из изображения в видео в трехмерную модель. Это первый этап. Затем нейронная сеть Pose2Pose определяет тип движения фигуры на видео: например, танцует он, играет в теннис или занимается фехтованием. Также на этом этапе запись превращается в анимацию движущейся фигуры на чёрном фоне. Уже тогда вы сможете управлять персонажем. Потом «в игру» вступает вторая система, Pose2Frame, и её задача — создать окончательное изображение движущегося человека.

Система обучалась на нескольких видеороликах. ИИ умеет убирать «ненужных» людей из кадра. Примерно также работает функция удаления лишних предметов из видео в программе для видеомонтажа Adobe After Effects.

Технология

На видео видно, что на данный момент анимация получается неидеальной. Но это уже большой шаг вперёд, да и сама технология выглядит впечатляюще. Она даст разработчикам возможность использовать в играх людей из YouTube и создавать героев из своих видео. Технология Vid2Play делает движения фигуры реалистичнее, чем если создавать анимацию вручную.

Please follow and like us:
error