Реализация FaceRig?
 

Есть такая интересная программа, называется FaceRig. Так вот, она позволяет передавать эмоции, несложные движения человека через 3д модели и все это фиксируется на обычную веб-камеру. Сказал что нибудь и на экране 3д модель повторяет за тобой почти все точь-в-точь, в том числе шевеление губ, жесты. Мне интересно, каким образом реализован такой алгоритм? Вернее, как через веб камеру фиксируются изменения человеческого лица, а потом в программе это обрабатывается и после отдается уже на исполнение контроллеру, который отвечает непосредственно за само изменение 3д визуализации.

Это очень сложная тема под названием computer vision

Тут ведь нейросети задействованы?

ZackMercury, возможно, но сомнительно. Скорей просто распознавание точек лица и перенос их на 3d модель

Скорее что-то наподобие алгоритмов AR с автогенерацией маркера.
Недавно как раз находил какую-то либу, где чувак просто делил изображение с камеры не несоклько сегментов, и потом замерял цветность каждого сегмента, чтобы так отслеживать движение определенных точек или предметов. Могу сказать так, штука работает, но для этого нужна качественная камера. С простой вебки ноута результат не очень

А для распознания точек лица не нужны нейросети?

А зачем?
Не спорю, что можно задачу решить нейросетью. Но она решается и без нее, за счет простых диапазонов замера цветности

Как ты определишь, что на фотографии есть лицо? Как ты определишь, как расположено лицо? Уже не беря во внимание эмоции.

все эти части отличаются по цвету от остального лица. Расположение глаз тоже всегда надо ртом. Нос под гразами и над ртом. Можно по этим условиям определить. Не обязательно для этого использовать нейронные сети. Сейчас просто стало модным везде упоминать нейронные сети) Как-будто это что-то особенное. Здесь не такая сложная задача, чтобы задействовать полноценный ИИ. Я не говорю, что тут решение в пару строчек, но это вполне возможно решить без ИИ. Как, допустим, тот же kudan определяет маркеры? Там нет никаких нейронных сетей, и тем не менее отлично справляется

А если лицо повёрнуто на 90 градусов? На 45 - все три части лица, что ты описал, сливаются в одну линию.
Алгоритм должен знать, как выглядят глаза, как выглядит нос и рот с разных углов.