Реализация FaceRig?

[Godwarlock]

Есть такая интересная программа, называется FaceRig. Так вот, она позволяет передавать эмоции, несложные движения человека через 3д модели и все это фиксируется на обычную веб-камеру. Сказал что нибудь и на экране 3д модель повторяет за тобой почти все точь-в-точь, в том числе шевеление губ, жесты. Мне интересно, каким образом реализован такой алгоритм? Вернее, как через веб камеру фиксируются изменения человеческого лица, а потом в программе это обрабатывается и после отдается уже на исполнение контроллеру, который отвечает непосредственно за само изменение 3д визуализации.

[illuzor]

Это очень сложная тема под названием computer vision

[ZackMercury]

Тут ведь нейросети задействованы?

[illuzor]

ZackMercury, возможно, но сомнительно. Скорей просто распознавание точек лица и перенос их на 3d модель

[caseyryan]

Тут ведь нейросети задействованы?
Скорее что-то наподобие алгоритмов AR с автогенерацией маркера.
Недавно как раз находил какую-то либу, где чувак просто делил изображение с камеры не несоклько сегментов, и потом замерял цветность каждого сегмента, чтобы так отслеживать движение определенных точек или предметов. Могу сказать так, штука работает, но для этого нужна качественная камера. С простой вебки ноута результат не очень

[ZackMercury]

А для распознания точек лица не нужны нейросети?

[caseyryan]

А для распознания точек лица не нужны нейросети?

А зачем?
Не спорю, что можно задачу решить нейросетью. Но она решается и без нее, за счет простых диапазонов замера цветности

[ZackMercury]

Как ты определишь, что на фотографии есть лицо? Как ты определишь, как расположено лицо? Уже не беря во внимание эмоции.

[caseyryan]

Как ты определишь, что на фотографии есть лицо? Как ты определишь, как расположено лицо? Уже не беря во внимание эмоции.

все эти части отличаются по цвету от остального лица. Расположение глаз тоже всегда надо ртом. Нос под гразами и над ртом. Можно по этим условиям определить. Не обязательно для этого использовать нейронные сети. Сейчас просто стало модным везде упоминать нейронные сети) Как-будто это что-то особенное. Здесь не такая сложная задача, чтобы задействовать полноценный ИИ. Я не говорю, что тут решение в пару строчек, но это вполне возможно решить без ИИ. Как, допустим, тот же kudan определяет маркеры? Там нет никаких нейронных сетей, и тем не менее отлично справляется

[ZackMercury]

А если лицо повёрнуто на 90 градусов? На 45 - все три части лица, что ты описал, сливаются в одну линию.
Алгоритм должен знать, как выглядят глаза, как выглядит нос и рот с разных углов.

[caseyryan]

А если лицо повёрнуто на 90 градусов? На 45 - все три части лица, что ты описал, сливаются в одну линию.
Алгоритм должен знать, как выглядят глаза, как выглядит нос и рот с разных углов.
И что? А нейронные сети это не алгоритм? Скачай тот же kann и посмотри как он работает. Распознавание лица - это узконаправленный алгоритм, который совсем не требует универсальности, которая заложена в нейронные сети, поэтому тут можно обойтись горсткой условий. Такие задачи решались еще когда этой новомодной штуки не было. Я видел проги, распознавающие эмоции еще в 2003 - 2004 году, у меня еще 98я винда стояла. Потом на нокии N70 в 2006 году ставил прогу, которая определяла улыбку и могла определить где находится лицо. Причем довольно неплохо работала, учитывая, что фронтальная камера там была всего 0.3 мегабпикселя, и качеством не блестала. Но тогда я еще программированием не занимался, и мне было пофиг как это работает)

[ZackMercury]

Никакой такой универсальности в нейронных сетях всё ещё нет. Все модели нейронных сетей узконаправлены, и занимаются только конкретными задачами, которым их обучили и под которые запрограммировали.
новомодной штуки не было
Нейронные сети, распознающие образы были предложены ещё в 1975 году. Но тогда они работали несколько примитивно.
Да, задача решаема без алгоритма нейронных сетей, но всё же многие моменты у меня вызывают сомнения.

Скорее всего, в FaceRig используются маркеры AR, да.

[caseyryan]

Нейронные сети, распознающие образы были предложены ещё в 1975 году.
Ну, предложены это одно, а реализованы и доступны общественности - другое. Раньше математики (еще до появления первого подобия компов) много чего интересного предлагали, но многое из этого стало возможным реализовать на практике буквально совсем недавно. А нейронные сети в мозге существуют вообще с незапамятных времен)

[undefined]

Нейронные сети, распознающие образы были предложены ещё в 1975 году
Перцептро́н, или персептрон[nb 1] (англ. perceptron от лат. perceptio — восприятие; нем. Perzeptron) — математическая или компьютерная модель восприятия информации мозгом (кибернетическая модель мозга), предложенная Фрэнком Розенблаттом в 1957 году и реализованная в виде электронной машины «Марк-1»[nb 2] в 1960 году
Вики (https://ru.wikipedia.org/wiki/%D0%9F%D0%B5%D1%80%D1%86%D0%B5%D0%BF%D1%82%D1%80%D0%BE%D0%BD)

[ZackMercury]

Причём здесь первые перцептроны? Они что, распознавали визуальные образы?

[undefined]

вообще да, изначально он придумывался как раз для задач класcификации образов.Другой вопрос, что справлялся он с этой задачей не ахти

[Godwarlock]

Почему мне кажется, что распознавание речи происходит подобным образом. Нужно ковырять параметры изменений, которые влияют на дальнейший процесс. Тут наверняка все зависит от света, который падает на объект. И все элементы разного цвета, отсюда можно добавлять показательные варианты из ячеек и потом сравнивать с теми, что получает при фиксировании кадра с камеры. Правда надо еще фиксировать расстояние от сегментов и еще куча всяких операций. Опять же таблица всех цветов. И для этого лучше использовать какой-нибудь интересный яп, заточенный под подобные штуки
Главное чтобы не на асемблере)))

[Max_Payn]

http://openframeworks.cc/