Процент уникальности FLV.

[avilov]

Здравствуйте, как организовать проверку FLV на уникальность по моей базе.

У меня на сайте много роликов FLV при добавлении нового ролика нужно как то проверять есть такой ролик в моей базе или нет, md5(file.flv) не подходит так как бывают ролики одинаковые но с разными рекламными вставками, у кого есть какие соображения ?

В идеал как то получать процент уникальности файла.

[mooncar]

Можно попробовать использовать метаданные.

[Genzo]

Берете первые 30 кадров : преобразовываете их в 256 цветов и размер 320х240, берете хэш от каждого кадра и пробегете по базе, при заливке обратный процесс.

[avilov]

Сообщение от Genzo

преобразовываете их в 256 цветов и размер 320х240

Объясните для чего это делать ?

[kackbip]

Метаданные файла могут меняться почти неограниченно, а с учетом еще и того, что сам ролик может быть пережат/обрезан с двух сторон/изменен немного - никак не сделать.

[Zebestov]

Есть одна нанотехнология... кнопка "уже было!", доступная, скажем, зарегистрированным пользователям

[Genzo]

Сообщение от avilov

Объясните для чего это делать ?

Чтобы хоть как-то унифицировать их, ибо может же быть загружен любой flv, соответственно в таком случае он (алгоритм), в идеале, должен понять что один и тот же ролик даже в разных разрешениях или с разными кодеками, одинаков, как сравнить 2 картинки : вы же не будете брать просто хэш всей картинки, ибо если я сохраню jpg с качеством 9 и с качеством 4, хэш будет разный, поэтому приводим их обе к 320х240 256 и сравниваем, если они идентичные хэш будет одинаковый, даже если 1 картинка это черный квадрат 1х1, а другая черный квадрат 1024х768

[avilov]

Сообщение от Genzo

Чтобы хоть как-то унифицировать их, ибо может же быть загружен любой flv, соответственно в таком случае он (алгоритм), в идеале, должен понять что один и тот же ролик даже в разных разрешениях или с разными кодеками, одинаков, как сравнить 2 картинки : вы же не будете брать просто хэш всей картинки, ибо если я сохраню jpg с качеством 9 и с качеством 4, хэш будет разный, поэтому приводим их обе к 320х240 256 и сравниваем, если они идентичные хэш будет одинаковый, даже если 1 картинка это черный квадрат 1х1, а другая черный квадрат 1024х768

А каким софтом это можно сделать ?

[Genzo]

Самому писать, я просто прикинул алгоритм работы.

[Zebestov]

1. после заливки любого видео сохранять гистограммы трех кадров где-то посередине
2. во время заливки нового видео брать гистограммы каждых трех кадров из широкого диапазона (ну допустим от 33 до 66 процентов длительности) и проверять со всем сохраненными ранее видео.

При разного рода оптимизации хранения таких данных можно добиться неплохой скорости. Также можно сделать такую задачу отложенной (до времени минимальной загрузки сервера).
Гистограмма — как пример данных о кадре, которые помогут определить сходство двух одинаковых по содержанию кадров:

1. разного размера
2. разной степени сжатия и такого прочего
3. даже определенные искажения можно учесть (гамма, яркость/контраст)

И все же я настаиваю на полной несостоятельности этой идеи против кнопки "уже было!"