У флв есть ключевые кадры. Все остальные кадры строятся за счет изменения ключевого кадра. Поэтому, чтобы отобразить произвольный кадр, надо перейти на кейфрейм перед ним и проиграть все кадры до нужного.
А переход действительно осуществляется по времени, но опять же согласно времени ключевого кадра. Их соотношения можно посмотреть в метадате.

А при чем тут ключевые кадры видео? (понятно, что в видео есть ключевые кадры - но там это совсем другое, нежели во флеше) Мне кажется, что дае попади мы между ключевыми кадрами - мы будем видеть картинку целиком.
Да и какая разница, что мы будем знать время нужного ключевого кадра? Все упирается в минимальное время, на которое разрешает перейти флеш - а это целая секунда! Это очень много - когда за полсекунды сменяется до 15 кадров (не путать с кейфреймами).

Это чтобы не казалось
Это значит, что если есть массив ключевых кадров [1,10,25,40], то сразу попасть на 24 кадр нельзя. Можно перейти на 10, из которого сформируется 11, потом 12, 13, 14 ... 24.

Это понятно - такое иногда можно видеть на некоторых проигрывателях видео, после переноса бегунка: видна только изменяющаяся часть картинки, с последнего кейфрейма.
Но как это соотноситься с видео в ФП и кодеках для flv, я не знаю: чаще ведь, последний кейфрейм подцепляется автоматом и мы об этом безобразии даже не думаем.
Для исследования вопроса помог бы эксперимент. Будет время - займусь, проверю.