Может быть ещё вот какая проблема:
flv-файл технически представляет из себя дамп пейлоада одного RTMP нетстрима на диск.
Если сначала открыть нетстрим, подождать и только потом начать писать звук, то получается что первый аудиокадр приедет с временной меткой не 0, а, скажем 2500 мс. Возможно в Red5 есть бага и они не нормализуют этот временной поток. В результате может получиться такой эффект, что при проигрывании файла флеш ждет столько же, какой таймаут до первого кадра, а потом начинает проигрывать.
Если симптомы такие, то можно попробовать
http://erlyvideo.org/ там такие проблемы устранены.