[wvxvw]

avi - это формат контейнер, а что у него непосредственно внутри? Может в этом проблема? Может это какой-нибудь виндовский wmv - с ними mencoder / ffmpeg плохо работают.
Кстати, у vlc перекодировщик свой (он может использовать ffmpeg, но по умолчанию использует что-то свое) его так же можно из коммандной строки вызвать и т.п.
Но я бы смотрел в сторону исходного avi, и того, что там именно внутри.

либо

плеер которым вы проигрываете flv что-то не так делает, может там метаданные какие-то неправильные получаются? flv - тоже, вобщем-то формат-контейнер. Эксперимента ради можно попробовать поменять начинку на sorenson spark например (это не лучший вариант, просто чтобы убедиться, что проблема не в начинке).