Код AS3:
снимаемый с микрофона во что-то подобное ByteArray и передать на сервер при помощи класса Socket ?
На лету ты это не сделаешь, да и реализация такой идеи весьма сомнительна. Самый оптимальный вариант использовать Red5 как сервер и по протоколу rmtp передавать туда свой поток (через него работает много подобных приложений).
Не вижу смысла делать свой протокол rmtp, если можно сэкономить кучу времени, поставив себе Red5