[redflasher]

если запись голоса на сервере не планируется, то используйте rtmfp-протокол, то бишь p2p-поток аудио. тогда получится не "клиент-сервер", а "peer-to-peer" и нагрузки на сервер не будет в принципе. В качестве сервера там выступает Adobe Stratus, который только лишь выполняет роль маршрутизатора пиров (см. такие as3-классы как NetGroup, GroupSpecifier). Работает довольно-таки надежно, даже если передавать видеопотоки.
так же существуют готовые решения - есть уже написанный открытый код "чат-рулетки", который поддерживает два типа соединений -либо через RED5, либо по p2p, на выбор. Однако сам код не является в чистом виде компонентом, но содержит просто рабочий код.