А разве флэш можно научить понимать свой протокол?
Насколько я знаю, у флэша есть свой список поддерживаемых протоколов, в которые даже не входит UDP.
Где то читал, что собираются реализовать поддержку UDP протокола в версиях 10.*/11.* плеера.
Для браузерных многопользовательских игр, на мой взгляд, идеален FlashMediaServer. Их существуют несколько версий (вроде 3). Одна из них бесплатная (вроде development) с ограничением на количество одновременных подключений до 10, вторая версия платная (около 950$) без поддержки серверных сценариев и т.д., т.е. она не подходит. И идеальной будет платная версия (примерно 6.500$) - очень похожа на первую, но без ограничения на количество одновременных соединений. Есть возможности расширения практически до бесконечности ("серверная ферма"); написание серверной части на AS3 (там свои АПИ, но в целом очень похоже); поддержка протокола передачи данных "rtmtp" - RealTimeMessageTransportProtocol (вроде так) и формата AMF3 (ActionMessageFormat).
И rtmtp и AMF3 были специально разработаны компанией Adobe для FlashPlayer и FMS.
Существуют более дешевые и даже бесплатные аналоги FMS (см.
http://google.ru )
Существует спецификации и описания форматов и протоколов AdobeFlash, так что при желании можно самому написать похожий сервер.
Так же можно не париться с поддержкой rtmtp и AMF3 и написать "сокет-сервер" и использовать flash.net.Socket(Я так и делаю), можно написать XMLSocket-Server. Можно так же просто использовать Apache+PHP+MySQL, если возможно обойтись просто http запросами; можно к ним добавить AMFPHP или ZendAMF, для того чтобы использовать двоичный формат данных по протоколу http и иметь доступ к методам классов PHP из Flash скрипта.
В любом случае выбор сервера зависит от того, какого масштаба будет игра, сколько одновременных подключений она должна держать, возможно ли будет расширение серверной части, для увеличения пропускной способности полосы, какого типа будут запросы/протоколы и мн.др.