Самый распространенный способ - флеш клиент и java/C# сервер, в инете полно ответов на запросы "Simple AS3 + Java",
например сюда
Еще одним вариантом будет создание передачи сообщений через P2P сеть. Сервер в этом случае будет только соединять клиенты между собой.