Есть несколько открытых форматовф: IRC (Internet Relay Chat), Jabber (он же XMPP) - эти задокументированы и стандартизированы. Как правило есть сразу же и готовые реализации. Смысла их делать самому скорее всего нет, только если для самообучения.
http://tools.ietf.org/html/rfc2812 - IRC
http://xmpp.org/xmpp-protocols/rfcs/ - Jabber
Есть так же некоторые перспективные начинания, типа WebRTC - это децентрализованый P2P поддерживаемый браузерами протокол передачи видео, звука, ну и, естесственно, текста. Если хочется сделать что-то ценное и самому - это пожалуй будет лучший вариант. Тут еще можно успеть сделать что-нибудь хорошее
