Se me olvidaba Asterisk que es con lo que más experiencia tengo.
http://www.asterisk.org/
Acepta protocolos como H.323 SIPv2 (rfc3261, suficiente para mensajería de texto, llamadas telefónicas y videoconferencia y IAX2 (rfc5456 creado por Mark Spcencer (al igual que Asterisk) para Asterisk creo, no lo he trabajado).
Tiene muchas más opciones como envío y recepción de fax, emails, voicemails, etc...
Y es Gnu/Linux, funciona bien en Fedora, CentOS, Debian, Ubuntu, etc..
Y es compatible con Java o cualquier otro lenguaje, python, perl, c...
Yo tengo escrito un pequeño call-center que funciona con Asterisk en JavaSE y un poco en Android pero ya luego lo tuve que dejar, pero lo tengo guardado en el disco duro a ver si algún día lo libero porque me metí en otro proyecto y me ha quitado todo el tiempo.