Me respondo a mi mismo, por si le ayuda a alguién más.
En muchos foros encontraba referencia al Catchall, que en mi profanía no me decía nada.
Hasta que caí, el problema por el que no enviaba era porque en el servidor de correo estaba activada la opción de ignorar los correos que no pertenezcan a cuentas de correo existente. Simplemente activando el que esos correos vayan a la cuenta por defecto configurada en Odoo, comienza a enviar y a recibir correos.
Catchall es la redirección por defecto de todos los correos electrónicos a una cuenta.
Entiendo aunque estoy todavía en pruebas, que si se tiene una cuenta de correo existente, realmente Odoo no la tiene en cuenta ya que por lo que veo todos los correos van a través de esa cuenta principal y lo demás son Alias que se crean tanto en el servidor de correo electrónico como en el Odoo.
Espero haberme explicado bien y ayudar con esto a otras personas que hayan tenido mi mismo problema.
Saludos,