por partes... vc disse que já tinha a versão 3.2 ai certo? tem aplicações nele? se tiver tem backup? Melhor fazer.
utilize novamente o apxremov para remover a intalação do apex 4.
sugiro que drop o user apex_03xxx (drop cascade). com isso não terá mais nada referente a apex no banco.
Depois disso tente novamente instalar o apex 4.
quanto ao listener, não sei se o caso, mas no banco como estava utilizando o embebed gateway, vc tem que desabilitar o http do banco. Na configuração do glassfish ele não reclamou a porta 8080? Pode ser também problema de versão de java. dá uma olhada para ver se é compatível. aliás, vc está conseguindo utilizar o glassfish? (logar no painel de administrador - localhost:4848) ?
begin
dbms_xdb.sethttpport('0');
end;