Hola!
Pues yo supongo que el problema debe pasar porque el servicio no tiene un escritorio asociado, y el CMD exige una ventana, aunque sea minimizada u oculta, pero asignada a un escritorio...
Habría que ver si puedes lanzar directamente desde Java los ejecutables, que puedanm correr sin ventana, sin pasar por el CMD...
No sé si funcionará, sólo es una idea...
Saludos
Alberto