Na realidade seria possível mas seria trabalhoso demais. Isto porque o Android de Linxu tem somente o kernel. E o kernel é somente a parte do sistema operacional que conversa com o hardware.
A parte de compilação e etc é feita pelas outras diversas bibliotecas e programs que rodam em cima do kernel do Linux.
Assim, dependendo do programa que vocẽ for compilar, ele não vai compilar porque as outras diversas bibliotecas que ele precisa podem não estar inseridas no Android.
A arquitetura do Android é bem diferente do Linux padrão. O único sistema móvel hoje que tem uma arquitetura parecida com o Linux no dekstop é o Ubutu Touch.
Mas é bom abrir o código do programa e dar uma olhada. Se ele não usar muitas bibliotecas possivelmente você consegue gerar um binário para rodar dentro do Android sim.
Desde que não haja muitas dependências.