Y'en a qu'on essayé, ils ont eu des problèmes :p
Sans rire, je pense que c'est faisable, selon les tutos qu'on trouve sur le net, ca n'a pas l'air trop compliqué ni dangereux :
Essaye de le faire sur une seconde machine dev, que tu pourras nommé dev-php5.4 pour l'identifier.
Le mieux serait de migrer à trusty, on est d'accord :p