Algo parecido, por lo que entiendo AWS te ofrece servicios web y hosting de VMs, no un servidor de aplicaciones como App Engine.
Por ejemplo, si usas J2EE en AWS tenés que instalar, administrar, gestionar y monitorear los tomcats o JBOSS que tengas dentro de tus VMs.
En App Engine, entiendo que subis los servlets y listo.
Ambos casos tienen sus pro y sus contras, pero en particular App Engine es más lean.