Buenas tardes, yo también estoy liado con el page speed, tu problema puede ser la respuesta del servidor, la cual puede variar, más si es un servidor compartido. Cuando te pase eso fijate en el la pestaña network del dev tools, y mira cuanto tarda el documento en devolverse.
Yo he conseguido dejar mi página a 97 / 95, el secreto es controlar el apartado de "Eliminar el JavaScript que bloquea la visualización y el CSS del contenido de la mitad superior de la página".
Saludos