Quiere decir que tus kernels le faltan parches para mitigar todas las variantes del problema.
Fijate de bajar alguno kernel mas nuevo y revisar los foros para estar al tanto de las novedades:
Los navegadores web fueron los primeros en arreglar el problema, así que por ese lado no creo que pase mas nada.
Arreglar un problema de hard con un parche de soft obviamente va a traer problemas de rendimiento. Pero en un uso normal no creo que lo notes. Los que trabajen con aplicaciones de calculo intensivo si pueden verse afectados. Y los servidores también.
Yo safo porque tengo una netbook con un intel Atom primera generación que las balas le pasan por al lado y en la de escritorio un AMD.
Aviso: después de esto, yo no compraría mas Intel en mi vida. Esperen a que bajen un poco el precio de los AMD Ryzen