Te explico en más detalle.
En Debian 12 lees la página `man pam_faillock` y te habla del fichero /etc/pam.d/login, aunque en los ejemplos del final es /etc/pam.d/config, donde escribir las siguientes líneas:
auth [default=die] pam_faillock.so authfail
auth sufficient pam_faillock.so authsucc
Pero si vas al fichero /etc/pam.d/login aparecen muchas entradas de tipo service y en medio encuentras:
# Standard Un*x authentication.
@include common-auth
Si pones las dos líneas de pam_faillock antes o después se produce un bloqueo que no deja hacer login ni con root.
Tendría que cambiar el fichero /etc/pam.d/common-auth y asegurarte colocar las líneas de faillock después de:
auth [success=1 default=ignore] pam_unix.so nullok
Y no olvidar que si llamas a pam-auth-update puedes borrar todos los ficheros common-* y vuelve a su estado original.
Lo que más me escama es la situación de bloqueo total del sistema.