Buenas!
Mirando la doc de instalación de TensorFlow (
https://www.tensorflow.org/install/pip#windows-wsl2_1 ) veo algo importante: en teoría la versión 2.10 fue la última en soportar GPUs de forma nativa en Windows. A partir de la 2.11 en Windows hay que usar WSL2 para poder correr con GPU. WSL2 es básicamente un "Linux adentro de Windows" (Windows es tan bueno que Microsoft tuvo que meterle un Linux adentro :p), y requiere algunos pasos extras para instalar cosas que están detallados en esa página.
Así que tenés dos opciones:
Opción A) Usar una versión más vieja de TensorFlow que todavía tenga soporte nativo de GPU en windows. En PyPI veo que el paquete tensorflow-gpu tiene hasta la versión 2.12. Probaría esa, si no la 2.10. El video que compartió Juan hace básicamente eso, pero con versiones demasiaaaaado viejas (de hace 4 años). Te recomendaría probar con versiones más recientes.
Opción B) Usar WSL2 para poder correr las versiones más nuevas de TensorFlow con GPU. Nunca lo hice, con lo que no te puedo garantizar que sea simple, pero a primera vista parece que implica: instalar WSL2, luego instalar y configurar CUDA adentro de WSL, y finalmente un "pip install tensorflow[and-cuda]" (y empezar a correr siempre todo dentro de WSL2).
Espero que esto ayude. Saludos!