Code nnet.py du devoir 3 / Code nnet.py in 3rd assignment

[Hugo Larochelle]

Bonjour à tous (English will follow),

     je viens de réaliser qu'il y avait un bug dans mon fichier nnet.py, pour le devoir 3. Par défaut, le code utilisait des tanh (et non des sigmoides) et une régularisation L2 élevée (plutôt que 0). Ceci est loin d'être optimale, pour le pretraining basé sur des RBM/autoencoders avec des sigmoides en couche cachée.

Si vous planifiez réutiliser nnet.py pour votre projet, je vous recommande donc de retélécharger le fichier sur le site web du cours.

===

Hi all,

     I just realized that there was a bug in the file nnet.py, for the third assignment. By default, the code was using tanh activations functions (instead of sigmoids) and a high L2 regularization weight (instead of 0). This is far from being optimal, especially given that the RBM/autoencoders assume sigmoidal activation functions for the hidden units.

If you were planning on using nnet.py for your project, I highly recommend you download nnet.py once again, from the course website.