Bruit du denoising autoencoder / Noise in the denoising autoencoder

[Hugo Larochelle]

Bonjour à tous (English will follow),

     on m'a fait réaliser (merci Ali!) que je n'ai pas été entièrement clair dans ma description du bruit à utiliser pour le denoising autoencoder.

Si vous souhaitez reproduire mes résultats, vous devez utiliser un bruit qui fixe à 0 une entrée avec une probabilité donnée par "noise_prob". Ce bruit est généré indépendamment pour chaque élément de l'entrée. Ça veut donc dire que, en moyenne, le pourcentage d'entrées bruitées sera de 100*noise_prob mais pourra varier d'un vecteur d'entrée à l'autre.

Une alternative (utilisée dans l'article original sur les denoising autoencoders) est de toujours sélectionner exactement 100*noise_prob % des entrées et de les fixer à 0. Dans ce cas-ci, le bruit n'est pas indépendent d'un élément du vecteur d'entrée à l'autre. Ça ne me dérange pas si vous implémentez cette version à la place, mais sachez que les filtres qui seront alors générez seront différents. 

SVP spécifier dans le rapport quelle variante de bruit vous avez choisi d'implémenter.

====

Hi all,

    I just realized (thanks Ali for the heads up!) that I was not entirely clear in my description of the noise to be used by the denoising autoencoder.

If you wish to reproduce my results, you must use a noise that sets to 0 each input elements with a probability of "noise_prob." This noise is generated independently for each element of the input. That means that, on average, the percentage of entries set to 0 will be 100 * noise_prob, but that percentage may vary from one input vector to another.

An alternative (used in the original paper on denoising autoencoders) is to always select a subset of exactly 100 * noise_prob % entries and fix those 0. In this case, the noise is not independent across the elements of the input vector. I do not mind if you implement this version instead, but be aware that the filters that it will generate will be different.

Please specify in the report which variant of noise you have chosen to implement.