Liste de bots nuisibles

[Denis Beauregard]

Bonjour,

Je viens de constater à quel point les robots peuvent
nuire à un site web. Dans les stats de mon site, j'ai
par exemple 26 Go par des visiteurs et 14 par des robots,
13 et 10, 49 et 21, 31 et 20 pour différentes années.

En gros, autour du tiers du volume par des robots.

Certains robots sont bienvenus car ils sont utilisés par
des moteurs de recherche connus. Par exemple, bingbot ou
Googlebot. Mais certains recherchent des courriels pour
envoyer de la pub ou pourraient servir à piller le contenu.

Devrais-je détecter les nuisibles (et y a-t-il une liste
de ces nuisibles ?) ou est-ce que cela ne vaut pas la
peine d'en faire l'étude ?

Si je regarde ce que j'ai:

26 Go en tout
4.3 par Microsoft Office Protocol Discovery
1,86 par Bing
1 par Google
etc.

AhrefsBot est un outil de marketing, donc pas utile.

Grapeshot est utilisé pour le marketing mais on réduit les revenus
en l'éliminant.

Je sais que Google utilise des bots non identifiés à cause des
sites qui réagissent différemment par rapport aux vrais visiteurs,
comme montrer du contenu sans avoir le mot de passe, donc je ne
devrais pas ignorer ce qui est inconnu.

J'ai l'impression que je perdrais mon temps avec cela !


Denis