Google Groups Home
Help | Sign in
Discussions > Outils Google pour les webmasters > Refus de suppression d'un repertoire pourtant bloqué par robots.txt
There are currently too many topics in this group that display first. To make this topic appear first, remove this option from another topic.
There was an error processing your request. Please try again.
flag
  2 messages - Collapse all
The group you are posting to is a Usenet group. Messages posted to this group will make your email address visible to anyone on the Internet.
Your reply message has not been sent.
Your post was successful
holaoups  
View profile
 More options Mar 30, 6:59 pm
From: holaoups
Date: Sun, 30 Mar 2008 15:59:51 -0700 (PDT)
Local: Sun, Mar 30 2008 6:59 pm
Subject: Refus de suppression d'un repertoire pourtant bloqué par robots.txt
Tout est dans le sujet...
J'ai un gros souci de 246 000 url qui sont revenues dans l'index
google il y a 3 semaines... Pourquoi autant? Parce qu'elles ont été
indexées à une époque ou rien n'avait été fait pour les variables de
session de mon site d'ecommerce, ce sont donc 245999 url dupliquées...
Ces url sont en fait des fichiers javascript terminant par .aspx et
affichant le code d'une mise au panier, donc autant vous dire que je
n'ai qu'une envie c'est de les faire disparaitre de l'index! (à défaut
de pouvoir trouver une autre soluce pour le clic de mise au panier...)

Bref, passons sur le pourquoi de ces url, venons-en à ce que j'ai fait
pour les faire disparaitre...
Il y a 6 mois, j'ai bloqué tout le répertoire incriminé a été bloqué
par robots.txt.
Cela n'a pas suffi, les SERP les affichaient encore (via la commande
site:), avec leur titre seul (ce qui me fait bien penser à une url
trouvée via un backlink, mais impossible de remonter à la source, par
GWT comme par yahoo site explorer)
J'ai donc demandé leur suppression via l'outil de GWT => ok demande
acceptée, l'index a été nettoyé de ces url gênantes pour moi.

Aujourd'hui, + de 6 mois se sont écoulés et ma demande a périmé,
google a réintégré ces url.
Comme il y a 6 mois, j'ai redemandé la suppression du répertoire,
toujours bloqué par le robots.txt, qui au passage n'a pas changé...

A mon grand étonnement, 1ère demande : refusée avec comme
"explications" un lien vers le centre aide webmasters détaillant le
principe de robots.txt
Pensant à un bug de GG, j'ai réitéré ma demande (mon robots.txt étant
correct) et j'ai essuyé encore 2 refus sans explication hormis le lien
vers l'aide GWT...

Je ne comprends pas car via GWT:
- mon robots.txt renvoie bien un code 200, et est exploré tous les
jours
- le test sur une url du répertoire renvoie bien "url bloquée"
- j'ai essayé le nouvel outil de "générer un robots.txt" (des fois où
mon robots.txt serait mal écrit... j'en viens à douter pour dire!) et
là GWT me propose exactement la même ligne pour bloquer mon répertoire
(ouf j'ai donc bien tout fait).
- j'ai redemandé la suppression du répertoire de l'index=>demande
refusée!

C'est à s'arracher les cheveux!!! 246 000 url polluantes et gênantes,
de plus mon site perd des positions depuis 3 semaines (avec du
duplicate comme ça, pas sûr que le bot apprécie...), pour moi il y a
urgence à supprimer ces url! Mais comment faire?...

nb: je ne peux agir sur le contenu de ces pages (c'est à dire mettre
une balise noindex), ce sont des fichiers .js, avec une
extension .aspx, et ils ont été codés par un développeur qui a depuis
quitté notre société...
Et quand bien même j'estime que c'est à GG de pouvoir me permettre
d'interdire leur indexation et leur apparition dans les SERP (via
robots, via suppression url), plutôt qu'à moi de devoir revoir tout le
processus de mise au panier

Avez-vous eu ce cas de refus de suppression d'url??


    Forward  
You must Sign in before you can post messages.
To post a message you must first join this group.
Please update your nickname on the subscription settings page before posting.
You do not have the permission required to post.
Thierry JR Cavalié  
View profile
(1 user)  More options Mar 30, 7:27 pm
From: Thierry JR Cavalié
Date: Sun, 30 Mar 2008 16:27:50 -0700 (PDT)
Local: Sun, Mar 30 2008 7:27 pm
Subject: Re: Refus de suppression d'un repertoire pourtant bloqué par robots.txt
Bonsoir,

effectivement, le problème est assez courant mais ces url périmés ne
ressortent en principe que lorsque l'on affiche les "résultats
ignorés". Donc, en principe, aucune chance qu'ils ressortent sur une
recherche normale.

Si le contenu de ce dossier est devenu inutile, pourquoi ne pas le
vider carrément ? Une autre solution consiterait à en interdire
l'accès par un fichier .htaccess ne contenant que cette instruction :

Deny from All

De cette façon, personne ne pourra y accéder mais ça n'empêchera pas
les programmes de mise à jour de continuer à écrire dedans...

Thierry Cavalié

On 31 mar, 00:59, holaoups wrote:


    Forward  
You must Sign in before you can post messages.
To post a message you must first join this group.
Please update your nickname on the subscription settings page before posting.
You do not have the permission required to post.
End of messages
« Back to Discussions « Newer topic     Older topic »

Create a group - Google Groups - Google Home - Terms of Service - Privacy Policy
©2008 Google