robot.txt

10 views
Skip to first unread message

Raffaele

unread,
Jun 6, 2010, 9:22:19 PM6/6/10
to indicizzazio...@googlegroups.com
Ciao, da un po di tempo mi è venuto il dubbio se mettere o no il file robot.txt nel mio sito.
cosa mi consigliate?
se lo carico devo farlo cosi?
User-agent: *
Allow: /
Ciao e grazie

office

unread,
Jun 7, 2010, 1:16:43 AM6/7/10
to indicizzazio...@googlegroups.com
Ciao Raffaele,
 
il robots.txt viene cercato almeno una volta al giorno dai motori che rispettano questo file. Quindi Google, Yahoo e Bing lo cercano per accertarsi che non ci siano delle disposizioni contrarie a indicizzare una certa pagina, una cartella o un file.
 
È quindi consigliabile inserirlo anche se non indichi in esso nulla da bloccare.
 
Lo standard del robots.txt vede l'operatore Disallow: come prioritario. Successivamente i motori sopra indicati si sono messi daccordo per ampliare le direttive nel file accettando quindi l'operatore Allow:, se questi ha una funzione specifica.
 
Allora per concludere, è consigliabile inserire il robots.txt come segue:
 
User-agent: *
Disallow:
 
oppure quando l'operatore Allow diventa necessario lo troviamo così:
 
User-agent: *
Allow: /privato/pagina-esempio.html
Disallow: /privato/
 
 
Una guida semplice con esempi pratici la trovi qui: http://www.webxall.net/robots.txt.html
 
Un'altra tratta dalla guida Seo di Google con altri esempi, qui: http://blog.webxall.net/robotstxt
 
 
Spero d'esser stato d'aiuto.
 
Angelo
 
 

Raffaele

unread,
Jun 7, 2010, 10:16:23 AM6/7/10
to indicizzazio...@googlegroups.com

Ciao Angelo, come dicono a Palermo sempre utilissimo sei J Scherzo

Senza il tuo aiuto non saprei cosa fare.

Ho caricato il file robot.txt inserito il meta

<meta name="robots" content="http://segnalasiti.altervista.org/robots.txt" />

Credo che sia corretto.

Nell’occasione ti volevo chiedere se la sitemap che ho caricato nel sito va bene con questi parametri

Frequenza di aggiornamento: Settimanale

Priorità:0.5

Devo cambiarla oppure va bene cosi?

 

Ciao e grazie per la tua pazienza

Raffaele

 

 


Da: indicizzazio...@googlegroups.com [mailto:indicizzazio...@googlegroups.com] Per conto di office
Inviato: lunedì 7 giugno 2010 07:17
A: indicizzazio...@googlegroups.com
Oggetto: Re: [Gruppo WebXall: 1416] robot.txt

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Indicizzazione-Googlebot" di Google Gruppi.
Per postare messaggi in questo gruppo, invia un'email a indicizzazio...@googlegroups.com.
Per annullare l'iscrizione a questo gruppo, invia un'email a indicizzazione-goo...@googlegroups.com.
Per ulteriori opzioni, visita il gruppo all'indirizzo http://groups.google.com/group/indicizzazione-googlebot?hl=it.

office

unread,
Jun 7, 2010, 11:15:43 AM6/7/10
to indicizzazio...@googlegroups.com
Ciao Raffaele,
 
il robots.txt va bene, ma non è quello che consigliavo io.
 
La priorità delle pagine nella sitemap, va da 1.0 della pagina index (unica pagina a ricevere 1.0), proseguendo in base a una priorità che riterrai più opportuna per ogni pagina. Quindi 0.9, 0.8, 0.7, 0.6, eccetera...
 
La priorità non incide in nessun modo con la posizione della pagina nei risultati di ricerca. Google può prendere in considerazione la priorità assegnata alla pagina, per i suoi calcoli sulla frequenza di scansione delle pagine del dominio, (cioè passo prima da quella piuttosto che da quell'altra), ma si riserva di aggiudicare la frequenza di scansione in maniera arbitraria secondo i suoi calcoli di priorità.
 
In poche parole, la priorità nel file sitemap è scarsamente importante.

Raffaele

unread,
Jun 7, 2010, 12:06:08 PM6/7/10
to indicizzazio...@googlegroups.com

Ciao Angelo,

quello che mi hai consigliato era di eliminare le varie voci tipo scambio link, circuito banner ecc..

E questo lo fatto eliminate tutte quelle voci.

Poi mi avevi consigliato di fare delle pagine di annunci

Che ancora non ho fatto per 2 motivi il principale vorrei trovare un form o qualcosa del genere

Per far si che se   un utente  entra nel mio sito e vuole inserire un suo annuncio basta compilare un form e l’annuncio

Si inserisce da solo nella categoria scelta , questo sarebe ottimo sia per me che per gli utenti

Oppure far si tutti gli annunci passassino prima da me prima della publicazione che dovrei fare io

Questa seconda scelta sarebe piu complicatada punto di vista della publicazione perche dovrei farlo io a mano.

 

 


Da: indicizzazio...@googlegroups.com [mailto:indicizzazio...@googlegroups.com] Per conto di office
Inviato: lunedì 7 giugno 2010 17:16
A: indicizzazio...@googlegroups.com
Oggetto: Re: [Gruppo WebXall: 1418] robot.txt

--
Reply all
Reply to author
Forward
0 new messages