"robots.txt" e "xml sitemap"

[Edivaldo Souza]

Todas as páginas do website que estou construindo são compostas por:

- include da página do cabeçalho,

- include da página do menu,

- o conteúdo da página (principal, a empresa e uma página de cada um dos serviços),

- include da página do rodapé.

A minha dúvida é como configurar corretamente o "robots.txt". O que deve ser indexado e seguido pelos robots e o que não deve.

Uma outra dúvida é como configurar o XML sitemap. Quais pastas (diretórios) devem constar no mapeamento e quais não devem ser incluídas.

Alguém, por favor, pode me ajudar com estes dois assuntos.

Desde já agradeço.

[Adriano Almeida]

Oi Edivaldo, tudo bem?

Considerando então que você tenha o cabecalho.php e o rodape.php (.php no exemplo, mas podia ser outra linguagem) e vai usar ambos os arquivos no produtos.php. O que importa pro usuário (e consequentemente pra indexação) é o principal.php, tanto que o que ele acessa é http://www.seusite.com.br/principal.php.

Dito isso, como cabecalho.php e rodape.php não deveriam ser indexados, ambos poderiam estar presentes no seu robots.txt, como:

User-agent: *

Disallow: /cabecalho.php

Disallow: /rodape.php

Isso serve pra garantir que em hipótese nenhuma eles serão indexados. Como por padrão tudo que os buscadores encontram são indexados, naturalmente a principal.php vai ser indexada.

Já sobre o sitemap, como ele vai servir de guia para que os buscadores saibam onde encontrar suas páginas (ao invés de ficar se baseando apenas em por onde os spiders passam). Então você poderia fazer algo como aqui: https://gist.github.com/adrianoalmeida7/46c3b3011f8edf014dfe

O que isso aqui faz é dizer quais páginas devem ser indexadas e quando elas foram atualizadas. Repare que você teria que ficar atualizando isso sempre. Justamente por isso, muitos pessoas até deixam de configurar o sitemap (e confiam no que os bots vão pegar quando navegar pelos links do seu site e no que o robots.txt diz para não pegar) ou então usam algum gerador de sitemap (tem uma pancada de ferramenta por aí que faz isso).

Qualquer dúvida, avise aí.

Abraço

--
You received this message because you are subscribed to the Google Groups "SEO Prático" group.
To unsubscribe from this group and stop receiving emails from it, send an email to livro-seo-prat...@googlegroups.com.
To post to this group, send email to livro-se...@googlegroups.com.
To view this discussion on the web visit https://groups.google.com/d/msgid/livro-seo-pratico/9e137f68-2d10-4bfc-92b3-7f0e73f12b8d%40googlegroups.com.
For more options, visit https://groups.google.com/d/optout.

[Edivaldo Souza]

Valeu Adriano! Muito obrigado pelos esclarecimentos e orientação.
Só mais uma dúvida: a sua orientação vale também para a pagina "menu"?
Para facilitar a manutenção e atualização eu criei uma página especifica para o menu e faço include desta página (menu) em todas as outras páginas do website.

[Adriano Almeida - Casa do Código]

Vale sim para o menu. A regra é a mesma, o usuário não acessa o menu.php. Acessa é o produto.php, pagina.php, index.php etc. O menu é só um pedacinho que compõe uma outra página maior.

--

You received this message because you are subscribed to the Google Groups "SEO Prático" group.
To unsubscribe from this group and stop receiving emails from it, send an email to livro-seo-prat...@googlegroups.com.
To post to this group, send email to livro-se...@googlegroups.com.

To view this discussion on the web visit https://groups.google.com/d/msgid/livro-seo-pratico/b1ae9702-967c-4493-8558-b174347d0e86%40googlegroups.com.

[Edivaldo Souza - gmail]

Valeu! Muito obrigado.

 

Edivaldo  Souza