Blogspot ( Blogger) hiện nay cho phép tùy chỉnh robots.txt, điều này rất hữu ích bởi vì chúng ta có thể thiết lập khả năng hiển thị các bài viết của chúng ta trên công cụ tìm kiếm, chúng ta có thể xác định xem bài viết sẽ được lập chỉ mục của công cụ tìm kiếm hay không.
Theo mặc định, tất cả các blog sử dụng nền tảng Blogspot ( Blogger) sẽ có một robots.txt như sau:
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: http://www.example.com/feeds/posts/default?orderby=updated
Trong blogspot có 2 vấn đề với robots.txt là chúng ta cần làm
để tối ưu là các nhãn được index và khóa phân trang của blogspot,
chúng ta chỉnh lại file robots như sau:
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search?updated-min= Disallow: /search?updated-max= Disallow: /search/label/*?updated-min= Disallow: /search/label/*?updated-max= Allow: / Sitemap: http://www.example.com/feeds/posts/default?orderby=updated
để chỉnh sửa tập tin robots.txt . truy cập vào phần quản trị -> chọn cài đặt -> tùy chỉnh tìm kiếm
Tham khảo thêm : Thiết kế website Vũng Tàu