GSAはMetaタグのrobotsに従う？

[marutak]

サイト内の、URLパターンだけでは識別できないページについて、GSAの検索結果に出さないような制御をする必要が出てきました。

CMSから静的ファイルとして書き出されるファイルなので、GSA設定画面ののクロール非対象URLに逐一追加していくのは現実的ではありません。

非対称のファイルのメタタグに ＜meta name="robots" content="noindex,follow"＞と入れればよいかと思っ
ていたのですが、改めてドキュメントを見ても、特にGSAが、一般的なクローラーと同じ振る舞いをすると明記されている箇所を見つけることができません
でした。

GSAは Meta robots および robots.txt には従うのでしょうか？それとも、ページ冒頭 ＜!--googleoff:
index--＞ と書くことで行う、という想定なのでしょうか。

[Andy Wu]

GSA は nofollow, noarchive, noindex という meta robots および robots.txt に従いま
す。
詳細についてはこちらになります。

http://code.google.com/apis/searchappliance/documentation/50/admin_crawl/Preparing.html#page
http://code.google.com/apis/searchappliance/documentation/52/admin_crawl/Introduction.html#robots

ちなみに、フロントエンドのメタタグによるフィルタもありますので、併せてご利用いただけるかと思います。
よろしくお願いします。

アンディ

[marutak]

いつもありがとうございます。

探し方が足りなかったみたいですね。。。
大変助かりました。