robots.txt、sitemap.xml、meta情報の注意点

検索エンジンロボットを制御するために、robots.txtの設置やsitemap.xmlの生成、meta情報の設定をされているかと思います。
その中で、設定を間違えやすいものや、どのように解釈して対応するべきか判断が難しいものをいくつまとめてみました。

■meta keywords
既にSEOでは重要ではない、というのが一般的な解釈になっていますが、このmeta keywordsに対しては、GoogleとYahoo!では対応に違いがあります。

Googleは下記のように言っています（意訳）。

ページとしては使えるが、Googleでサポートしていないので無視する
Googleがサポートするメタタグ

一方Yahoo!は下記のように言っています。

メタタグ（<meta name="keywords">）を使い、ウェブページに関連するキーワードをリストアップします。サイト全体に当てはまるキーワードよりも、ウェブページ固有のキーワードをそれぞれ記載するとよいでしょう。
検索結果でウェブページの表示順序を上げるには

日本ではYahoo!のシェアの大きいこと、検索語とmeta keywordsの適合度を重視する他の検索エンジンもあること、文書構造の観点からも意味があること、今後どうアルゴリズムが変化するかわからないこと等、以上のことからmeta keywordsは、しっかりと指定しておいた方がよさそうです。

■Crawl-Delay
robots.txtに記述するCrawl-Delayですが、先日も当ブログにも書きましたが、各検索エンジンによって指定する数値の単位が違います。

Crawl-delay: xxの「xx」に5や10などの数値を記述することで、クローラーのアクセス頻度の調整ができますが、Live Search/百度は"秒単位"ですが、Yahoo!の場合は"分"単位です。
Crawl-Delayでクローラーの巡回頻度を調整する

ロボットの過剰なアクセスに悩んでいるサイト担当者は、もう一度確認しておきましょう。

■Sitemap Location
robots.txtに記述して、sitemap.xmlの在りかを知らせることができる「Sitemap Location」。Yahoo!、Google、Live SearchではREPの共通仕様となっています。

Googleに参考となる記述がありました。

<sitemap_location>には、http://www.example.com/sitemap.xmlのようにサイトマップの完全な URL を指定します。
robots.txt ファイルでサイトマップの場所を指定するにはどうすればよいですか。

みなさんのSitemap Locationはいかがですか？Disallow行のブロックするページのリストと同じように、スラッシュ(/)から始めるURLにしていませんか？再度robots.txtをチェックしてみましょう。

■Sitemapsの記述方法
sitemap.xmlのオプションとして使える<priority>属性ですが、GoogleもYahoo!も「検索結果での表示順序に影響することはない」と明確に述べています。

ただし、sitemap.org では下記のように述べています。

ページに割り当てた優先度が、検索エンジンの検索結果に表示されるページの掲載順位に影響することはほとんどありません。

少しぼかしていますね。検索エンジンはGoogle・Yahoo!だけではないし、今後アルゴリズムがどう変化するかは予測できないので、<priority>属性は正しい記述で利用しておくのがよさそうです。

以上4つの項目についてまとめてみました。「その解釈は違うんじゃない？」とか、他に「この指定ってどうなの？」等ぜひご意見・ご感想いただけるとうれしいです。
今後も設定ミスをしやすいものや、解釈に困るものなど、定期的にまとめていきたいと思います。

Yahoo!、Google、Live SearchがREPの共通仕様を発表
http://ameblo.jp/ca-seo/entry-10103741675.html

（三澤直哉）

CyberAgent SEO Information　　(サイバーエージェントSEO情報ブログ)