クローリング促進のために、XMLサイトマップを送信すべし

サーチエンジンにXMLサイトマップを送信することは、クローラにサイトのURL情報を伝えて、インデックスに役立つとみなされています。

しかし実際には、XMLサイトマップを送信してもしなくてもインデックス状況には影響を与えないようだという記事を、2度に渡って書いたことがあります。

ところが、状況は変わりつつあるようで、XMLサイトマップを送信したほうが新規ページがクローリングされる時間が大幅に短縮されるらしいのです。

SEOmozのchenry氏が、自身が行った実験のデータから、サイトマップ送信はクロール率を促進すると結論付けています。

chenry氏は、XMLサイトマップを送信した6つの新しい記事と、XMLサイトマップを送信しない6つ新しい記事に対して、ロボットが訪問するまでの時間を比較しました。

結果は、
サイトマップ送信した方は、Googleが平均14分、Yahoo!が平均245分だったのに対して、
サイトマップ送信しない方は、Googleが平均1,375分、Yahoo!が平均1,773分でした。

驚くほどの違いです。

同じSEOmozのCEOであるrankdish氏は、以前に”My Advice on Google Sitemaps – Verify, but Don’t Submit(僕のグーグル サイトマップに関するアドバイス – 確認しても送信するな)“というタイトルの記事で、XMLサイトマップは送信すべきでないと論じていました。

ところが、今回のchenry氏の実験結果を見て見解を変え、次のようにコメントしています

With regards to my post – I actually no longer hold that opinion, so I’m going back to edit the piece. I’ve actually seen the results of Sitemaps be so positive for so many clients that despite the loss of visibility into architectural issues, I tell everyone that 99% of the time, you should be submitting as one of the first actions in your SEO campaigns.

“僕のポストに関して言えば、もうあの意見は取り下げて、書き直すつもりだ。多くのクライアントにとってサイトマップの結果は非常に明確であることを、僕も実際に確認している。サイト構成の点で(サーチエンジンンへの)見え方が悪くなるという喪失はあるけれど、99%の場合において、SEOキャンペーンの最初のアクションの1つとして(サイトマップを)送信するように、全員にアドバイスする。”
※()内は補足


XMLサイトマップを送信しなくても、短時間でクロールされるサイトがあることも事実でしょう。
だからと言って、送信することに問題となるようなデメリットがあるようには思えません。

ロボットのクローリングを早めるという意味では、XMLサイトマップ送信はおおいに価値がありそうです。

なお、chenry氏の実験は、WordPressをプラットフォームとして、Google XML Sitemaps Generatorというプラグインを利用したサイトで検証されました。

僕の「海外SEO情報ブログ」は、両方とも採用しています。w