Google のクロールに関して、ヘルプフォーラム に何件かご質問をいただきましたので、去年の秋に英語版 Webmaster Central ブログに掲載された記事 （英語）が参考になればと、抄訳して掲載いたします。

2006 年に、ウェブマスターツール に「ウェブクロール エラー」の表示機能が追加されて以来、どの URL においてエラーが生じているのかがわかると更に便利だというご意見を、多数のウェブマスターの方々からいただきました。例えば「ページが見つかりません ( 404 Not Found ) 」のようなエラーの修正と予防は、リンク元の URL が特定できないことには難しいものです。このような声にお応えするかたちで、このたび、クロールエラーの原因となったリンク元の数と URL がウェブマスターツールに表示されるようになりました。

ウェブマスターツールの「診断」から「ウェブクロール」を選んでいただくとレポートが表示されます。その中の「見つかりませんでした」や「サイトマップの URL に関するエラー」の項目に「リンク元」という列が追加されています。この列には、例えば「ページが見つかりません ( 404 Not Found ) 」というエラーが生じている URL にリンクしているページの数が表示されます。


この「リンク元」の列に表示されているページ数をクリックすると、問題の URL にリンクしているページのリストが表示されます。これらのページが検出された日付も表示されます。リンク元は、ご自身のサイト内であることもあれば、サイト外のこともあります。


これらのリンク元を一括してダウンロードする機能もついています。「このサイトの全てのエラー ソースをダウンロード」というリンクをクリックしていただければ、エラーの原因となっているリンク元のリストをダウンロードしていただけます。


このように、サイトにクロールのエラーが生じている場合は、ウェブマスターツールを使って、クロールエラーの原因が、ご自身のサイトにあるのか、外部のサイ トにあるのかを、調べることができます。クロールエラーの原因となっているページを特定することにより、そのページの管理者に修正を依頼することもできますし、必要であれば、正しい URL へのリダイレクト設定 を行うこともできます。是非一度 ウェブマスターツール にログインし、この機能を試してみてください。ネットのどこかからあなたのサイトを訪れようとしているユーザーや、すでにあなたのサイト内にいるユーザーが、求めていた情報にちゃんとたどり着けるように手助けすることができます。

サイトのユーザーエクスペリエンスの向上にお役立ていただければ幸いです。


Written by Jonathan Simon, Webmaster Trends Analyst and Michael Williamson, Webmaster Tools Intern
Original Version: Webmaster Tools shows Crawl error sources

今回は、ウェブマスターの方々のブログや掲示板でしばしば話題にあがる疑問にお答えします。[site:example.com] のように、"site: 演算子" を使ってご自身のサイトを検索すると Google のインデックスに登録されたサイト内のページが表示 されますが、その数と、"ウェブマスターツールの「サイトマップの詳細」に表示される「インデックスに登録された URL の数" が異なるという疑問についてです。 この違いは一見バグのようですが、実は設計によるものです。 ウェブマスターツールの「サイトマップの詳細」のデータには、サイトマップを使って送信した URL しか反映されません。一方、site: 演算子による検索結果には、サイトに新たに追加された URL や、リンクをたどることで発見された URL など、サイトマップには記載されていないが、Google がクロールするに至ったあらゆる URL が含まれています。

Site: 演算子は、あなたのサイトが Google のインデックス上でどのような状態にあるかを手軽に診断するための方法とお考えください。Site: 演算子を使って確認できることは、次のようなことです。

• インデックスに登録されたページのおおよその数
• サイトが第三者の手によって不正に書き換えられてしまっていないかどうか

[訳注] この問題があなたのサイトに生じている場合は、site: 演算子検索を行っていただくと、検索結果に、不正に挿入された、見覚えのない URL やテキストが表示されることがあります

• 重複するタイトルやスニペットがないか

[訳注] 重複するタイトルやスニペットがあると、サイトの各ページの内容が検索結果上でユーザーに伝わりにくくなってしまうので、各ページごとに異なるものにすることをおすすめします。詳細はヘルプセンターの「検索結果でサイトのタイトルと説明を変更する」＞「適切なメタデータ (descriptions) を作成する」 をご覧ください。

次の図は site: 演算子を使って検索した一例です。


ウェブマスターツール内のサイトマップに関するレポートでは、より詳細な内容がご確認いただけます。例えば、サイトマップで送信された URL のうち、インデックスされた URL はいくつであったか、また、もし Google がそのサイトマップにアクセスしようとしたときに、問題がが生じていたら、そのエラー情報や警告も表示されます。


Site: 演算子 やサイトマップ については、ヘルプセンターに詳細記事がありますので、是非一度ご覧ください。ヘルプセンターでは解決しない疑問がありましたら、ウェブマスターヘルプフォーラム へ投稿されることをおすすめします。経験豊富なウェブマスターの方々や、Google 社員が、あなたの質問をお待ちしています。


Written by Charlene Perez, Search Quality Team
Original Version: Using stats from site: and Sitemap details

Google に検索エンジン向け サイトマップ を送信する方法が簡単になりました。以前はサイトマップのファイル形式を特定していただく必要がありましたが、もうその必要はありません。送信されたデータの形式は、自動的に判別されます。今日は、Google がサポートしているサイトマップの形式と、サイトマップを Google に送信する方法をご紹介します。

※一部、リンク先が英語のページも含まれています。ご了承ください。


Google がサポートしているサイトマップの形式

インターネットを面白いものにしている理由のひとつは、本当にさまざまな種類のコンテンツがそこにあることでしょう。あなたのサイトにも動画がありませんか？ もしあるのでしたら、是非 Google に、動画サイトマップを送信してください。そうしていただくことで、Google はその動画に、ユーザーを連れていくことができるようになります。または、ソースコードのサンプルを掲載していませんか？　もし掲載していたら、ソース コード検索サイトマップの送信をお願いします！　以下は、現時点で Google がサポートしているサイトマップの形式です。このように、多様な形式に対応しています。

• ウェブページ用の XML サイトマップ - サイトにある全てのページを送信するときは、このサイトマップを使ってください（ウェブページにはこの形式が推奨されています）。これ以外のサイトマップ形式は、全ての検索エンジンでサポートされているわけではありませんが、ウェブページを対象とした XML サイトマップは、sitemaps.org に賛同する全ての検索エンジンによってサポートされています。
  
• ウェブページ用の RSS 2.0　と Atom 1.0 フィード - ブログの多くはこれを自動的に作成します。
• ウェブページの URL 一覧を記載したテキストファイル - 上記形式のサイトマップを自動的に作ることができない場合は、サイトの URL リストを入力したテキストファイルを使うこともできます。
• 動画検索用の動画 XML サイトマップ - あなたのサイトの動画をインデックスし、Google 動画検索 で検索されるようにします。
• 動画検索用の Media-RSS フィード - mRSS フィードは様々なシステムで利用されていますが、Google 動画検索 にも使われています。
• Google ソースコード検索用 XML Sitemap - ユーザー向けにプログラムのサンプルやソースコードを提供している場合は、Google ソースコード検索 用にこのサイトマップを送信します。
• モバイル検索用 XML サイトマップ - この形式を利用すると、そのコンテンツはモバイル用に最適化されているものだということを Google に知らせることができます（最近、形式に若干の変更がありましたので、ご注意ください）。
• 地理情報用の XML サイトマップ - KML か GeoRSS ファイル形式の地理情報データがサイトにある場合は、Google にこれらに関して教えてください。
• ニュース用 XML サイトマップ - ニュースのサイトはニュース記事を送信するのに、特別な形式のサイトマップが利用できます（このサイトマップを送信する前に、Google ニュースへのご登録 をお忘れなく）。

Google に送信予定の複数のサイトマップをお持ちの場合は、1,000 ファイル以内であれば、サイトマップインデックスファイル にまとめることができます。1,000 より多くのサイトマップをお持ちの場合は、分割して、複数のサイトマップインデックスファイルを送信することも可能です。もちろん Google は全て喜んでお受けします！

Google にサイトマップを送信する方法

サイトマップファイルを作成し、サーバーにあげて、準備が整ったら、あとは、検索エンジンがそのサイトマップを見つけるようにするだけです。Google は、サイトマップを送信する 3 つの簡単な方法をサポートしています。

• Google ウェブマスターツール を使う

サイトマップの存在を Google に知らせるには、Google ウェブマスターツールを使ってサイトマップを送信することをおすすめします。この方法を使う大きなメリットは、あなたのサイトマップファイルに関する直接 のフィードバックが受けられる点にあります。例えば、サイトマップがダウンロードされたかどうか（Google はサーバーにアクセスできた？）、サイトマップがどのように認識されたか（サイトマップは正しいファイル形式だった？）、そして、サイトマップにリストさ れたページはどうなったか（何ページインデックスされた？）など。また、サイトマップを送信する前に、ウェブマスターツールであなたのサイトが確認 されていることをチェックしましょう。確認されたら、「サイトマップ」の項目へ進み、サイトマップのファイル名を入力します。

場合によっては、サイトマップをサイトとは別のサーバーや別のドメインの下に置くこともあるでしょう。このような場合は、まず、ウェブマスターツールにおいて、両方のサイトでサイトの確認 を行い、しかるべきサイトのサイトマップを送信します。例えば、http://www.example.com のサイトマップが http://sitemap-files.example.com/ にある場合、両方のサイトの確認を行い 、http://sitemap-files.example.com にあるサイトマップを送信します（そのサイトマップにリストされた URL が http://www.example.com のものだとしても）。詳細は、ヘルプセンターの「複数のサイトのサイトマップを管理 」をご覧ください。

• robots.txt ファイルにサイトマップについて記載する

robots.txt ファイルにサイトマップの場所を記載 して、サイトマップを送信する方法もあります。この方法を使ってサイトマップを送信すると、サイトマッププロトコルをサポートする全ての検索エンジンがサ イトマップを見つけられるようになります（ただし、上記ファイル形式全てがサポートされているわけではありません）。robots.txt 上に、サイトマップの完全な URL パスが記載できるので、この方法でも、別のドメインに置かれたサイトマップを送信することができます。この方法で送信されたサイトマップは、Google 側で自動的に処理されますが、ウェブマスターツールに自動的に登録されることはありません。サイトマップに関するフィードバックを受け取れるよう、ウェブマスターツールからも登録することをおすすめします。

• HTTP "ping" を使う

サイトマップが自動で生成される場合は、その送信（または再送信）には、Google サイトマップ用の "ping" URL にアクセスするのが便利です。この URL には、サイトマップの URL が含まれています。サイトの "ping" URL に関する詳細は、ヘルプセンターにある「サイトマップの更新 」をご参照ください。サイトマップのファイルを更新された際には、いつでも、この "ping" URL を使ってください。Google 側に、再度アクセスして処理する必要があると伝わります。もしそのサイトマップがウェブマスターツールにも登録されている場合は、そのステータス情報も更新されます。この方法も、別のサーバーにあるサイトマップに使えます。とはいえ、先述のケースと同様、ウェブマスターツールで両方のサイトについてサイト の確認をする必要があります。

sitemp.org に賛同する他の検索エンジンも、一般的なサイトマップファイルを送信するための同様な方法をサポートしています。

これらの簡略化が、サイトマップを送信していただくうえで、皆様のお役に立てば幸いです。


Written by John Mueller, Webmaster Trends Analyst, Google Zürich
Original Version: Sitemap Submission Made Simple