404 はサイトに悪影響を与えますか?

2011年7月22日金曜日 | 15:50

ある日、何気なくウェブマスター ツールを使って自分のサイトの調子を確認したところ、クロール エラーページ が、404(Not found)(英語)でいっぱいになっていました。こんな時、いったいどうしたらいいのでしょうか?



心配する必要はありません。今回の記事は、404 についてと、これらがサイトに対して影響をおよぼす点(あるいは影響をおよぼさない点)について取り上げます。

質問: ウェブマスター ツールのクロール エラー ページに表示される 404 (Not found)は、Google 検索での掲載順位に影響しますか?
答え: サイトの一部の URL が既に存在しない、または 404 を返していた場合も、サイトの他の URL (200(Successful)を返すもの)の検索結果内での掲載順位には影響しません。404 レスポンス コードは、インターネットにとっては正常な動作です。インターネットは常に変化しており、新しいコンテンツが作られ、古いコンテンツはなくなっていきます。コンテンツがなくなったとき、404 HTTP レスポンス コードを返すことが通常の動作です。検索エンジンはこのことを理解しています。上図にあるように、Google のサイトにも 404 エラーはありますし、404 エラーはインターネットのあちこちで見られます。サイトからページが削除された場合は、いわゆる「ソフト 404」よりも、正しい 404 または 410 レスポンス コードが返されるほうが検索エンジンにとっては望ましいのです。Google のクローラが URL の HTTP レスポンス コードを確認するためには、その URL をクロールする必要があることを覚えておいてください。該当の URL が robots.txt ファイルでブロックされていると、クロールができず、レスポンス コードを確認することができません。

質問: では、ウェブサイトにとって 404 はまったく影響のないものなのですか?
答え: サイトの一部の URL が 404 を返しているということ自体が、サイト運営者の評価や Google 検索の結果に影響することはありません。ただし、一部の 404 に対しては対処が必要かもしれません。たとえば、404 を返しているページがサイトにとって重要なページである場合は、なぜクロール時に 404 が出ているのか調査するほうがよいでしょう。URL のスペルミス(www.example.com/awesome を誤って www.example.com/awsome としている場合など)がある場合は、誰かがサイトにリンクしようとしてタイプミスをしていることが考えられます。その場合、404 を返す代わりに、301 リダイレクトを使用し正しい URL にリダイレクトすれば、そのリンクからのトラフィックを得ることができます。また、ユーザーがサイトの 404 ページにアクセスした場合、「404 Not found」とだけ表示するのではなく、ユーザーにとって有用なページを用意 することもできます。

質問: 「ソフト 404」について詳しく教えてください。
答え: ソフト 404 とは、ウェブサーバーが、存在しない URL に対して 404(または 410)以外の応答コードを返す場合です。一般的な例としては、サイト運営者が ユーザーにとって便利な 404 ページ (英語)を提供したいと考え、そのようなコンテンツを提供するには必ずレスポンス コード 200 を返さなければならないと思っている場合です。しかし、404 を返しても、そのようなコンテンツを提供することはできます。他の例としては、未知の URL に対して 404 を返す代わりにホームページにリダイレクトしている場合です。どちらの場合も、Google があなたのサイトを分析しインデックスを作成するのに支障が出る可能性があるため、存在しないコンテンツに関しては適切なレスポンス コードを返すようにしてください。ページに「404 Not Found」と書かれているからといって、本当に応答コード 404 を返しているとは限りません。ウェブマスター ツールの Fetch as Googlebot 機能を使用して、そのページをチェックしてみてください。サーバーが正しい応答コードを返すように設定する方法がわからない場合は、ホスティングサービスのヘルプページなどを参照してみましょう。

質問: URL が 404、301、410 のうちどれを返すべきか判断するにはどうすればよいのですか?
答え: サイトからページを削除するときに、そのコンテンツを別の場所に移動するのか、完全にサイトからなくすつもりなのかを考慮してください。コンテンツを新しい URL に移動する場合、古い URL から新しい URL へ 301 リダイレクトしましょう。こうすれば、ユーザーが古い URL を訪れた場合も、探している情報と関連があるページに自動的に誘導されます。コンテンツを完全に削除して、今後サイトに設置しない場合は、古い URL が 404 または 410 を返すよう設定しましょう。現在、Google は 410(Gone) を 404(Not Found)と同じように処理します。そのため、どちらを返してもかまいません。

質問: 404 のほとんどが、サイトに存在しない URL に対するものです。これは何ですか?どこから来たトラフィックですか?
答え: 通常 Google は、ウェブ上のどこかであなたのサイト内へ張られたリンクを検出すると、コンテンツの有無を問わずそのリンクをクロールします。もしその URL が存在しない場合には場合はサーバーは 404 を返す必要があります。こういった無効なリンクが発生する理由は、いろいろ考えられます。例を挙げると、サイトにリンクしようとした誰かがスペルミスをした場合、設定ミスの場合(CMS によってリンクが自動生成されている等)、Google のクローラが JavaScript や他の組み込みコンテンツ内のリンクを認識してクロールしようとした場合、サーバーが未知の URL をどのように処理するかを Google が確認しようとした場合などです。サイトに存在しない URL に対してウェブマスター ツールが 404 を報告した場合は、無視しても問題ありません。Google では、あなたのサイトにとって必要な URL と、404 を返すべき URL を判別できません。このため、サイトで検出されたすべての 404 を報告し、対応が必要かどうかはみなさんの判断に任せています。

質問: サイトをスクレイピングされたため、大量の 404 が発生しました。例えば「http://www.example.com/images/kittens.jpg" width="100" height="300" alt="kittens"/></a...」のような、実在する URL に他のコードが付け加えられたものです。これはサイトに悪影響を与えますか?
答え: 一般的に、このような「壊れた」リンクがサイトに悪影響を与えることはありません。Google は、サイトの運営者側ではスクレイピングを行う者や、普通でない方法でリンクしようとする者を制御できないことを理解しています。正規表現 を使いこなせる場合は、これらの URL をこのように(英語)リダイレクトすることもできますが、普通は心配しなくても大丈夫です。また、サイトからコンテンツが盗用された確信がある場合は、こちらから著作権侵害の申し立て を行うことができます。

質問: 先週、ウェブマスター ツールで報告された 404 をすべて修正したのですが、まだ一覧に記載されています。正しく修正できなかったということですか?エラーが表示されなくなるまで、どのくらいかかるのですか?
答え: 「クロール エラー」ページの「最終検出」列をご覧ください。これは各エラーが検出された最新の日付を示しています。列の日付がエラーを修正する前であれば、そのエラーはその日付から発生していないことを意味します。日付が修正後である場合は、クロール時に再び 404 に遭遇していることになります。

Fetch as Googlebot 機能を使用すると、クローラが新しいレスポンス コードを確認できているかどうかをチェックできます。いくつかの URL でテストして問題がなければ、それらはクロール エラーの一覧から消えていくはずです。

質問: アカウントから 404 エラーを早く消去するために、Google の URL の削除ツールを使ってもよいですか?
答え: いいえ、URL の削除ツールは Google の検索結果から URL を削除するためのものであり、ウェブマスター ツールのアカウントから削除するためのものではありません。404 を返すページはいずれ検索結果には表示されなくなるため、緊急の削除要請用のツールを使う必要はありません。URL の削除ツールを使用するべきである場合とそうでない場合については、この記事(英語)の後半を参照してください。

ご質問やご意見がありましたら、ウェブマスター ヘルプ フォーラム へお寄せください。