グーグルアドセンスのホーム画面に、
「応答クローラのエラーが生じており、収益の損失が発生する可能性があります」
こんな警告が出て焦った、という経験があります。
いきなり「収益の損失が～」とか言われるとびっくりしますよね。
クローラーのエラーには様々な状況・要因が考えられますが、この記事では、
[box02 title=”この記事でわかること”]
- 削除したはずのページで発生した“応答クローラのエラー”
[/box02]
についての対処法をまとめています。その上で、
- 記事は削除したはずなのにエラーが消えない
- 放置しても大丈夫なのかどうか
の2点について、初心者の方でもわかりやすいようにまとめました。
応答クローラのエラーが出たけどこれは何？
アドセンス管理画面のホームを開いたらこんな警告が！
っていう経験、よくわからないととにかく不安ですよね。収益がなくなるかも・・・なんて絶対にあってほしくない事故だと思います。
[box04 title=”そもそもクローラって何？”]
ボット（Bot）、スパイダー、ロボットなど様々な呼び方をされますが同じものを指します。クローラ（クローラーとも）とは、英語の「crawl＝這う」が語源の用語です。
検索エンジンのウェブページをひたすら巡回して情報収集することが役割です。
[/box04]
まあ、こんな感じのロボがあなたのウェブサイトを巡回してページの情報を集め、データベースにインデックス（登録）しているというわけです。そのクローラが、
あなたのサイトに応答しないページがありますよ、と注意してくれているのがこのエラーの概要になります。
応答クローラのエラーの原因はなに？
要因は一つではなく、様々な要因が考えられます。ここでは、
削除したはずのページがクロールエラーを引き起こしている場合
についての対処法を述べていきます。
過去に書いた記事を削除したり、カテゴリーを削除しても、一度データベースに登録された情報は消えること無く残り続けます。
クローラはインデックスされた情報を機械的に巡回しているので、
「あれ？ここにあったページが無いよ？」
とメッセージを出します。これが“応答クローラのエラー”の原因です。
なので、記事やカテゴリーを削除したときに起こりやすい現象で、グーグルもこの問題の解消に努めてはいるものの、100%防止するには至っていないようです。
応答クローラのエラーの対処法は？
まず、問題の箇所を確認しましょう。
アドセンス管理画面の「アカウント→ステータス→クローラエラー」で、問題箇所を見つけることが出来ます。
僕の場合、「4326」の記事を消したことで、“404エラー（ページが見つからない）”というエラーがでていました。
ページ上部の説明文には、こう書かれています。
クローラが [ブロックされた URL] 列に記載されたページにアクセスできず、コンテンツを分析して広告を表示することができません。
そもそも削除した記事なので、広告収入が入らなくて当然ですよね。
これがもし「削除していない記事」だった場合は他の問題が考えられるので、別の対処が必要になりますよ。
記事は削除したけどエラーが消えない。何で？
さてこの記事は、数日前に普通にゴミ箱に捨てた記事ですが、クローラは真面目に巡回を続けてくれていたようです。
実際に問題のページのアドレスをグーグルでそのまま検索してみると・・・
「お探しの記事は見つかりませんでした」と出ました。
とりあえず、ちゃんと削除はされていることが確認できますね。これで大丈夫？
うわぁ、まだ出てくる。と心配になってきます。
これ、無視して大丈夫です。
と、言うことがグーグルの「サーチコンソールヘルプ」に書かれているからです。
多くの 404 エラーは修正しなくても問題はありません。404 エラーはサイトのインデックス登録やランキングに影響を及ぼすことはないためです。
ページが削除されており、代わりのページや同じようなページがない場合は、404 を返すようにしてください。レポートには約 1 か月後にこの 404 は表示されなくなります。
引用：サーチコンソールヘルプ
中々消えてくれないこのエラーですが、これが原因でサイトの順位が落ちるようなことはないようです。そして、クロールの頻度は自然と減っていき、1ヶ月ほどでエラーは出なくなるようです。
失敗例：サーチコンソールのURL削除はしない方が良い
サーチコンソールの機能の一つに、「URL削除ツール」というものがあります。
しかし、この場合はこのツールは使用しないほうが良いみたいです。
僕は焦って調べる前にやってしまったのですが・・・
グーグルのサーチコンソールヘルプで、「ゴールド プロダクト エキスパート」の方がこんな回答をされていました。
URL 削除ツールは “インデックスから完全に削除する” わけではありません。
正確には、”検索結果から非表示” にする操作です（404/410 を返すページに関しては、インデックス削除とも連動していますが）。低品質のページがサイト全体の評価を下げるかどうかは必ずしもそうとは言い切れないのですが、基本的に Google としては検索結果に低品質ページを表示させたくないので、検索結果に出てこなければいいと考えてください。
なお、URL 削除ツールは、404/410 以外には noindex なり robots.txt でのブロックが原則必要です。検索結果から一刻も早く削除したいという理由であれば、利用に問題はありません。
これ以外の理由で、安易に使うべきではないということです。引用：サーチコンソールヘルプ
うわぁ、やってしまった・・・と後悔しても後の祭り。仕方がありません。
弊害として、「闇雲に使用すると検索結果に悪い影響が出る」とのこと。一時的に検索結果に出なくする、というインデックスを上書きすることで、クローラのアクセスに支障が出るような気がします（引き続き調査します）。
どうしても、大至急検索インデックスから消したい場合（無いと思いますが情報漏えいや訴訟問題に発展しそうな場合など）にのみ、使うことをオススメします。
結局これって放置しても大丈夫なの？
結局、放置して大丈夫です。
もちろん、
削除したはずのページがクロールエラーを引き起こしている場合
に限ってです。そうでない場合は原因を突き止め解消する必要があります。
Google ではこの種類のクロールエラーの防止に努めています。このエラーがサイトのクロールやランキングに影響を及ぼすことはありません。
引用：サーチコンソールヘルプ
グーグルもこういってるので、とりあえず放置して様子見しておいて、悩む時間ももったいないのでコンテンツ作りに時間を使った方が有益な気がしますよ。
コメント