「CSS および JS ファイルに Googlebot がアクセスできません」の解決方法

SEO対策を考慮してWordPress

旧Googleウェブマスターツール(現:Google Search Console)から一通のメッセージが2015年7月28日深夜23時頃メールでとどきました。実際に解決できたので一安心でしたが、どうやらアクセス数が多いウェブサイトのみに警告が来たようで、すべてをチェックしなおしました。

是非今一度、「CSS および JS ファイルに Googlebot がアクセスできません」というエラーがあった場合はチェックしてみてください。

SPONSORED LINK

Google Search Consoleから届いたメール

驚くペコ

「文章が強烈過ぎて、かなり焦る・・・・」

以下画像のようなメールが届きましたが、内容を一部抜粋します。

Search Consoleからの警告

Google のアルゴリズムによるコンテンツのレンダリングとインデックス登録に影響を及ぼす問題が貴サイトで発生していることが Google のシステムにより判明しました。具体的には、robots.txt ファイルでの制限のために Googlebot が JavaScript や CSS ファイルにアクセスできません。Google では、これらのファイルによりウェブサイトが正常に機能していることを認識するため、これらのアセットへのアクセスをブロックすると検索結果における掲載順位が本来よりも低くなる可能性があります。

つまり、簡単に言うとブロック解除しないと順位下げますよ・・・ってことですよね。Googleさん・・・。

しかも深夜23時に来るなんてありえない。と思いながら対処に当たりました。色々調べていると今までなかった新しいタイプの警告メッセージと海外SEOブログ情報ブログさん「CSSとJSファイルをブロックしているサイトに警告メッセージをGoogleが一斉送信」で記載があったので、ある程度の解決策はあると奮闘しました。

その結果警告を解除できたので報告いたします。

 

Googleも修正方法を支持はしてくれている

いつもわからない

「いつも思う、解決方法書いてあるけど、わからない(笑)」

Googleの修正方法の指示は以下の通りとなります。

  • ブロックされているリソースを特定する
  • robots.txt ファイルを更新する
  • 「Fetch as Google」を使用して修正を検証する

上記3つの流れで行って!というのは指示として書いてあるのですが対処法が何なのかを確認していくのが困りました。

そもそもなぜGoogleエラーが起きたのか

CSSやJavaScript、画像などのリソース(アセット)へのGooglebotのアクセスをブロックしないように、Googleは2014年10月に技術ガイドラインを更新しています。ウェブサイトを適切に評価するために行われました。

その際の公式ウェブマスターブログはこちら「Updating our technical Webmaster Guidelines(英文)」になります。すでにSEO対策をしっかり確認している方であれば、公式ウェブマスターブログに紹介されたときに対処しているとは思います。

私の場合、過去につくり更新・メンテナンスをしていなかったサイトがヤラれてしまいました。

では、解決方法をお伝えしていきます。

解決1.robots.txtファイルをチェックする

まず、Google Search Consoleにアクセスを行い、そのサイトのrobots.txtファイルをチェックします。

WordPressでサイトを作成されている場合に関しては、FFFTPなどで接続してもファイルが見当たらない場合があります。その場合は、直接Google Search Consoleで確認しておきましょう。

robots.txtファイルをチェック

Google Search Console>クロール>robots.txt テスター

上記の流れでrobots.txt テスターをチェックしていきます。現状は確認のみ行います。

  • ①現状どのようなrobots.txtなのかチェックしておく
  • ②公開済みのrobots.txtを表示するもチェックしておく

公開済みのrobots.txtと現在①のrobots.txt テスターに表示されているものが同様であれば、とりあえずチェックは完了です。ここでは何もせずに、まずは目視を行ってください。

解決2.ブロックされたリソースを確認する

こちらの内容はGooglebotがウェブサイトをクロールしたときに、ブロックした(クロールできなかった)ページを教えてくれています。

エラーが出ているウェブサイトは162個ブロックされていました。

ブロックされたリソース

Google Search Console>Googleインデックス>ブロックされたリソース

このリソースの中から1つ選択し、URLをコピーして先ほどのrobots.txtテスターの画面に戻ります。

ブロックされたURLを確認する場合は、URL、リソース、robots.txtのURLが表示されますが、リソースのURLをコピーします。

2-1.どの内容がブロックされている要素なのか確認する

どの内容がブロックされている要素

先ほどのブロックされているリソースを入力すると、間違いなくブロックされています。また、ブロックの対象となっているrobots.txtのコードも教えてくれます。

私の場合はこちらで簡単に発見することができました。

解決3.WordPressのrobots.txtを編集する方法

「どう見てもrobots.txtのファイルがないんですけど!!」

WordPressのrobots.txtを編集する方法はFFFTPなどでrobots.txtファイルを探しても見つからない場合はプラグインで対応しましょう。

3-1.WP Robots Txtのプラグインを利用する

WordPressのプラグインから通常のプラグイン検索で「WP Robots Txt」を調べると出てきます。

WP Robots Txtプラグイン

これを通常通りインストールします。

私の調べでは「WP Robots Txt」のプラグインを入れることで、サイト速度の遅延や誤作動などは、発見できておりません。もし何かあればこのページの一番したにコメントいただけたらうれしいです。

プラグインをインストールし有効化した後は、WordPressの設定から表示設定画面を開きます

Robots.txt Content

この部分を編集し、先ほど私のページでエラーが出ていた「Disallow: /wp-includes/」を削除します。

削除を行った後は再度、Google Search Consoleのrobots.txt テスターに戻り確認を行います。

 

解決4.robots.txtファイルを再チェックする

robots.txt テスター再確認

見ていただいた通り、綺麗に削除している部分が消えているのがわかります。この場合以下の内容をチェックしておきましょう。

  • 「公開済みのrobots.txtを表示する」もチェックしておく
  • 「ブロックされていたリソース」が「許可済み」になるかチェックする

以上2点を確認しておきましょう。

この一連の流れでrobots.txtテスターの画面が変更されない場合は、しばらく待ちましょう。ウェブを更新しても変更されていないケースがありますので、ちょっとだけ時間がかかると思ってください。

4-1.Googleにrobots.txtファイルを送信する

消した後に、右下にある「送信」のボタンをクリックします。送信ボタンを押すと以下の画面が現れます。

送信する

Googleにrobots.txtの送信をリクエストします。

送信しました。すぐにテスターページを再読み込みしてタイムスタンプを確認してください。

という表記がでますので、更新してrobots.txtファイルを確認します。

これで、Googleにrobots.txtの新しいファイルを伝えておくことができます。

解決5.Fetch as Googleでも送信しておこう

そのままGoogle Search Consoleを利用して、Fetch as GoogleでブロックされていたURLもGooglebotにクロールしてもらおう。

おそらく時間がたてば、robots.txtでGooglebotがクロールできていない箇所はクロールしてくれますが、念のため、Fetch as GoogleでGooglebotを呼び込んでクロールしてもらいましょう。

Fetch as Google使い方

  • ①先ほどブロックされたリソースのURLを入れる
  • ②「取得」ボタンをクリック
  • ③ステータスが完了になったのを確認して「インデックスに送信」

この処理をしておけばGooglebotがクロールに来てくれるので安心です。ひとまず対応は終了になります。

解決6.その他エラーになる場合の対処例

上記のrobots.txtファイルとして修正を行うことができれば、「CSS および JS ファイルに Googlebot がアクセスできません」というエラーは解決ができるはずですが・・・しかしながら、上記の内容で解決できない方もいらっしゃるようです。

その場合は以下の方法をチェックしてみてください。

  • WordPressのバージョンを確認する:WordPressのバージョンが古いとrobots.txtの設定が不適切な場合があります。そのため、セキュリティ面も含めて最新のバージョンに設定しておきましょう。
  • プラグインを確認する:プラグインが起こしている誤作動もあるようです。プラグインのバージョンも最新の状態にすることを心がけてください。また、バージョンが古いものや互換性がないものは一度停止してみましょう。
  • .htaccessファイルの設定も確認:色々検索して発見しましたが「.htaccessファイル」の設定に誤りがあった場合もエラー通知が来ているようです。一度確認しましょう。
  • サーバーの問題:ロリ○ップというサーバーの場合、エラーが出ているケースがあります。サーバーの問題もあるようなので、こちらもサーバー会社に確認することも行いましょう。

以上の対応で問題解決できなければ、コメントいただけたらうれしいですね。

 

まとめ

死ぬかと思った

「いやー久しぶりに焦った・・・」

ちょっと古いサイトのメンテナンスを忘れていたことが非常に焦りましたね。今後、会社としてはWordPressに関しても対策を打っていかなければなりませんね。すでにGoogleの警告の対処、WordPressのメンテナンスへの対処、その後の対策の実効、そして等ブログの作成・・・ということで、寝れませんでしたね(笑)。

少しでも、記事がお役に立てれば幸いです。最後までありがとうございました。

Edit

[Google Ads and peko]

この記事を書いた人

辻 昌彦

辻 昌彦
当サイトにお越しいただいてありがとうございます。株式会社peko(ペコ)の代表をしております。 趣味にならないように・・・企業や個人の方になるべく役に立つようなSEOの記事、Webマーケティング関連の記事を配信していきますので、よろしくお願いします。

コメント:1件

コメント

メールアドレスは非公開情報です。必須項目: *

*