閉じる

Google検索結果に「robots.txt により表示されません 」が表示される場合

Googleで検索した際、検索結果のページ名(サイト名)の下部に「この結果の説明は、このサイトの robots.txt により表示されません」と表示される場合があります。

このサイトの robots.txt により表示されません

このように表示されている場合、検索エンジンがブロックされている可能性が高いです。

robots.txtファイルを設置している場合

まず、robots.txtファイルを設置している場合。特定のページをブロックした設定が、TOPページなど主要なページまで「robots.txt により表示されません 」と表示されている場合は、記載ミスの可能性が高いです。
Disallow(アクセスを許可しない設定)の範囲を確認しましょう。

※通常、robots.txtはルートドメインにアップされています。
http://aaa.com/の場合、http://aaa.com/robots.txt

WordPressを使用している場合は設定を確認しよう

robots.txtファイルを設置していない場合で、「この結果の説明は、このサイトの robots.txt により表示されません 」と表示される場合は、CMSなど、設定で自動作成されるrobots.txtが原因で検索エンジンがブロックされている可能性が高いです。

特に当サイトでも使用しているWordpressを使用している場合は、下記の設定を確認しましょう。

検索エンジンでの表示設定を確認

WordPressのrobots.txt設定は、管理画面にログイン後、左メニューの設定 → 表示設定の一番下、「検索エンジンでの表示」の設定です。

検索エンジンがサイトをインデックスしないようにするのチェックを外し、変更を保存をクリックします。

検索エンジンでの表示設定

robots.txtの表示の違い

WordPress管理画面で「検索エンジンでの表示」の設定にチェックがついた場合、ブロックしている設定のrobots.txtの表示は、下記の内容です。

User-agent *
Disallow /

User-agentに対して、*(アスタリスク)が設定されていますが、これは全ての検索エンジンのクローラーに対して、
Disallow(アクセスを許可しない)が設定されています。

 

じつは、Wordpressでは、「検索エンジンでの表示」の設定にチェックをつけていない場合でも、robots.txtは設定されています。

チェックをつけてない場合は下記の内容です。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

この場合、検索エンジンのクローラーからブロックしているのは、/wp-admin/となります。
/wp-admin/のようなプログラムに関係するファイルは、検索結果に表示する必要がありませんので、デフォルトでブロックされています。

以上がWordpressの設定例です。ご参考ください。

関連記事

  1. Contact Form7でCc、Bccのメール複数設定

  2. 病院

    産婦人科、歯医者など病院のホームページ制作に最適なWordPre…

  3. WordPressの文章、キーワードやタグを一括置換できるプラグ…

  4. Wordpresで自分で作成したテンプレート、パーツを読み込む

  5. wp_head() の場所とWordPressの余計なタグの削除…

  6. FACEBOOK連携

    jetpackで編集者や投稿者ユーザーがFacebook連携でき…

ピックアップ記事

ページ上部へ戻る