閉じる

Google検索結果に「robots.txt により表示されません 」が表示される場合

Googleで検索した際、検索結果のページ名(サイト名)の下部に「この結果の説明は、このサイトの robots.txt により表示されません」と表示される場合があります。

このサイトの robots.txt により表示されません

このように表示されている場合、検索エンジンがブロックされている可能性が高いです。

robots.txtファイルを設置している場合

まず、robots.txtファイルを設置している場合。特定のページをブロックした設定が、TOPページなど主要なページまで「robots.txt により表示されません 」と表示されている場合は、記載ミスの可能性が高いです。
Disallow(アクセスを許可しない設定)の範囲を確認しましょう。

※通常、robots.txtはルートドメインにアップされています。
http://aaa.com/の場合、http://aaa.com/robots.txt

WordPressを使用している場合は設定を確認しよう

robots.txtファイルを設置していない場合で、「この結果の説明は、このサイトの robots.txt により表示されません 」と表示される場合は、CMSなど、設定で自動作成されるrobots.txtが原因で検索エンジンがブロックされている可能性が高いです。

特に当サイトでも使用しているWordpressを使用している場合は、下記の設定を確認しましょう。

検索エンジンでの表示設定を確認

WordPressのrobots.txt設定は、管理画面にログイン後、左メニューの設定 → 表示設定の一番下、「検索エンジンでの表示」の設定です。

検索エンジンがサイトをインデックスしないようにするのチェックを外し、変更を保存をクリックします。

検索エンジンでの表示設定

robots.txtの表示の違い

WordPress管理画面で「検索エンジンでの表示」の設定にチェックがついた場合、ブロックしている設定のrobots.txtの表示は、下記の内容です。

User-agent *
Disallow /

User-agentに対して、*(アスタリスク)が設定されていますが、これは全ての検索エンジンのクローラーに対して、
Disallow(アクセスを許可しない)が設定されています。

 

じつは、Wordpressでは、「検索エンジンでの表示」の設定にチェックをつけていない場合でも、robots.txtは設定されています。

チェックをつけてない場合は下記の内容です。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

この場合、検索エンジンのクローラーからブロックしているのは、/wp-admin/となります。
/wp-admin/のようなプログラムに関係するファイルは、検索結果に表示する必要がありませんので、デフォルトでブロックされています。

以上がWordpressの設定例です。ご参考ください。

関連記事

  1. TCD

    WordPressでポータルサイトを簡単に作成できるテーマ(テン…

  2. WordPressの更新案内/通知の非表示や自動更新を停める設定…

  3. さくら共用サーバーでWordPressのSSL化(HTTPS化)…

  4. Wordpresで自分で作成したテンプレート、パーツを読み込む

  5. WordPressのコメント投稿記事設定をまとめて無効にするプラ…

  6. Search Regex

    ワードプレスで記事のキーワードや文章、URLを一括置き換えできる…

ピックアップ記事

  1. ahrefs
  2. reCAPTCHA
ページ上部へ戻る