Googleで検索した際、検索結果のページ名（サイト名）の下部に「この結果の説明は、このサイトの robots.txt により表示されません」と表示される場合があります。
このように表示されている場合、検索エンジンがブロックされている可能性が高いです。
robots.txtファイルを設置している場合
まず、robots.txtファイルを設置している場合。特定のページをブロックした設定が、TOPページなど主要なページまで「robots.txt により表示されません 」と表示されている場合は、記載ミスの可能性が高いです。
Disallow（アクセスを許可しない設定）の範囲を確認しましょう。
※通常、robots.txtはルートドメインにアップされています。
http://aaa.com/の場合、http://aaa.com/robots.txt
WordPressを使用している場合は設定を確認しよう
robots.txtファイルを設置していない場合で、「この結果の説明は、このサイトの robots.txt により表示されません 」と表示される場合は、CMSなど、設定で自動作成されるrobots.txtが原因で検索エンジンがブロックされている可能性が高いです。
特に当サイトでも使用しているWordpressを使用している場合は、下記の設定を確認しましょう。
検索エンジンでの表示設定を確認
WordPressのrobots.txt設定は、管理画面にログイン後、左メニューの設定 → 表示設定の一番下、「検索エンジンでの表示」の設定です。
検索エンジンがサイトをインデックスしないようにするのチェックを外し、変更を保存をクリックします。
robots.txtの表示の違い
WordPress管理画面で「検索エンジンでの表示」の設定にチェックがついた場合、ブロックしている設定のrobots.txtの表示は、下記の内容です。
User-agent *
Disallow /
User-agentに対して、*（アスタリスク)が設定されていますが、これは全ての検索エンジンのクローラーに対して、
Disallow（アクセスを許可しない）が設定されています。
じつは、Wordpressでは、「検索エンジンでの表示」の設定にチェックをつけていない場合でも、robots.txtは設定されています。
チェックをつけてない場合は下記の内容です。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
この場合、検索エンジンのクローラーからブロックしているのは、/wp-admin/となります。
/wp-admin/のようなプログラムに関係するファイルは、検索結果に表示する必要がありませんので、デフォルトでブロックされています。
以上がWordpressの設定例です。ご参考ください。
