SEO：検索ロボット（クローラー）に巡回（クロール）されないようにする

検索ロボット（クローラー）にクロールされないようにすると検索エンジンの検索結果に該当のページが表示されなくなります。

クロールさせない方法として、HTMLのmetaタグに記載する方法とrobots.txtで設定する方法があります。

metaタグに記載する方法

以下の内容が、metaタグに指定できます。

指定は、大文字で指定します。

NOINDEX：検索エンジンにクロールささせずに、検索結果に表示させないようにします。
NOFOLLOW：ページ内に存在するリンク先をクロールさせないようにします。

では、実際にHTMLに記載する例です。

<!-- 巡回させない -->
<meta name="ROBOTS" content="NOINDEX">

<!-- リンクをたどらない -->
<meta name="ROBOTS" content="NOFOLLOW">

<!-- 両方 -->
<meta name="ROBOTS" content="NOINDEX,NOFOLLOW">

robots.txtで設定する方法

robots.txt は、WEBサイトを公開しているディレクトリに設置します。

まずは、WEBサイト全体の巡回を許可する場合は、以下のように記述します。

User-agent: *
Disallow:

WEBサイト全体の巡回を拒否する場合は、以下のように記述します。
Disallow には、パスを記載します。

User-agent: *
Disallow: /

特定のディレクトリのみ拒否する場合は、以下のように記載します。
Disallow は、複数指定可能です。

User-agent: *
Disallow: /data/
Disallow: /config/

検索ロボットを指定して、サイト全体を拒否設定する場合は以下のように記述します。
以下では、グーグルの検索ロボットを拒否しています。

User-agent: Googlebot
Disallow: /

————————
最終更新日：2014年7月2日
作成日： 2014年7月2日
————————