無料SEO対策でアクセスアップ

[robot.txt]とは、グーグル、ヤフー、ＭＳＮなどのロボット型検索エンジンに対する命令を記述するテキストファイルのこと。自ページが、検索エンジンにインデックス化されないように指示することができる。

また、robot.txtはこれまで、アクセス過剰なクローラー等の拒否やアクセス間隔の制限を行うこと以外に使い道がなかったため、直接的にはＳＥＯ対策とは関係がなかったようだ。

しかし、検索エンジンにXMLサイトマップの存在を通知できるSitemap Autodiscovery機能がrobots.txtに付加されたため、SEO対策としてのインデックス化促進に意味のあるファイルになった。

そして、2007年4月にグーグル、ヤフー、ＭＳＮの3社は、XMLサイトマップのURLをrobots.txtで指定可能にすることを発表した。

robot.txtの書き方

robot.txtはＯＳに備え付けてあるメモ帳などで作成が可能だ。以下、robot.txtの書き方を紹介しよう。

[検索エンジンにXMLサイトマップの存在を通知する]

Sitemap: http://www.example.com/sitemap.xml

[すべてのロボット型検索エンジンに対して、すべてのファイルをインデックス化することを禁止する]

User-agent: *
Disallow: /

上の記述の意味は、「*（すべて）」の「User-agent（検索エンジン）」に対して、「/（トップディレクトリ以下）」のファイルをインデックス化するのを「Disallow（禁止）」する。

[グーグルとＭＳＮに対して、/secretと/cssのディレクトリ以下のファイルをインデックス化することを禁止する]

User-agent: Googlebot
Disallow: /secret/
Disallow: /css/

User-agent: MSNbot
Disallow: /secret/
Disallow: /css/

以上、メモ帳等で記述したら、ファイル名を「robot.txt」として保存しよう。

robot.txtの配置場所

上記で記述した「robots.txt」ファイルは、そのサイトのトップディレクトリに置かなくてはならない。つまり、robot.txtのＵＲＬは「http://www.xxx.jp/robots.txt」となる。
以下は不可。
http://www.xxx.jp/hoge/robots.txt

metaタグによる指定

もし何らかの理由で、自サイトのトップディレクトリに[robot.txt]がおけない場合、メタタグの記述によるインデックス化の拒否を行うことができる。

各ページのメタタグに以下を記述する。

<meta name="robots" content="noindex,nofollow">

「content」の部分には以下のようなものを指定する。

■index - 検索データベースへの登録を許可。
■noindex - 検索データベースへの登録を禁止。
■follow - このページに含まれるリンクをたぐることを許可。
■nofollow - このページに含まれるリンクをたぐることを禁止。

robot.txtを使ったpagerankを上げる裏ワザ

引き続き[robot.txtでpagerankを上げる方法]では、robot.txtを使ったpagerankを上げるためのSEO対策を紹介しています。是非、ご覧ください。