エキサイトのしばたにえんです。 今更ながらrobots.txtのdisallow、noindex、nofollowの違いについて調べました。
disallow
https://sample.co.jp/robots.txtに下記を追加することで設定されます。
下記の例だとhttps://sample.co.jp/sample以下のページにdisallowが適用されます。
User-agent: * Disallow:/sample/ Sitemap: https://sample.co.jp/sitemap.xml
disallowを設定することで「特定のパスに対してのクロールをブロック」、「Google等の検索エンジンの検索結果に表示させない」ようにしてくれます。
どういうときに使う
クローラーがサイト内ページを巡回する際、クロールするページ数が多すぎるとサーバー側に負荷がかかってしまいます。サイト側の負荷を上げないようにするために巡回の頻度を下げていくためサイトの評価を下げてしまいます。
そのため、巡回の必要がない場合はdisallowを使うと良いでしょう。
noindex
htmlに下記のタグを追加することで設定されます。
＜meta name="robots" content="noindex"＞
noindexを設定することで「Google等の検索エンジンの検索結果に表示させない」、「設定したページを除外してサイトの評価をしてくれる」ようにしてくれます。
注意すべき点は、noindexをつけてもクロールされます。そのため、ページランクの受け渡しはされるため、リンクを貼っている元のページのページランクに影響が出てしまいます。 ただし、長期間noindexを設定しているとクローラーはインデックスから削除され、そのリンクをたどらなくなります。(後述のnofollowが入った状態と同じになります。)
どういうときに使う
404エラーページ、お問い合わせページ等の検索結果に表示される必要がないページにnoindexを使うと良いかもしれません。
nofollow
htmlに下記のタグを追加することで設定されます。
＜meta name="robots" content="nofollow"＞
nofollowを設定することで「リンクをたどらせない」、「ページランクの受け渡しを拒否する」ようにしてくれます。
どういうときに使う
リンク先が悪質なサイトである場合に自分のサイトにもマイナスの評価が引き継がれる場合があるため、外部リンクを貼る場合等に使うと良いかもしれません。
まとめ
- disallowは「ページを検索エンジンに表示させない」、「クロール自体のブロック」
- noindexは「ページを検索エンジンに表示させない」、「質の低いページを評価対象から外す」
- nofollowは「リンクを辿らせない」、「ページランクの受け渡しを拒否する」
SEOには大変重要なことなので、しっかり理解して使い分けていきたいですね！
