1 GoogleなどのクローラーからWebページを隠す方法

クローラーにインデックスさせない

Webサイト内やブログ内のページで、
  • 公開しなくてはいけないけれど広く知らせたくないページ
  • インデックスされるとサイトの質が低下する恐れがあるページ
  • ブラウザからアクセスできないといけないけど隠しておかなければいけないページ
がある場合があります。

例えば、
  • お得意様にだけ見て欲しいページ
  • サイトの内容とあまり関係がないページだけど公開しなければならず、でもGoogleからの評価を落としたくない
  • ソフトウェアの管理画面へのログインページ
などです。

こうしたページはクローラーにインデックスされると困ります。
そこでインデックスしないでください、とクローラーに知らせる必要があります。


以前ソフトウェアのログイン画面をGoogleにインデックスさせようと頑張ったユーザー様がおられます。 そのソフトウェアはお客様の個人情報を扱うので、たとえログイン画面と言えどインデックスされるのはよろしくありません。
当方で販売しているソフトウェアの管理画面には、下に示すメタタグを入れているので、Googleにインデックスされることはありませんでした。ですが規則に従わないクローラーもあるかもしれないので、絶対にしないでください。

もしインデックスされてしまったら、盗人に追い銭です。
「泥棒さん、ここに金蔵があるよ。鍵は教えないけど、ハッキングツールを使えば直ぐわかるよね。どうぞどうぞ。」と言っているようなものです。どうぞお気をつけください。

ページへのリンクが貼られていたり、サイトマップへ登録されているページは、クローラーが自動で探してインデックスします。
なので管理画面へのリンクを貼ったり、管理画面のURLをサイトマップへ登録したりしてはいけません。 隠しておいてください。そうすれば通常インデックスされることはありません。
ですが例えばWordPressなどは、サイトのURLがわかると、たとえ管理画面ログインURLがインデックスされていなくても、わかってしまうことが多いのでご注意ください。

インデックスされないようにする

<head>エレメント内に
<meta name="robots" content="noindex">
を記述するだけです。

<head>
 ・
 ・
<meta name="robots" content="noindex">
 ・
 ・
</head>
 ⇒ noindex を使用して検索インデックス登録をブロックする

リンクを辿らせない

【noindex】と一緒によく【nofollow】も設定されます。
nofollowはリンクを辿らないことをクローラーに指示します。
ページ全体へ適用する場合はmetaタグへ記述ます。
先程の
<meta name="robots" content="noindex">

<meta name="robots" content="noindex,nofollow">
へ変更します。

特定のリンクへ適用する場合はaタグへ記述します。
<a href="https://www・・・" rel="nofollow">サイト名</a>
 ⇒ Google がサポートしている特別なタグ