SEO対策にはさまざまな手法があります。しかしそのなかにはブラックハットSEOといって、Googleのウェブマスター向けガイドラインへの違反行為となってしまう場合も少なくありません。クローキングもそのひとつで、検索エンジンからスパムだと判定され、検索結果の順位が落ちてしまう、もしくは表示されなくなってしまうことも起こりえます。そこで今回はこのクローキングについて、その概要やスパムと判定される場合、されない場合の違い、対処方法などについて考察していきます。

クローキングが違反行為となってしまう理由

そもそもクローキングとは、Webサイトをユーザーと検索エンジンのクローラーとで振り分け、別のページを読ませる行為です。なぜユーザーとクローラーで振り分けるのかといえば、悪意を持って検索エンジンからの評価を高めるためです。例えばユーザーには画像やFLASHのページを表示させ、クローラーにはHTMLテキストページを表示させます。これにより、そのテキストのなかに含まれた任意のキーワードで検索した場合に検索結果の上位に表示させることを狙います。

またクローラーが回覧してきた場合のみ、そのページにテキストやキーワードを挿入するといった方法もあります。これもHTMLテキストページを表示させるのと同様に、その挿入されたキーワードで検索した際に、検索上位表示をさせることを狙った行為です。

これらの行為が行われているWebサイトやページが検索エンジンに上位表示されるとなれば、それを信じたユーザーは自分たちが求めている情報とはまったく異なるものを閲覧することになります。つまりGoogleが検索結果として表示したものが、ユーザーにとって不利益を与えることになるため、クローキングはGoogleのウェブマスター向けガイドラインへの違反とみなされ、最悪の場合、検索結果に表示されなくなります。

ページの振り分けが違反とならないケースとは？

検索エンジンを欺く行為としてガイドラインへの違反となるクローキング。しかし、これはあくまでもクローラーとユーザーとで表示するページを振り分けることが違反の理由です。クローラーとユーザーに同じページを見せるが、時間帯や地域、デバイスによって表示するページを振り分ける行為は違反とはなりません。

例えば、最近増えてきたスマートフォン専用Webサイト。これはパソコンと同じURLですが、スマートフォンで閲覧した場合は、スマートフォンで閲覧しやすくデザインされた専用Webサイトを表示するというものです。これはデバイスによって表示するページを振り分けています。

また閲覧しているブラウザによって表示させるページを変えるケースもあります。ブラウザはその種類やバージョンによって最新のスタイルシートやHTMLに対応していない場合があります。そのためAというブラウザでは意図した通りに表示されるため、そのままのページを表示させ、Bというブラウザではそのままではデザインが崩れてしまうので、Bブラウザ専用につくったページを表示させます。

ほかにも前項で検索エンジンにだけテキストを見せる行為は違反であるとしましたが、違反にならない場合もあります。それは画像の説明をalt属性で入れる行為、JavaScriptを有効にしていないユーザーに対し