WordPress + Ktai Style でクロールエラーが出てたので robots.txt を設置してみた

Google ウェブマスターツールのクロールエラー

ふと、Google ウェブマスターツールを見てみると、ステータスコード 400 ( Bad Request ) のクロールエラーが 2,041 件も発生してた。

Google ウェブマスターツールのクロールエラー

クロールエラーが発生しているページとエラーの原因

クロールエラーが発生している URL は次の様な感じで、Ktai Style が外部サイトへ移動する時に自動で生成する中継ページらしい。

http://bowz.info/wp-content/plugins/ktai_style/redir.php?_wpnonce=**********&url=http%3A%2F%2Fwww.example.com%2F

上記 URL に含まれる ********** は、ノンス文字列という物らしく、一定時間ごとに変化するランダムな文字列が入っています。 Ktai Style の場合は 12 時間ごとに変化するらしい。

このノンス文字列が時間切れ?か何かでエラーを返しているのが原因なのかな?

WordPress のルートディレクトリに robots.txt を設置してみる

そもそも、この Ktai Style の中継ページをグーグルボットがクロールしないように設定すれば良いのでは? と思い、次の様なコード書いた robots.txt を WordPress をインストールしてあるルートディレクトリに設置してみた。

User-Agent: *
Disallow: /wp-*

robots.txt の記述が間違っていないか心配なんだけど、上記の設定で WordPress 関連のシステムファイルはクロールされなくなるはず。

しばらくしてから Google ウェブマスターツールで確認してみるつもり。

ちなみに環境

  • CORESERVER
  • WordPress 2.9.1
  • Ktai Style 2.0.0-beta2

参考にさせてもらったページ

ありがとうございます。

2 COMMENTS

ゆりこ@プラグイン作者

ちょっと古い記事に反応ですみません。 クローラー対策をした方がよさそうですね。リダイレクタは、外部のサイトに悪用されないようにノンスをつけているので、クローラーに対してはリダイレクタを使わず直接外部サイトにリンクでいいと思います。Ktai Style 2.1.0 ではそのように実装してみます。

Bowz

ゆりこ@プラグイン作者様、コメントありがとうございます。 プラグイン作者様からコメントを頂けるなんて嬉しい限り!

引き続き、開発を応援しております。m(_ _)m

コメントを残す

メールアドレスが公開されることはありません。