WordPress + Ktai Style でクロールエラーが出てたので robots.txt を設置してみた

ふと、Google ウェブマスターツールを見てみると、ステータスコード 400 ( Bad Request ) のクロールエラーが 2,041 件も発生してた。

クロールエラーが発生しているページとエラーの原因

クロールエラーが発生している URL は次の様な感じで、Ktai Style が外部サイトへ移動する時に自動で生成する中継ページらしい。

http://bowz.info/wp-content/plugins/ktai_style/redir.php?_wpnonce=**********&url=http%3A%2F%2Fwww.example.com%2F

上記 URL に含まれる ********** は、ノンス文字列という物らしく、一定時間ごとに変化するランダムな文字列が入っています。 Ktai Style の場合は 12 時間ごとに変化するらしい。

このノンス文字列が時間切れ？か何かでエラーを返しているのが原因なのかな？

WordPress のルートディレクトリに robots.txt を設置してみる

そもそも、この Ktai Style の中継ページをグーグルボットがクロールしないように設定すれば良いのでは？ と思い、次の様なコード書いた robots.txt を WordPress をインストールしてあるルートディレクトリに設置してみた。

User-Agent: *
Disallow: /wp-*

robots.txt の記述が間違っていないか心配なんだけど、上記の設定で WordPress 関連のシステムファイルはクロールされなくなるはず。

しばらくしてから Google ウェブマスターツールで確認してみるつもり。

ちなみに環境

• CORESERVER
• WordPress 2.9.1
• Ktai Style 2.0.0-beta2

参考にさせてもらったページ

• WordPress Plugins/JSeries » Ktai Style サイト設定とテンプレートの改造
• Wordpressセキュリティ向上①-robots.txtでログイン画面のインデックス化を防ぐ- » 森の夢
• WordPressの「robots.txt」と「metaタグ」のSEO用設定 | コリス
• robots.txtの正確な書式,ロボット対策,noindex,nofollow | SEO対策のASY!エイジー

ありがとうございます。