WordPress + Ktai Style でクロールエラーが出てたので robots.txt を設置してみた

Google ウェブマスターツールのクロールエラー

ふと、Google ウェブマスターツールを見てみると、ステータスコード 400 ( Bad Request ) のクロールエラーが 2,041 件も発生してた。

Google ウェブマスターツールのクロールエラー

クロールエラーが発生しているページとエラーの原因
———————————————————————-

クロールエラーが発生している URL は次の様な感じで、Ktai Style が外部サイトへ移動する時に自動で生成する中継ページらしい。

https://example.com/wp-content/plugins/ktai_style/redir.php?_wpnonce=**********&url=http%3A%2F%2Fwww.example.com%2F

上記 URL に含まれる ********** は、ノンス文字列という物らしく、一定時間ごとに変化するランダムな文字列が入っています。
Ktai Style の場合は 12 時間ごとに変化するらしい。

このノンス文字列が時間切れ?か何かでエラーを返しているのが原因なのかな?

WordPress のルートディレクトリに robots.txt を設置してみる
———————————————————————-

そもそも、この Ktai Style の中継ページをグーグルボットがクロールしないように設定すれば良いのでは?
と思い、次の様なコード書いた robots.txt を WordPress をインストールしてあるルートディレクトリに設置してみた。

User-Agent: *
Disallow: /wp-*

robots.txt の記述が間違っていないか心配なんだけど、上記の設定で WordPress 関連のシステムファイルはクロールされなくなるはず。

しばらくしてから Google ウェブマスターツールで確認してみるつもり。

ちなみに環境
———————————————————————-

– CORESERVER
– WordPress 2.9.1
– Ktai Style 2.0.0-beta2

参考にさせてもらったページ
———————————————————————-

– [WordPress Plugins/JSeries » Ktai Style サイト設定とテンプレートの改造](http://wppluginsj.sourceforge.jp/ktai_style/customize/#redir_php)
– [Wordpressセキュリティ向上①-robots.txtでログイン画面のインデックス化を防ぐ- » 森の夢](http://morinoyume.com/techs/98/)
– [WordPressの「robots.txt」と「metaタグ」のSEO用設定 | コリス](http://coliss.com/articles/blog/wordpress/333.html)
– [robots.txtの正確な書式,ロボット対策,noindex,nofollow | SEO対策のASY!エイジー](http://dokodemo.rankuappu.com/syono5.html)

ありがとうございます。

2 COMMENTS

ゆりこ@プラグイン作者

ちょっと古い記事に反応ですみません。
クローラー対策をした方がよさそうですね。リダイレクタは、外部のサイトに悪用されないようにノンスをつけているので、クローラーに対してはリダイレクタを使わず直接外部サイトにリンクでいいと思います。Ktai Style 2.1.0 ではそのように実装してみます。

管理人

ゆりこ@プラグイン作者様、コメントありがとうございます。
プラグイン作者様からコメントを頂けるなんて嬉しい限り!

引き続き、開発を応援しております。m(_ _)m

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です