[Tep-j-general] Re: Yahoo 検索について (ページのインデックス化)

アーカイブの一覧に戻る

hamada bungu****@leo*****
2004年 7月 12日 (月) 12:58:41 JST


こんにちわ。

On Sat, 10 Jul 2004 11:04:55 -0700
NOBI <nobi2****@nobi*****> wrote:

> 永田さんの使用しているSpiderkillerはまだでしたので早速組み込んで
> みました。これはそのまま(デフォルトのまま)使用していますが

当方も先刻Spiderkillerを組み込みました。

コレ、確か「セッションハイジャック対策」のときに一度組み込んだハズなんで
すが、調べてみるとしっかり外してました。

なぜ一度組み込んだものを外したのか記憶に無いんですけど…(^^;;

現在、スゴイ勢いでMSNbotがosCにアクセスしてきてます。Y!Slurpもかなりのハ
イペース→早速Spiderkilllerの効果が出てるのかな??

> configurファイルのほうはなにか手を加えたほうが良いですか?
> YSTに関しては特にセットされていないようなのですが・・。

/catalog/includes/spider_configure.phpをみると

>  $spider_agent[] = "spider";
>  $spider_agent[] = "bot"; 
>  $spider_agent[] = "crawler"; 

とりあえずUAに↑この文字列が含まれてるものを「一般的ロボット」とみなし、
その他上記条件に適合しないUAを個別に指定してるようです。

GooglebotやMSNbotは上記条件に適合するので大丈夫。

YSTについては

>   $spider_agent[] = "slurp"; //Inktomi

の記述が有りますんで、当面は大丈夫だと思います。

今後クローラーのUAが変われば手を入れなきゃいけませんけど。

はまだ






Tep-j-general メーリングリストの案内
アーカイブの一覧に戻る