From yaizawa ＠ yaizawa.jp Wed Sep 8 11:59:59 2004 From: yaizawa ＠ yaizawa.jp (Yuichiro AIZAWA) Date: Wed, 08 Sep 2004 11:59:59 +0900 Subject: [tDiary-users-talk: 0194] =?iso-2022-jp?b?GyRCMC08QSRKGyhCUmVm?= =?iso-2022-jp?b?ZXJyZXIgc3BhbRskQiRYJE5CUDp2GyhC?= Message-ID: <20040908115906.F809.YAIZAWA@yaizawa.jp> はじめまして． あいざわと申します． おとといあたりから tDiary で運用していた私の Web 日記への Referrer spam が急増しました．httpd-access.log 等確認してみると，広範囲の IP アドレス から妙な Referrer 付きの GET リクエストが確認できました． そのときは送信元アドレスを含むネットワークを whois で確認して ipfw で塞 いだのですが，昨晩確かめたところ別の IP アドレスから再び Referrer spam が確認できました．httpd-access.log を読んだところ，同じく広範囲からのア クセスでした．さらに困ったことに，あまりにアクセスが多いために httpd が ダウンしてしまいました． # 該当部分のログ: http://www.yaizawa.jp/refspam.txt 今まではすべて ipfw でアクセスを抑制するアプローチを取っていたのですが， ここまで DDoS 的に攻撃を受けると ipfw による対応は場当たり的でしかありま せん． そこで皆様にお聞きしたいのですが，悪質な Referrer spam への対策は皆様ど のように行っていますでしょうか． 是非とも参考にさせていただきたいと思っています． それでは失礼します． -- 藍澤 雄一郎 慶應義塾大学大学院政策・メディア研究科修士課程1年 清木康研究室 http://www.yaizawa.jp/ ちなみに，httpd が落ちるほどの spam なので一時的に tDiary を停止して，某 はてなに疎開せざるを得なくなってしまいました． From h-sbt ＠ nifty.com Wed Sep 8 13:18:14 2004 From: h-sbt ＠ nifty.com (SHIBATA Hiroshi) Date: Wed, 08 Sep 2004 13:18:14 +0900 Subject: [tDiary-users-talk: 0195] =?iso-2022-jp?b?UmU6IBskQjAtPEEbKEI=?= =?iso-2022-jp?b?GyRCJEobKEJSZWZlcnJlciBzcGFtGyRCJFgkTkJQOnYbKEI=?= In-Reply-To: <20040908115906.F809.YAIZAWA@yaizawa.jp> References: <20040908115906.F809.YAIZAWA@yaizawa.jp> Message-ID: <5EC4955ADBFF3Fh-sbt@nifty.com> こんにちは、柴田です。 >そこで皆様にお聞きしたいのですが，悪質な Referrer spam への対策は皆様ど >のように行っていますでしょうか． >是非とも参考にさせていただきたいと思っています． 私のサイトのWikiに情報を載せてありますので手前味噌ながら紹介します。 http://www.hsbt.org/hiki/hiki.cgi?ReferrerSPAM 今までは末尾に/が含まれない「http://www.ugahoge.com」というものだったの で、.htaccess等ではじくことが容易でしたが、数日前から「87.69-93-221. reverse.theplanet.com」で発生しているものは、末尾に/を付け、更にそれらし いサブディレクトリをリファラに設定しているので対処に困っています。 IPを直接denyするくらいしか方法はない物でしょうか。 -- SHIBATA Hiroshi mailto:h-sbt ＠ nifty.com URL http://www.hsbt.org/ From densuke ＠ fuga.jp Wed Sep 8 13:24:35 2004 From: densuke ＠ fuga.jp (Sato Daisuke) Date: Wed, 08 Sep 2004 13:24:35 +0900 Subject: [tDiary-users-talk: 0196] =?iso-2022-jp?b?UmU6IBskQjAtPEEbKEI=?= =?iso-2022-jp?b?GyRCJEobKEJSZWZlcnJlciBzcGFtGyRCJFgkTkJQOnYbKEI=?= In-Reply-To: <5EC4955ADBFF3Fh-sbt@nifty.com> References: <20040908115906.F809.YAIZAWA@yaizawa.jp> <5EC4955ADBFF3Fh-sbt@nifty.com> Message-ID: <87r7pd5qws.wl%densuke@fuga.jp> 佐藤です。 At Wed, 08 Sep 2004 13:18:14 +0900, SHIBATA Hiroshi wrote: > 私のサイトのWikiに情報を載せてありますので手前味噌ながら紹介します。 > > http://www.hsbt.org/hiki/hiki.cgi?ReferrerSPAM > > 今までは末尾に/が含まれない「http://www.ugahoge.com」というものだったの > で、.htaccess等ではじくことが容易でしたが、数日前から「87.69-93-221. > reverse.theplanet.com」で発生しているものは、末尾に/を付け、更にそれらし > いサブディレクトリをリファラに設定しているので対処に困っています。 > > IPを直接denyするくらいしか方法はない物でしょうか。 最近のreferer spamはいわゆるアダルトの類と思えないようなものまで含めて くるようになりました(ただしジャンプ先はアダルト関係になってる模様)。 このため、secureroot.orgとか言われても、どっかで確実にアダルト系用語を 出すので、それをaccess.logを監視するswatchによって検出し、iptablesで DROPするという外部ツール頼みのシステムを構築、テスト中です(テスト中に 限ってやってこないんですよね、相手(笑))。 本当ならtDiary内で完結する方法にしたいのですが、それは非常に難しいと感 じているのでこのような方法に出ています。でもこれをもう一歩すすめれば、ブ ロックをかけた時点で同一IPが送っていたrefererを*.tdrから削除し、キャッ シュも削除するという自動化も可能ではないかと思ってます。 動作を確認したところで、検出→ブロックのところであれば紹介できると思い ますが、ここでやっていいんでしょうか。 # はやくこいこいreferer spam(主旨違 -- 佐藤 大輔/densuke ＠ fuga.jp IMのスクリーンネームを知りたい方はご連絡ください(Y!/MSN) From tito ＠ ca.mbn.or.jp Thu Sep 9 06:57:33 2004 From: tito ＠ ca.mbn.or.jp (Takeshi ITOH) Date: Thu, 09 Sep 2004 06:57:33 +0900 Subject: [tDiary-users-talk: 0197] =?iso-2022-jp?b?UmU6IBskQjAtPEEbKEI=?= =?iso-2022-jp?b?GyRCJEobKEJSZWZlcnJlciBzcGFtGyRCJFgkTkJQOnYbKEI=?= References: <20040908115906.F809.YAIZAWA@yaizawa.jp> <5EC4955ADBFF3Fh-sbt@nifty.com> <87r7pd5qws.wl%densuke@fuga.jp> Message-ID: <20040909065733M.tito@ca.mbn.or.jp> はじめまして。 ウチには200〜400件程度で来ています。 tdiaryのURLはmod_rewrite/html_anchor.rb を使って /yyyymmdd.html 形 式で運用しているのですがspammer が叩いてくるURLは /?date=yyyymmdd です。一時期 html_anchor をインストールし忘れていたのでそのときの URL を拾ってきているのかなと思うのですが、*.html なURLを叩かれてい る方はいますか? 今のところ mod_rewrite を使って /?date=yyyymmdd などQUERY STRING を付けてきたリクエストを .html なURLにリダイレクトしています。そう すると普通のブラウザ/ロボットはリダイレクトを理解するので問題あり ませんが spammer はそれを無視するので tdiary の referrer には記録 されないようになりました。 一応こんな感じ。 RewriteEngine on RewriteBase /d/tito RewriteRule ^([0-9]+)\.html$ index.cgi?date=$1 [L] RewriteCond %{QUERY_STRING} ^date\=([0-9]+)$ RewriteRule index.html %1.html? [L,R=301] RewriteCond %{QUERY_STRING} .* RewriteRule index.html index.cgi *.htmlなページを叩かれるのも時間の問題かもしれませんし、一般に使え る手では無い気もしますが参考まで。 #アーカイブから references を拾っているのでスレッドが切れたらごめ #んなさい。 -- Takeshi ITOH From yaizawa ＠ yaizawa.jp Thu Sep 9 22:16:30 2004 From: yaizawa ＠ yaizawa.jp (Yuichiro AIZAWA) Date: Thu, 09 Sep 2004 22:16:30 +0900 Subject: [tDiary-users-talk: 0198] =?iso-2022-jp?b?UmU6IBskQjAtPEEbKEI=?= =?iso-2022-jp?b?GyRCJEobKEJSZWZlcnJlciBzcGFtGyRCJFgkTkJQOnYbKEI=?= In-Reply-To: <87r7pd5qws.wl%densuke@fuga.jp> References: <5EC4955ADBFF3Fh-sbt@nifty.com> <87r7pd5qws.wl%densuke@fuga.jp> Message-ID: <20040909220804.2A5E.YAIZAWA@yaizawa.jp> あいざわです． On Wed, 08 Sep 2004 13:24:35 +0900 Sato Daisuke wrote: > At Wed, 08 Sep 2004 13:18:14 +0900, > SHIBATA Hiroshi wrote: (snip) > > IPを直接denyするくらいしか方法はない物でしょうか。 (snip) > このため、secureroot.orgとか言われても、どっかで確実にアダルト系用語を > 出すので、それをaccess.logを監視するswatchによって検出し、iptablesで > DROPするという外部ツール頼みのシステムを構築、テスト中です(テスト中に > 限ってやってこないんですよね、相手(笑))。 やはり怪しい送信元を Firewall で落とす，という結論になりますか・・・．で は私も ipfw にがんばってもらうことにします． ところでログ (http://www.yaizawa.jp/refspam.txt) を見るとアクセスが HTTP 1.0 だったり HTTP 1.1 だったりするのが微妙に気になります．ひょっと して Referrer spam を行う worm が存在するのでしょうか・・・． -- 藍澤 雄一郎 慶應義塾大学大学院政策・メディア研究科修士課程1年 清木康研究室 http://www.yaizawa.jp/ From redbugml ＠ netlife.gr.jp Thu Sep 30 11:42:09 2004 From: redbugml ＠ netlife.gr.jp (T.Shimomura) Date: Thu, 30 Sep 2004 11:42:09 +0900 Subject: [tDiary-users-talk: 0199] =?iso-2022-jp?b?QW50aSBSZWZlcmVyIFNw?= =?iso-2022-jp?b?YW0gGyRCJVclaSUwJSQlcxsoQg==?= Message-ID: <20040930111129.369A.REDBUGML@netlife.gr.jp> T.Shimomura です。 Anti Referer Spam プラグインなるものをでっち上げてみました。 http://www.netlife.gr.jp/redbug/diary/?date=20040930 多分 tdiary 2.0.0 でないと動かないはずです。 （なぜか私のところでは昨日から tdiary.org にアクセスできないので、類似の プラグインの有無を含め、詳細を確認できてません） 私の手元でここ数日動かしてみた限りでは、１００％ブロックできています。 参考までに、「リンク元記録除外リスト」を空にした状態で、このプラグインを 使って今朝以降に拒否した URL の一覧を出しておきます。 http://www.netlife.gr.jp/spamurls2 動かしてみてコメントをもらえるとうれしいです。 Ruby のプログラムは書きなれてないのでソースが見苦しいのはご容赦ください。 よろしくお願いします。 -- T.Shimomura redbug ＠ netlife.gr.jp