newsgroupでのspamの排除
Takeshi SUYAMA
自己フォローです。
Googleで粘って探したところ，IMAP Spam Begoneというのが見つか
りました。
http://www.rogerbinns.com/isbg/
これは，Pythonで書かれたスクリプトです。IMAPでメールサーバへ
アクセスして，メールボックスにある新着のメールを取り出して，
SpamAssasinに渡して，spamであると判断したものは，自動的に削
除してくれるというものです。
こいつをcronで5分おきに実行するようにしたら，大幅にspamを減
らすことに成功しました。spamがメールボックスに来ないととても
快適です。
ところで，newsgroupのspamもひどいですが，皆さんどのような対
策をとられているのでしょうか。OSなどの環境にはこだわりません
ので，ご教示していただけると幸いです。
ということで，Followup-To: fj.news.readerにしました。
--
Takeshi Suyama mailto:tsu...@be.to
Yasushi Shinjo
In article <bhh9hf$f9b$1...@news-est.ocn.ad.jp>
Takeshi SUYAMA <tsu...@be.to> writes:
> ところで，newsgroupのspamもひどいですが，皆さんどのような対
> 策をとられているのでしょうか。OSなどの環境にはこだわりません
> ので，ご教示していただけると幸いです。
NoCeM とう道具があることは知っています。
http://www.cm.org/faq.html
http://www.nfilter.org/faq.html
NoCeM は、Unix の多くのニュース・リーダや Netscape が使って
いる .newsrc というファイルに対して働きます。本物のニュース・
リーダが働く前に、NoCeM を動かすと電子署名されたspam リスト
を調べて、spam記事を既読にしてしまうというものです。
どこの署名を信じるかなどの設定に関する敷居がちょっと高いのが
難点です。
> http://www.rogerbinns.com/isbg/
> これは，Pythonで書かれたスクリプトです。IMAPでメールサーバへ
> アクセスして，メールボックスにある新着のメールを取り出して，
> SpamAssasinに渡して，spamであると判断したものは，自動的に削
> 除してくれるというものです。
私は、電子メールでは、ベイズの定理を使ったフィルタを使ってい
ます。これは、spam が本当によく取れるので、助かっています。
http://www.h2.dion.ne.jp/~nabeken/bsfilter/
From: y...@is.tsukuba.ac.jp (Yasushi Shinjo)
Message-ID: <YAS.03Ju...@kirk.is.tsukuba.ac.jp>
Date: 26 Jul 2003 18:31:21 GMT
Newsgroups: fj.mail.system
それで思ったのですが、この bsfilter と同じような仕組みをニュー
スリーダに組込むか、事前に .newsrc で既読にしてしまうといい
んじゃないかと思いました。
あと、思ったのは、Slashcode 風に格付けするとか。spam記事には、
普通はフォローアップ記事は付かないので、フォローアップ記事が
付いている記事だけ読むようにするといいんじゃないかと。こうい
うことは、電子メールでは使えない技です。(電子メールの spam
にも、Re: が付いているものもあけれど、ベイズの定理の前には、
全然効いてません。)
＼＼ 新城 靖 （しんじょう やすし） ＼＼
＼＼ 筑波大学 電子・情報 ＼＼
Takeshi SUYAMA
フォローありがとうございます。
Yasushi Shinjoさんの<YAS.03Au...@kirk.is.tsukuba.ac.jp>から
>NoCeM とう道具があることは知っています。
>
>http://www.cm.org/faq.html
>http://www.nfilter.org/faq.html
>
>NoCeM は、Unix の多くのニュース・リーダや Netscape が使って
>いる .newsrc というファイルに対して働きます。本物のニュース・
>リーダが働く前に、NoCeM を動かすと電子署名されたspam リスト
>を調べて、spam記事を既読にしてしまうというものです。
英文なので，時間をとって，読んでみます。
# 小生の使っているDatulaにもnewsrcなるファイルがありましたの
# で，もしかしたら，使えるかも。
>それで思ったのですが、この bsfilter と同じような仕組みをニュー
>スリーダに組込むか、事前に .newsrc で既読にしてしまうといい
>んじゃないかと思いました。
それはいいアイデア。誰か，実装しないかな。
ところで，新城さんお勧めのbsfilterはたしかWanderlustから使え
るようなことがどこかのWebに書いてあったので，Wanderlust +
bsfilterでニュースを読めば，spamがなくなり快適に読めるように
なるかもしれません。今度，時間をとって，チャレンジしてみよう
と思います。
あと，個人的な意見を言わせてもらえば，Leafnodeにspamのフィル
タリング機能が追加できれば面白いと思いました。ニュースサーバ
からニュースをとってくると，SpamAssasinやbsfilterなどのspam
判定ソフトを使い，spamと判定されたものは，破棄してしまえばい
いわけです。
ブロードバンドが普及したおかげで，Leafnodeのようなソフトの出
番がなくなりつつあるので，どうせなら，spam対策用のソフトとし
て，復活すれば，面白いと思います。
メールのspam対策用のソフトはたくさんあるのに，ニュース用には
ほとんどないのが寂しいですね。やはり，newsgroup自体がはやら
なくなっているのかな。
Yasushi Shinjo
In article <bhi6ko$ts2$1...@news-est.ocn.ad.jp>
Takeshi SUYAMA <tsu...@be.to> writes:
> # 小生の使っているDatulaにもnewsrcなるファイルがありましたの
> # で，もしかしたら，使えるかも。
こんな形式のテキスト・ファイルなら、使えます。
news.group.name1: 1-5368
news.group.name2: 1-2978,3159
news.group.name3!
このように、.newsrc では、１つのニュース・グループの未読と既
読の情報が１行で表現されています。ニュース・グループの名前に
コロン「:」が付いているものは、サブスクライブされたものです。
「!」なものは、アンサブクスライブらされたものです。
その後ろには、読んだ記事の番号のリストが来ます。たとえば、
「1-5368」 は、記事番号1から5368までを読んだという意味です。
連続していない時には、コンマ「,」で区切られます。
この NoCem のための記事は、news.lists.filters や
fj.news.lists.filters にも出ていますが、あれがどのくらい信用
できるかという検証するのは、それはそれで大変なんです。
> ところで，新城さんお勧めのbsfilterはたしかWanderlustから使え
> るようなことがどこかのWebに書いてあったので，Wanderlust +
> bsfilterでニュースを読めば，spamがなくなり快適に読めるように
> なるかもしれません。今度，時間をとって，チャレンジしてみよう
> と思います。
Wanderlust は、IMAP や MH のフォルダですよね。大丈夫でしょう。
bsfilter のような、電子メールのフィルタの多くは、サーバに電
子メールが届いた瞬間に動くのが普通です。その時、spam かどう
かの判定をして、電子メールにマークを付けます。メール・リーダ
では、そのマークを見て、分類したり捨てたりします。場合によっ
ては、届いた瞬間に MH のフォルダに分類することもできます。
> あと，個人的な意見を言わせてもらえば，Leafnodeにspamのフィル
> タリング機能が追加できれば面白いと思いました。ニュースサーバ
> からニュースをとってくると，SpamAssasinやbsfilterなどのspam
> 判定ソフトを使い，spamと判定されたものは，破棄してしまえばい
> いわけです。
破棄してしまうのは、伝統的にはネットワーク・ニュースではあん
まり好まれていないと思います。一番の理由は、言論の自由の方が
大事で、下手に破棄を許してしまうと、いざと言うときに困る、と
いうことなんだと思います。言論の自由を守るなら、spamは些細な
問題という考え方です。
ニュース記事が届いた瞬間になんとかするというのは、INN という
サーバできます。サーバ単位なので、サーバ全体でこれはいる、こ
れは要らないという判断が一致していたらやりやすいでしょうか、
いろいろな意見の人がいるとできないでしょうね。それに、full
feed のように大量に記事をコピーしないといけない所では、とて
もそんな判断をやっていたら速度に追随できないのでしょう。
Takeshi SUYAMA
フォローありがとうございます。
Yasushi Shinjoさんの<YAS.03Au...@kirk.is.tsukuba.ac.jp>から
>こんな形式のテキスト・ファイルなら、使えます。
>
>news.group.name1: 1-5368
>news.group.name2: 1-2978,3159
>news.group.name3!
DatulaのWebにnewsrcのフォーマットの解説がありました。
http://www.onsystems.co.jp/DataFormat.txt
>【newsrcのフォーマット】
>newsgroup[!$:] serverRange localRange readRange,...
>
>!Monthly News
>$Weekly News
>:Daily News
>%New Groups
>
>serverRange サーバーにある記事番号の範囲。サーバー毎に違います。
> 「ニュースグループの一覧を得る」ですべてのニュースグループに
> ついて更新される。
> オンラインモードでニュースグループを選択すると更新される。
> 「ダウンロード」で対象のニュースグループについて更新される。
>localRange ダウンロードしたことのある記事番号の範囲。
> 「中身の削除」で0となる。
>readRange 既に読んだ記事番号の範囲。
> 「すべて読んだことにする」で、オンラインモードならserverRangeに、
> オフラインモードならlocalRangeの値と同じになる。
serverRangeとlocalRangeというものがあるので，微妙に.newsrcの
フォーマットとは違うのかもしれません。
ちなみに，DatulaではMonthly Newsというのはほぼアンサブクライ
ブと同じ意味ですので，!と:の使い方は同じようです。（なお，
Daily Newsはサブすくライブの意味です。）
>Wanderlust は、IMAP や MH のフォルダですよね。大丈夫でしょう。
WanderlustはIMAP，POP，MHといろいろなフォルダを取り扱えま
す。小生は，IMAPで利用しておりますが。MHフォルダを取り扱った
ことはありません。
ちなみに，Wanderlustからbsfilterを使うフロントエンドは
http://arika.org/tmp/wl-bsfilter/
にありました。まだ，試していないのですが。
>破棄してしまうのは、伝統的にはネットワーク・ニュースではあん
>まり好まれていないと思います。一番の理由は、言論の自由の方が
>大事で、下手に破棄を許してしまうと、いざと言うときに困る、と
>いうことなんだと思います。言論の自由を守るなら、spamは些細な
>問題という考え方です。
なるほど。そこまでは考えつかなかったです。でも，わたしは，
spamを読み続ける方がつらいかな。
>ニュース記事が届いた瞬間になんとかするというのは、INN という
>サーバできます。サーバ単位なので、サーバ全体でこれはいる、こ
>れは要らないという判断が一致していたらやりやすいでしょうか、
>いろいろな意見の人がいるとできないでしょうね。それに、full
>feed のように大量に記事をコピーしないといけない所では、とて
>もそんな判断をやっていたら速度に追随できないのでしょう。
一番いいのはプロバイダのnntp serverでbsfilterでフィルタリン
グして，ヘッダにspamの判定ヘッダを入れてくれるといいかもしれ
ないです。そして，spamを読みたくない人は，そのヘッダを基に
ニュース・リーダでフィルタリングすればいいし。
でも，遅路側，高性能なサーバでないと無理でしょうね。もし，こ
のようなサービスを提供してくれるなら，お金を払ってでも利用し
たいと思いますが。
Yasushi Shinjo
In article <bhp65a$isq$1...@news-est.ocn.ad.jp>
Takeshi SUYAMA <tsu...@be.to> writes:
> serverRangeとlocalRangeというものがあるので，微妙に.newsrcの
> フォーマットとは違うのかもしれません。
> ちなみに，DatulaではMonthly Newsというのはほぼアンサブクライ
> ブと同じ意味ですので，!と:の使い方は同じようです。（なお，
> Daily Newsはサブすくライブの意味です。）
NoCeM を使うには、NoCeM のプログラムを少しいじる必要があるか
もしれませんね。
> なるほど。そこまでは考えつかなかったです。でも，わたしは，
> spamを読み続ける方がつらいかな。
そうですか。私は、言論の自由の方がいいなあ。昨日、何の番組か
忘れましたが、テレビをつけたら日本の占領軍による７年間のマス
メディアにたいする検閲の話が出ていました。ああなるより、spam
の方がはるかにましだと思いました。
> 一番いいのはプロバイダのnntp serverでbsfilterでフィルタリン
> グして，ヘッダにspamの判定ヘッダを入れてくれるといいかもしれ
> ないです。そして，spamを読みたくない人は，そのヘッダを基に
> ニュース・リーダでフィルタリングすればいいし。
bsfilter のようなベイズの定理を使うものの場合、spam かどうか
の判定には、個人的なデータベースを使います。（電子メールのフィ
ルタリングも、他人のデータベースを使うとうまく判定できないこ
ともあります。）ですから、個人的なサーバということで、
DeleGate などの NNTP proxy を使ってそういうフィールドを追加
するといいんじゃないかと思いました。
nntpd <---> DeleGate <---> Client
|
spam判定データベース
そういう意味では、NoCeM も、proxy でできますね。
> でも，遅路側，高性能なサーバでないと無理でしょうね。もし，こ
> のようなサービスを提供してくれるなら，お金を払ってでも利用し
> たいと思いますが。
あるいは、そういうクライアントなりプロキシを作って、もうけるか。
NAKAMURA Kazushi
tsu...@be.to writes:
>あと，個人的な意見を言わせてもらえば，Leafnodeにspamのフィル
>タリング機能が追加できれば面白いと思いました。ニュースサーバ
>からニュースをとってくると，SpamAssasinやbsfilterなどのspam
>判定ソフトを使い，spamと判定されたものは，破棄してしまえばい
>いわけです。
>
>ブロードバンドが普及したおかげで，Leafnodeのようなソフトの出
>番がなくなりつつあるので，どうせなら，spam対策用のソフトとし
>て，復活すれば，面白いと思います。
innならperl script等を呼び出すhookが有ります。そうやって受け取った
不要な記事を保存する前に捨てるフィルタに cleanfeed 等が有ります。
正直な所、巨大な添付ファイル記事なんかだと、受け取った時点で負け
だと思うので、受け取る前にcancelして欲しいところ。そうすると
第三者cancel問題が…。
#お代官様を信用するか…、もしお代官様がmohta氏化してしまったら…。
--
中村和志＠神戸 <mailto:k...@kobe1995.net>
NAKAMURA Kazushi@KOBE <http://kobe1995.jp/>
- Be Free(BSD), or Die...
Takeshi SUYAMA
フォローありがとうございます。
NAKAMURA Kazushiさんの<0308190335...@ns.kobe1995.net>から
>innならperl script等を呼び出すhookが有ります。そうやって受け取った
>不要な記事を保存する前に捨てるフィルタに cleanfeed 等が有ります。
なるほど。がんばれば，SpamAssassinと組み合わせて，フィルタリ
ングできるかもしませんね。
# 小生の技術では，まず，無理だと思いますが。
# ところで，SpamAssassinって，newsgroupにも有効なのだろう
# か？
>正直な所、巨大な添付ファイル記事なんかだと、受け取った時点で負け
>だと思うので、受け取る前にcancelして欲しいところ。そうすると
たしかに，SpamAssassinだと，サイズの小さいメールを処理するの
でも，ものすごい負荷がかかります。巨大な添付ファイルのついた
記事だったら，どうなるのだろう。
Takeshi SUYAMA
フォローありがとうございます。
Yasushi Shinjoさんの<YAS.03Au...@kirk.is.tsukuba.ac.jp>から
>そうですか。私は、言論の自由の方がいいなあ。昨日、何の番組か
>忘れましたが、テレビをつけたら日本の占領軍による７年間のマス
>メディアにたいする検閲の話が出ていました。ああなるより、spam
>の方がはるかにましだと思いました。
NHKでやってたやつですよね。見ようと思ってたのに，見逃してし
まった。
>bsfilter のようなベイズの定理を使うものの場合、spam かどうか
>の判定には、個人的なデータベースを使います。（電子メールのフィ
>ルタリングも、他人のデータベースを使うとうまく判定できないこ
>ともあります。）ですから、個人的なサーバということで、
>DeleGate などの NNTP proxy を使ってそういうフィールドを追加
>するといいんじゃないかと思いました。
>
>nntpd <---> DeleGate <---> Client
> |
> spam判定データベース
>
>そういう意味では、NoCeM も、proxy でできますね。
bsfilerですと，個人毎にデータベースを作らなくてはならないか
ら，サーバの方で一括して処理するのは無理ですね。すると，やは
り，個人毎にやるひつようがあります。
だれか，DeleGateとspam対策ソフトを使い，newsgroupのフィルタ
リングをしている人はいないかどうか，Googleで探してみたのです
が，見つかりませんでした。
メールのspam対策は盛んですが，newsgroupのそれには，あまり，
注目されないみたいです。ちょっと悲しい。
>> でも，遅路側，高性能なサーバでないと無理でしょうね。もし，こ
>> のようなサービスを提供してくれるなら，お金を払ってでも利用し
>> たいと思いますが。
# うっ，「遅路側」とははずいぶんひどい誤変換。何という文字を
# 入力しようとしたのか思い出せない。
Hideo Sir MaNMOS Morishita
In article <0308190335...@ns.kobe1995.net>,
k...@kobe1995.net (NAKAMURA Kazushi) writes:
> #お代官様を信用するか…、もしお代官様がmohta氏化してしまったら…。
そんなに飲めません。
--
___ わしは、山吹色のかすてーらが大好きでのぅ
[[o o]] ふぉっふぉっふぉ
'J' 森下 お代官様 ＭａＮＭＯＳ 英夫＠ステラクラフト
PGP Finger = CD EA D5 A8 AD B2 FE 7D 02 74 87 52 7C B7 39 37
Yasushi Shinjo
In article <bhrqh5$u2q$1...@news-est.ocn.ad.jp>
Takeshi SUYAMA <tsu...@be.to> writes:
> bsfilerですと，個人毎にデータベースを作らなくてはならないか
> ら，サーバの方で一括して処理するのは無理ですね。すると，やは
> り，個人毎にやるひつようがあります。
電子メールの場合は、個人の方が精度が上がるという話です。ネッ
トワーク・ニュースの場合は、誰が鍛えても同じになる程度なら、
サーバ一括もありでしょう。ただ、鍛え方の合意が取れるかどうか
とか、検閲がらみの話が出てくるのが、個人でやるのと違う所てす。
> だれか，DeleGateとspam対策ソフトを使い，newsgroupのフィルタ
> リングをしている人はいないかどうか，Googleで探してみたのです
> が，見つかりませんでした。
私もまだ存在しないと思います。手が空いてきたらやってみたいけ
れど、誰かがやってくれたらそれでもうれしいてす。卒論くらいに
ちょうどいいかも。
In article <0308190335...@ns.kobe1995.net>
k...@kobe1995.net (NAKAMURA Kazushi) writes:
> innならperl script等を呼び出すhookが有ります。そうやって受け取った
> 不要な記事を保存する前に捨てるフィルタに cleanfeed 等が有ります。
これですか。
http://www.exit109.com/~jeremy/news/cleanfeed/
内部のアルゴリズムはどうなっていますか？
どのくらい資源を食いますか。CPUがこのくらいで１日何件さばけますか？
どのくらい間違って無実のものを止めることがありますか？
使ってみての感想などお聞かせ下さい。
> #お代官様を信用するか…、もしお代官様がmohta氏化してしまったら…。
ディジタル署名くらいはつけて欲しいですよね。