Article Rating like Slashcode

[Yasushi Shinjo]

新城＠筑波大学情報です。こんにちは。

slashcode (slashdot で使われている perl のプログラム) 風に記
事の「格付け」をして表示してくれるようなニュースリーダはない
でしょうか？

slashcode が使っているアルゴリズムは、どうなっているんでしょ
うか？　フォローアップが付いたものの格付けが上がるようになっ
ているんですか？

ニュースリーダではなくても、オフラインで格付けして、記事への
参照を入れてくれてもいいかもしれません。そこまでやるなら、
slashcode のバックエンドに NNTP サーバを置いた方が早いのかも
しれませんね。

続きは、Followup-To: fj.news.reader でお願いします。

＼＼　新城　靖　（しんじょう　やすし）　＼＼
＼＼　筑波大学　電子・情報　　　　　　　＼＼

[Kawaguti Ginga]

川口です

<YAS.03Au...@kirk.is.tsukuba.ac.jp>の記事において
y...@is.tsukuba.ac.jpさんは書きました。

> slashcode (slashdot で使われている perl のプログラム) 風に記
> 事の「格付け」をして表示してくれるようなニュースリーダはない
> でしょうか？

どのようなアルゴリズムを利用可能かどうかは
(自分で使用していないので)ぜんっぜん知らないのですが
slrn は記事に対して 'score' という概念で格付けをして
ある程度ゴミ記事を読まなくてすむようにする機構があると
以前マニュアルで読んだ気がします．

お望みの路線なのかどうかは良く分かりませんが．
--
∧∧
Zzz.. (- - )⌒⌒⊇～ 川口 銀河
############## gi...@athena.club.ne.jp

[Yasushi Shinjo]

新城＠筑波大学情報です。こんにちは。

In article <bhlaj5$4as$1...@inb.m.ecl.ntt.co.jp>

gi...@athena.club.ne.jp (Kawaguti Ginga) writes:
> slrn は記事に対して 'score' という概念で格付けをして
> ある程度ゴミ記事を読まなくてすむようにする機構があると
> 以前マニュアルで読んだ気がします．

これですか。

http://slrn.sourceforge.net/docs/score.txt

これは、Killfile を偉くしたようなものですね。判定を 0/1 では
なくて、点数にしたのと、From: だけでなくて、Subject: とかも
見るとか。こんな感じ。

------------------------------------------------------------
[comp.os.linux.*]
Score: 20
Subject: SunOS

Score: 50
From: Linus

Score: -9999
Xref: advocacy
~From: Linus

Score: -9999
From: someone@who\.knows\.where
~Subject: gizmo
~Newsgroup: development
--------------------------------------------------------

記事単独での、無状態のフィルタですね。フォローアップなどは見
ていないので、少し弱い感じがします。slashcode は、フォローアッ
プ記事が付くとスコアが上がるように見えます。

ニュースグループをまたいでの格付けができても面白いでしょうね。

> お望みの路線なのかどうかは良く分かりませんが．

ネットワーク・ニュースでの議論なので、元記事を書いた個人の好
みは関係ありません。

[Noboru SAITO]

さいとう@OCNゆーざ(コード読んでないけど)です。

新城＠筑波大学情報さん wrote:

> ていないので、少し弱い感じがします。slashcode は、フォローアッ
> プ記事が付くとスコアが上がるように見えます。

スラッシュドットの投稿者の評価は、投稿者の記事数と
サーバへのアクセス数、あとはモデレータの評価でつく
はずです。
＃つまり記事をたくさん投稿し、たくさん読んでいて、
＃出した記事が参考になったりおもしろおかしかったり
＃する投稿者は高く評価される、と。

これを NetNews で反映させようとすると、
・マルチポストな spam も、たくさん投稿するという点
では Active な投稿者と同じように見える
・単純なアナウンス投稿や、フォローアップはつかない
けど参考になる記事の評価が低くなる
(スラッシュドットならそこで「参考になる」などの
モデレーションをつけられるわけで)
・ある 1 箇所のサーバに読みに行くわけではないので、
サーバのアクセス数というパラメータは使えない
・ある投稿に対する評価を与えるシステムはない
という違いがあると思います。

まあ、これを強引に似たような感じでやるとするなら、
ECP/EMP リストなどを拾ってきて、それにのっていない
記事の投稿者で、かつフォローアップとか投稿数とかが
ある一定数を越えた記事のみ表示する仕組みを作るとか、
以前あった vote なり desyo なりのようなもので、ある
NNTP-Web ゲートウェイサーバにアクセスしてもらって、
記事や投稿者の評価をアクセス者につけてもらうように
するとかいう方法になるんじゃないですかねえ。
で、そこの評価の結果を、ニュースリーダのフィルタの
形式でも提供すると。
＃でもそうなると、よほど好きな人じゃない限り Web の
＃方しか使わないだろうな。
--
＋Ｎ＋
西４東 さいとう のぼる<j0...@cocoa.ocn.ne.jp>
＋Ｓ＋

[Yasushi Shinjo]

新城＠筑波大学情報です。こんにちは。

In article <bhma1c$4l8$1...@news-est.ocn.ad.jp>
Noboru SAITO <j0...@cocoa.ocn.ne.jp> writes:
> さいとう@OCNゆーざ(コード読んでないけど)です。

> スラッシュドットの投稿者の評価は、投稿者の記事数と
> サーバへのアクセス数、あとはモデレータの評価でつく
> はずです。
> ＃つまり記事をたくさん投稿し、たくさん読んでいて、
> ＃出した記事が参考になったりおもしろおかしかったり
> ＃する投稿者は高く評価される、と。

なるほど。人間（モデレータ）の判断が入っている所が、一番効い
ていそうですね。

視聴率の方は、フォローアップ記事の数で評価できるかというと、
そうも行かない所が難しい所です。それで、みんなで「面白い記事
にだけ、フォローアップ記事を書くようにしよう」と決めて実践で
きると、だいぶ変ると思うんだけど。私は意識して、そうしていま
す。この間ややはまったのが、fj.news.net-abuse 。しょうもない
記事に餌をやってしまいました。

> 以前あった vote なり desyo なりのようなもので、ある
> NNTP-Web ゲートウェイサーバにアクセスしてもらって、
> 記事や投稿者の評価をアクセス者につけてもらうように
> するとかいう方法になるんじゃないですかねえ。

vote とか densyo というのは、どういうものですか？

私が知っているのは、arbitron だったかな、そういう名前の視聴
率調査プログラムです。これは、個人のホーム・ディレクトリから
.newsrc を掻き集めて、サイトごとに集計して電子メールであるサ
イトに送るというものでした。１０年数年前の話。NNTP が流行る
前の話です。NNTP が出てからこういう話は、.newsrc を使う方法
は、やりにくいですね。(当時、私は .newsrc を複数持っていて、
ニュース・リーダを並列に動かしていたりしたので、そういう人に
もあんまり効かなかった。)

INNでも、視聴率のようなものが毎日来ますが、あれはどのくらい
使えるかなあ。

> ＃でもそうなると、よほど好きな人じゃない限り Web の
> ＃方しか使わないだろうな。

同じ格付け結果を定期的にネットワーク・ニュースに流すとどうな
るでしょうか。

肯定的な話、明るい話を希望します。否定的な話は別に言っても言
わなくても同じだから。

[Yasushi Shinjo]

別のニュース・グループによい記事が出ていたので、転載します。

----------------------------------------------------------------------
From: chi...@ipc.kit.ac.jp (Tsukamoto Chiaki)
Newsgroups: fj.net.watch
Subject: Re: Article Rating like Slashcode
Date: Mon, 18 Aug 2003 00:01:23 +0900
Message-ID: <03081800012...@ims.ipc.kit.ac.jp>

# まあ, ヲチでしかないので.

この手の話は Big8 の方が深刻そうなので, news.groups でも
Subject: "Optional" Moderation という thread ができて
いたりします.

# 新城さんは読んでいたのかな. 単なる共時性?

news.groups の記事を読むのはちょっと疲れますが, 私は
Russ Allbery <r...@stanford.edu> さんの記事だけを読む
ということを実行しています.

In article <YAS.03Au...@kirk.is.tsukuba.ac.jp>

Yasushi Shinjo <y...@is.tsukuba.ac.jp> writes:
> vote とか densyo というのは、どういうものですか？

下郡さんでしたか. どうしていらっしゃるのかな. ところで
vote (dvote) という研究は Russ Allbery さんの所で行われて
いたのでありました.
--
千

[Yasushi Shinjo]

In article <03081800012...@ims.ipc.kit.ac.jp>

chi...@ipc.kit.ac.jp (Tsukamoto Chiaki) writes:
> この手の話は Big8 の方が深刻そうなので, news.groups でも
> Subject: "Optional" Moderation という thread ができて
> いたりします.

具体的に何というグループ、いつ頃の記事ですか？
news.groups には見つかりませんでした。
１つか２つ、面白い記事を転載してもらえませんか。

> vote (dvote) という研究は Russ Allbery さんの所で行われて
> いたのでありました.

行われていた、何？
どういう結果になりましたか？
結果の報告書はないんんですか？

[Tsukamoto Chiaki]

工繊大の塚本です.

# Russ Allbery さんヲチのススメが目的だったのでしたが.

In article <YAS.03Au...@kirk.is.tsukuba.ac.jp>
Yasushi Shinjo <y...@is.tsukuba.ac.jp> writes:

> 具体的に何というグループ、いつ頃の記事ですか？
> news.groups には見つかりませんでした。
> １つか２つ、面白い記事を転載してもらえませんか。

% From: "KalElFan" <KalE...@scifipi.com>
% Newsgroups: news.groups
% Subject: "Optional" Moderation
% Message-ID: <adB_a.8328$Z03.6...@news20.bellglobal.com>
% Date: Wed, 13 Aug 2003 21:03:51 -0400

から始まる thread で, 未だ続いているのではないかしらん. この
記事は読む意味は余りないでしょうから, 次のものを御参考までに.

-----<ここから>-----
From: Russ Allbery <r...@stanford.edu>
Newsgroups: news.groups
Subject: Re: "Optional" Moderation
Date: Wed, 13 Aug 2003 20:24:18 -0700
Message-ID: <87n0ecc...@windlord.stanford.edu>

KalElFan <KalE...@scifipi.com> writes:

> Yeah, to be clear it's exactly what I'm not talking about. The concept
> here is that you're a user and you subscribe to moderation, and you
> don't know and don't care how that sausage is made. You just want the
> crap cleared out, and it is.

This was exactly the problem that NoCeM was designed to solve. It didn't
catch on in part because implementing this securely proved to be somewhat
difficult, but more importantly because everyone wants to use a system
like this and no one wants to be the moderator. This is the same problem
that the GroupLens project ran into: everyone wanted to use the ratings,
but no one wanted to do the work to submit their own ratings.

After having watched a few projects like this start and fail, I don't
think the basic theory is the missing piece. I think the missing piece is
some way of making the communication between the moderators and the users
very lightweight, simple, easy to understand, and exceptionally easy for
the moderators to generate (ideally, nearly automatic). That's the place
that really needs a lot of work, and I personally don't have any brilliant
ideas about how to get there.

I think these sorts of systems have difficulty in part because they have a
built-in freeloader problem. It's a *lot* of work to do the moderation,
lots of users just benefit from it without having to do anything at all,
and it's very difficult to share the work in any fashion that doesn't end
up putting all the burden on a few people who get burned out and quit.
Regular moderation has this problem, and trying to extend that work to a
substantial number of unmoderated groups is far more work than is already
going into the maintenance of the existing moderated groups. Many of
which, recall, are dead because people burned out on being moderators.

People seem to badly underestimate the amount of work that goes into
moderating a group well enough for the results to be useful. It's not
like spam filtering. Usenet has almost no spam in the e-mail sense and
the spam that it does have is fairly easy to control if you want to do so
(there are lots of spam filters for news servers, people who issue
cancels, and so forth). Usenet has a harder problem, namely off-topic,
inflammatory, or just plain unuseful postings, and these are difficult to
classify, controversial, and require a lot of human work to filter out.
-----<ここまで>-----

thread の中にはやはり slrn が出てました.

> > vote (dvote) という研究は Russ Allbery さんの所で行われて
> > いたのでありました.
>
> 行われていた、何？

http://vote.stanford.edu/ というのが前世紀の終わりの数年間
(2000年の暮れまで)存在していました. Web に NetNews の記事が
表示されていて, それに賛否の投票をしたり, コメントを付けたり
できるようになっていた訳です.

> どういう結果になりましたか？

実験者の意識が NetNews の方よりも, Web に参加者が有用な link
を持ち寄ったり, 掲示板サイトとして参加者同士会話したりして,
共同体を作り上げる方に向いていたので, NetNews への批評サイト
としては十分に機能しなかったと言えるかも知れません.

ハンドルを記しての投票は参加者の共同体意識を内向きに強くした
が, NetNews の開放性とは背馳する部分があった, というのが私の
総括です.

留学の期限が来て, vote は終了. 会社に戻られて日本で, 共同体
として機能する商用の掲示板サイトを目指して desyo が作られま
したが, 2ch のような活況を呈するには至らず, こちらも終了.

> 結果の報告書はないんんですか？

ああ, 何かそのようなものを皆さん求めておられましたが, あれ,
結局どうなったのでしたか.

# 以上, 記憶力に欠陥のある, outsider からの報告でした.
--
塚本千秋@応用数学.高分子学科.繊維学部.京都工芸繊維大学
Tsukamoto, C. : chi...@ipc.kit.ac.jp

[Yasushi Shinjo]

新城です。

今の話題に興味がある人も多いかと思うので転載しておきます。
どういう意味でおススメなんでしょうね。

----------------------------------------------------------------------
From: chi...@ipc.kit.ac.jp (Tsukamoto Chiaki)
Newsgroups: fj.net.watch
Subject: Re: Article Rating like Slashcode

Date: Tue, 19 Aug 2003 00:27:24 +0900
Message-ID: <0308190027...@ims.ipc.kit.ac.jp>

In article <0308190019...@ims.ipc.kit.ac.jp>
Tsukamoto Chiaki <chi...@ipc.kit.ac.jp> writes:
> # Russ Allbery さんヲチのススメが目的だったのでしたが.

ヲチという意味では次のようなものがおススメ.

In article <87oeyqh...@windlord.stanford.edu>
Russ Allbery <r...@stanford.edu> writes:
% In article <0spqjvsqmuls9f07q...@4ax.com>
% Philip Deitiker <pde...@bcm.tmc.edu> writes:
% > Would it be possible to get the majority of News servers to agree
%
% No.
%
% It doesn't really matter what you put after that portion of the sentence.

--
千

[Yasushi Shinjo]

新城です。

In article <0308190019...@ims.ipc.kit.ac.jp>
chi...@ipc.kit.ac.jp (Tsukamoto Chiaki) writes:
> 工繊大の塚本です.

> % From: "KalElFan" <KalE...@scifipi.com>
> % Newsgroups: news.groups
> % Subject: "Optional" Moderation
> % Message-ID: <adB_a.8328$Z03.6...@news20.bellglobal.com>
> % Date: Wed, 13 Aug 2003 21:03:51 -0400
>
> から始まる thread で, 未だ続いているのではないかしらん. この
> 記事は読む意味は余りないでしょうから, 次のものを御参考までに.

あ、やば。うちのサーバに news.group の記事が全然届いていませ
ん。よく見ると、クロスポストされたものだけだ。

> From: Russ Allbery <r...@stanford.edu>
> Newsgroups: news.groups
> Subject: Re: "Optional" Moderation
> Date: Wed, 13 Aug 2003 20:24:18 -0700
> Message-ID: <87n0ecc...@windlord.stanford.edu>
> This was exactly the problem that NoCeM was designed to solve. It didn't
> catch on in part because implementing this securely proved to be somewhat
> difficult, but more importantly because everyone wants to use a system
> like this and no one wants to be the moderator. This is the same problem
> that the GroupLens project ran into: everyone wanted to use the ratings,
> but no one wanted to do the work to submit their own ratings.

みんな moderator が厳選した記事を読みたいけれど、誰も
moderator にはなりたくない。
GroupLens って何なんでしょうね。

> After having watched a few projects like this start and fail, I don't
> think the basic theory is the missing piece. I think the missing piece is
> some way of making the communication between the moderators and the users
> very lightweight, simple, easy to understand, and exceptionally easy for
> the moderators to generate (ideally, nearly automatic). That's the place
> that really needs a lot of work, and I personally don't have any brilliant
> ideas about how to get there.

足りないものは、理論じゃなくて、moderator とユーザの間のやり
とりを軽く、理解しやすくすること。moderator には格別に簡単に。
やるべきことはあるけど、まだいいアイディアは浮かばない。

fj.news.readers の話も、こんな感じ。そんなに負けていませんね。
fj の場合、状況が少し違うのは、どちらかというと記事を増やす
という話も重要だということでしょうか。

> I think these sorts of systems have difficulty in part because they have a
> built-in freeloader problem. It's a *lot* of work to do the moderation,
> lots of users just benefit from it without having to do anything at all,
> and it's very difficult to share the work in any fashion that doesn't end
> up putting all the burden on a few people who get burned out and quit.
> Regular moderation has this problem, and trying to extend that work to a
> substantial number of unmoderated groups is far more work than is already
> going into the maintenance of the existing moderated groups. Many of
> which, recall, are dead because people burned out on being moderators.

moderator が便利なのはみんな分かっているんだけど、たいへんな
ので燃え尽きちゃう。

> People seem to badly underestimate the amount of work that goes into
> moderating a group well enough for the results to be useful. It's not
> like spam filtering. Usenet has almost no spam in the e-mail sense and
> the spam that it does have is fairly easy to control if you want to do so
> (there are lots of spam filters for news servers, people who issue
> cancels, and so forth). Usenet has a harder problem, namely off-topic,
> inflammatory, or just plain unuseful postings, and these are difficult to
> classify, controversial, and require a lot of human work to filter out.

spam を弾くのは、比較的簡単だ。残っている難しい問題は、しょ
うもない記事を弾いたりすることで、それには人手がかかる。

> > > vote (dvote) という研究は Russ Allbery さんの所で行われて
> > > いたのでありました.

> 実験者の意識が NetNews の方よりも, Web に参加者が有用な link
> を持ち寄ったり, 掲示板サイトとして参加者同士会話したりして,
> 共同体を作り上げる方に向いていたので, NetNews への批評サイト
> としては十分に機能しなかったと言えるかも知れません.

内向きの共同体か。fj.net.watch は、共同体になるのかなあ。

fj の問題は、USENET とはちょっと違うかもね。記事が少ないと
rating のしようもないから、まず記事を増やすというのが fj の
課題なので。

[Yasushi Shinjo]

新城＠筑波大学情報です。こんにちは。

ZDNet に、次のような記事を見つけました。面白かったです。

http://www.zdnet.co.jp/news/0308/21/ne00_smith.html
いかにして“大海から針を探す”か？――MSの社会学的アプローチ
ZDNN 2003年8月21日　04:45 PM 更新

マイクロソフトが社会学者を雇って Usenet の記事を研究している
という話です。Slashdot での、編集者と視聴率を使う方法とは違っ
て、記事だけからなんとかしようとしているみたいです。

スレッドに注目している所が面白いですね。

Usenet 年間で、ユニークな From: の数が 1310万 で、50万台のサー
バで、1投稿者に10人読者として1億3000万人の参加者ということで
す。sapm を除いて。3分の2が、一度記事を書いてそれっきりだそ
うです。

投稿数の多い(期間は日、週、月、年など) 40のスレッドを調べて、
高い価値をもったスレッドを見つけ出す研究をしているようです。
それには、個人に着目して次のような指標を使っているようです。

・(ニュースグループに参加した日数)
・返信の率(他人の投稿に返信した回数とスレッドを立ち上げた回数の比率)
・参加したスレッドの数
・投稿した記事の数

それで、ユーザを次のように分けるようです。

荒し屋
投稿数に対する返信の比率が高い
投稿した記事の数に対する参加したスレッド数の比率が低い
質問に答えてくれる常連
荒し屋の逆

こうして、本当に熱心に答えてくれる人々を探す案内をしようとい
うことのようです。プライバシの問題をどう扱うかという課題があ
るようです。

いい記事（スレッド）を探してきて提示できるニュースリーダとい
うのも、この技術でなんとなく作れそうですよね。さらにこの指標
を逆に使って、明示的に常連を作り出すといい記事（スレッド）を
増やして、fj の魅力をあげることに使えるんじゃないかと思いま
した。

[Yasushi Shinjo]

新城です。ちょっと捕捉。

前の記事で書いた

In article <YAS.03Au...@kirk.is.tsukuba.ac.jp>

y...@is.tsukuba.ac.jp (Yasushi Shinjo) writes:
> http://www.zdnet.co.jp/news/0308/21/ne00_smith.html
> いかにして“大海から針を探す”か？――MSの社会学的アプローチ
> ZDNN 2003年8月21日　04:45 PM 更新
> マイクロソフトが社会学者を雇って Usenet の記事を研究している
> という話です。

この実践例として NetScan というシステムの話が出てきますが、
それはたぶん次のサイトのことです。

http://netscan.research.microsoft.com/

2003年6月分まではデータがあって、fj も入っていますが、例によっ
て MIME の漢字が表示されません。

http://netscan.research.microsoft.com/Static/default.asp?timespan=m&searchfor=fj.&searchdate=6%2F30%2F2003

> こうして、本当に熱心に答えてくれる人々を探す案内をしようとい
> うことのようです。プライバシの問題をどう扱うかという課題があ
> るようです。

個人ごとのデータも簡単に取り出せるようになっていますね。

検索エンジン作りたいんですかね。ニュースリーダの方がいいと思
うんだけど。