詞頻的影響力
Pofeng Lee
==================================================================
Subject: Re: tsi.src 已完成
From: Chih-Hao Tsai <hao...@yahoo.com>
Organization: Taiwan Linux User Group News Server
Date: Fri, 13 Oct 2000 14:20:56 -0500
To: xc...@tlug.sinica.edu.tw
Reply-To: xc...@linux.org.tw
thh...@linux.org.tw wrote:
>
>
> 不過現在面臨的問題是，如果遇到前後文語意模稄兩可時，如先前志浩兄提出
> 的「去市立療養院」的例子，可能造成誤判 .... so ....
大家都高估詞頻的影響力了......
Chen, Keh-jiann, Shing-Huan Liu
Word Identification for Mandarin Chinese Sentences
Proceedings COLING '92, pp.101-105, Nantes, France
這是 libtabe
裡用的斷詞演算法主要的參考來源（用了六個中的三
個）。原文中測了六種規則，詞頻是最後一個，而且不太有效。
目前的斷詞演算法主要還是靠詞長來運作的。四個規則的前三個都只
看詞長：第一個看語境的總長度（Chen & Liu
的第一個）、第二個
看平均詞長、第三個看詞長變異（Chen & Liu
的第二個）、最後一
個才看單字詞的字頻（Chen & Liu
的第五個）。長詞有其優勢，最
好是不要刪。引用一下原文：
"Principle for composing a lexicon: The lexicon should
contain as many as possible words. If there is a doubt
whether a string of characters is a word or a compound,
you can just collect it as an entry." (p. 102)
--
Chih-Hao Tsai | ICQ#5734422 | http://profiles.yahoo.com/hao520