.中文自动分词.全文检索.统计工具

[Les Pauvres]

由南京师范大学语言科技研究所开发的"中文自动分词.全文检索.统计工具"的升级版已正式发布,请大家试用,并多提宝贵建议.

本系统具备中文自动分词、全文检索、统计等基本功能，具体介绍如下：
1、中文自动分词
1）能对给定的中文文本进行自动分词、词性一级、词性二级标注；
2）支持大批量文本的自动分词及词性标注处理，可处理各级子文件夹下的文件；
3）能根据待分词及标注文本的类别，加挂用户自定义词典，进一步提高分词和标注的精确度；
4）用户可对系统词典进行扩展，可添加、删除、查看系统词典，可将系统词典输出为TXT文本编辑后再转换为系统用的电子词典；
5）支持人名、地名、机构名等未登录词识别，支持基于GBK字符集的简、繁体文本的处理。
2、全文检索
1）能对给定的大批量文本分别建立基于字、词、词及词性的三种索引库；
2）打开相应的索引库后，可进行字串、词串、词及词性串的全文检索；
3）能显示检索结果的出处，点击后可自动打开对应的文本，进行具体的查阅；
4）支持语言学属性的全文检索，可控制检索串中字串的前后搭配及范围；
5）能控制检索结果中关键字串前后显示的字数并对结果中的查询关键字串以红色或蓝色显示。
3、统计
1）可对大批量文本进行字频、词频统计，可处理各级子文件夹下的文件；
2）对统计结果，提供基于字符码表、频率、拼音、部首四种方式的排序显示；
3）能对指定文件夹及子文件夹下的所有的TXT文本文件进行词频统计（对未分词文本可边自动分词边统计或对已分词并经人工校对的文本进行词频统
计）；
4）词频统计对象不是基于词表的词才统计，而是将分词结果中所有的词进行词频统计；
5）可对统计、检索结果进行编辑并保存为TXT或RTF格式的文件。