【神戸大石川研究室】分類語彙表に基づく特徴意味タグ自動抽出ツールJWLSP-KTANリリース

[Shin ISHIKAWA]

ML各位（クロスポストお許しください）

お世話になっております。
石川＠神戸大です。

拙研究室では、過去に以下のオンラインツールをリリースしてきました。

〇2024年：統合語彙表自動作成ツール「EJWFTG」（個々のファイルごとに単語頻度を一覧できる統合頻度表を作成）https://bit.ly/EJWFTG-V2

〇2025年：特徴語自動抽出ツール「EJTKAN」（2種のテキストファイルを比較し、一方で統計的に有意に出現する語のリストを作成）https://bit.ly/EJTKAN

今般、上記の姉妹ツールとして、新しく 「JWLSP-KTAN」 をリリースします。

これは、 入力された2種のテキストファイル（※日本語限定）に含まれる単語を「分類語彙表」のコードと紐づけ、コード頻度に対して統計的比較を行い、一方で顕著に出現するタグのリストを自動で抽出します。

〇使用例
・Ａ新聞とＢ新聞の社説などを比較し、片方で典型的に出現する意味分野を把握

・2010年代、2020年代の小説などを比較し、片方で典型的に出現する意味分野を把握

・同じトピックで初級と上級の（or母語の異なる）L2学習者が産出した作文を比較し、双方が陳述しやすい意味内容を推定、など。

〇アクセス
https://x.gd/5qZHx

〇説明
・コーパス言語学では、ターゲット(Target)データおよび参照(Reference)データを比較し、ターゲット側に顕著に多く（または少なく）出現する語を「特徴語」(keyword)と呼びます。筆者の研究室では、2025年に、特徴語検索をオンラインで実行できるようにしたEnglish/Japanese Text Keyword Analyzer (EJTKAN)を開発・公開しています。

・特徴語分析の発想は、個別語だけでなく、語の持つ意味に対して適用することも理論的に可能です。たとえば、ターゲットテキストに、「カレー」「刺身」「天ぷら」といった語がいくつか出ていたとして、個々の語を単独で数えれば特徴語になっていなくても、これらすべてに「料理」という意味タグを与え、意味タグの単位で頻度を比較すれば、「料理」はターゲット側の特徴的な意味タグ(key semantic tag)になっているかもしれません。

・個々の語に意味タグを与えるには、何らかの基準が必要です。本ツール―Japanese WLSP Key Tag Analyzer (JWLSP-KTAN)―は、約95,000語のデータを包含する国立国語研究所（2003）の『分類語彙表（増補改訂版）』に基づき、意味タグを決定し、ターゲット側に顕著に多く（または少なく）出現する特徴的意味タグを自動で抽出します。

・特徴的意味タグは、『分類語彙表』の構造に基づいて、「類」「部門」「中項目」「分類項目」の4層で出力されます。このほか、参考として特徴品詞の情報が出力されます。

・特徴度（keyness）の尺度としては、EJTKANと同様、各種の統計量（カイ二乗値、対数尤度比、ベイズ因子など）および効果量（オッズ比、リスク比、LogRatio他）を出力します。デフォルトでは、対数尤度比統計量（LLR, 4-term）が、有意水準5%（多重比較補正なし）に相当する3.84以上になるものを出力しますが、Step 2で「コードの表示」を押し、llr_filter = 3.84の値を変更することも可能です。

・本ツールは、UniDic辞書に基づき形態素解析を行い、UniDicの出力に含まれる語彙素番号と、「分類語彙表番号－UniDic語彙素番号対応表」（近藤・田中, 2020）を紐づけて、 語彙素ごとに、該当する類、部門、中項目、分類項目の情報を取得しました（品詞はUniDic出力から直接取得）。なお、語彙素番号が複数の分類語彙表番号と紐づく場合は、便宜的に分類語彙表番号の最も小さなもののみを代表として集計しました。ただし Step 3の出力結果ではすべての分類語彙表番号が出力されるので、必要に応じて詳しい分析が可能です。

・本ツールではさらに、複数短単位版「分類語彙表番号-UniDic」対応表を用いて、Unidic で 2短単位となる「努力する」などの単語に対しても分類語彙表番号を付与しています。この際、付与は最初の形態素（先ほどの例では「努力」）に対して行い、集計時にはこの分類番号を代表として集計しています。また、Step 3 の出力結果では分類語彙表番号の前に ++ が表示されます。

・分析結果はエクセル(xlsx)形式でダウンロードが可能で、自由に加工することができます。各尺度の計算式については、EJTKANサイトからダウンロードできる EJTKAN Calculation Sheetでご確認ください。

・出力については誤りのないよう留意しておりますが、出力結果の正確性についての保証はいたしておりません。各自の責任でご利用ください。なお、JWLSP-KTANでは、EJTKANと同様に日本語の「補助記号」「空白」「数詞」と一部の記号（〜）は分析対象から除外しています。

・注意点として、分析するテキストに、連番コードやリスト記号などの文字が入っていた場合、それぞれ１個の語とみなされます（例：「A123B」→「A」と「B」という語として、「(あ)…(い)…」→「あ」と「い」という語としてそれぞれ処理）。こうしたデータを処理する場合は、アップロード前に置換などで該当の文字を削除しておくことを推奨します。

・本ツールの開発は、名古屋大学名誉教授田島毓堂先生が提唱される「意味分野別構造分析法」（Structural Anarysis of Vocabulary with Special Reference to Semantic Categories：SAV法）に触発されたものです。田島先生は、「語彙総体論」に基づく「比較語彙論」の中核をなすSAV法について、個々の語を意味の一覧表に配当してコードを付け、コードごとに集計して任意の語彙の意味分野別構造を明らかにした後、他の語彙についても同様の分析をして両者を比較し、共通点と相違点を見つけ、その背景を考察する方法であると述べておられます（田島, 1994; 1999）。本ツールは、SAV法の入り口部分の処理を自動化することを目指したものです。

〇使用方法
(0) 事前にgoogleのアカウントにログインしておく
(1) ターゲットコーパスとして、日本語ファイル（１つでもよいし複数でもよい）をアップロード
(2) 参照コーパス（※比較相手）として、日本語ファイル（１つでもよいし複数でもよい）をアップロード
※すべてUTF-8にしておくこと
(3) 自動で形態素解析が行われ、分類語彙表コードと紐づけを行い、分析結果がExcelで出力される
(4)タグ付け後のテキストファイルをDLすることも可能

※β版での公開です。ご使用になられてお気づきの点などございましたらおしらせくださいませ。

__________________________

石川 慎一郎

神戸大学 教授
Dr Shin ISHIKAWA (he/his)
Professor, Kobe University
iskw...@gmail.com