조사로 끝나는 짧은 텍스트의 형태소 분석 이슈

173 views
Skip to first unread message

조정호

unread,
May 9, 2019, 10:05:41 PM5/9/19
to 은전한닢 프로젝트
조사로 끝나는 짧은 텍스트의 경우 형태소 분석이 잘 이루어지지 않는 것 같습니다.

"반지의 제왕"을 형태소 분석하면 "반지", "의", "제왕"으로 분석됩니다만,
"반지의"를 형태소 분석하면 "반"과 "지의"로 분석됩니다.

v1.6.1 사전에서는 "반지"와 "의"로 분석이 되는데
v2.1.1 사전을 사용하면 "반"과 "지의"로 분석됩니다.

"반지의" 끝에 "반지의;"와 같이 무의미한 기호를 넣으면 "반지"와 "의"로 분석되긴 하는데요.
아무래도 조사보다는 명사의 우선도가 높아서 그러지 않을까 싶습니다...

위와 같은 방법 말고 "반지의"를 "반지"와 "의"로 분석되게끔 할 수 있는 방법이 없을까요?

※ 사용자 사전에 "반지의"를 등록하려고 했는데 "명사+조사"는 등록이 안되어 포기했고,
"반지"의 우선도를 높이면 되긴합니다만 "반지의"에 대해서만 적용되기 때문에 이 방법은 아니라고 판단되었습니다
("반지의"와 비슷한 사례로 "반구의", "반장의" 등에 대해서는 적용이 안됩니다).

유영호

unread,
May 10, 2019, 12:35:41 AM5/10/19
to 은전한닢 프로젝트
"반" + "지의" 로 분석될 때 형태소는 어떻게 되나요?

조정호

unread,
May 12, 2019, 8:23:39 PM5/12/19
to 은전한닢 프로젝트
"반지의"만 분석시 둘다 일반명사(NNG)로 분석됩니다.

반지의
     NNG,*,T,반,*,*,*,*
지의    NNG,*,F,지의,*,*,*,*
EOS

원하는 건 아래와 같이 명사 "반지"와 조사 "의"로 나뉘는 겁니다.

반지의제왕
반지    NNG,*,F,반지,*,*,*,*
     JKG,*,F,의,*,*,*,*
제왕    NNG,*,T,제왕,*,*,*,*
EOS


끝에 ";"로 붙이면 원하는 대로 명사 "반지"와 조사 "의"로 분석됩니다.

반지의;
반지    NNG,*,F,반지,*,*,*,*
     JKG,*,F,의,*,*,*,*
;       SY,*,*,*,*,*,*,*
EOS

Reply all
Reply to author
Forward
0 new messages