mecab을 이용한 개체명 인식

[Bhang kiduck]

mecab처럼 좋은 엔진을 알게 된지 얼마되지 않았습니다.

한국어 사전은 어찌 만들어야 하나 걱정하던 차에 은전한닢 프로젝트를 알게 되어 감사할 따름입니다.

회사에서 보유하고 있는 지식 기반의 형태소 분석기가 있습니다만, 개체명 인식기가 필요하던 차에 mecab을 이용하면 형태소 분석기와 

개체명 인식을 함께 수행해 볼 수 있겠다는 생각이 드네요.

궁금한 점은 의미부류가 두가지 밖에 보이지 않던데 개체명 인식에 활용도가 높은지 경험을 좀 여쭈어 봅니다.

사실 아직 설치 조차 안해보고 문의 드립니다 ^^;

[유영호]

말씀하신대로 저희가 학습에 사용한 의미부류는 두가지(인명, 지명)입니다.

사전에 의미부류를 추가해서 분석에 사용할 수 있을 것 같긴합니다. 하지만 분석 자체에 영향을 주는 방식이 아니라 동음이의어를 구분해 내지는 못합니다.

배(음식), 배(탈것), 배(동물)와 같은 경우 이 세가지를 분류가 불가능합니다. 이러한 케이스가 문제가 안된다면 사전에 추가해서 분석하는 것을 추천드립니다. 또는 분석 후 후처리로 의미부류를 부여해도 좋을 것 같습니다.

다음 방법으로 mecab 학습을 다시 하는 방법이 있습니다. 말뭉치에 의미부류를 넣은체로 학습을 한다면 동음이의어에 대해서 분류를 해줄 가능성이 있습니다. 하지만 그러한 말뭉치는 없고, 다시 만드는 것은 기술이 아닌 노동인지라 단시간에는 불가능해 보입니다.

여기까지가 저의 생각인데.. 다른 방법이 있을까요? 

[Bhang kiduck]

제 경우에는 자연어 처리 영역이 일반 영역이 아니라 특정 영역이라 중의성에 대해서는 조금 자유로운 편이라서 mecab을 개체명 인식에 활용할까 생각해 보게 되었습니다.

자체 형태소 분석기를 통해서 키워드를 분리해 내고 분리된 키워드를 mecab에서 개체명 분석해 보는 형태로 생각하고 있습니다.

mecab 사전은 사용할 핵심어들로만 사전을 구성해서 빠른 속도로 검색할 수 있도록 해야 할 것 같구요.

또, 동음 이의어에 대해서는 기분석 사전을 활용하는 방법도 있는지 나중에 한번 검토해 보고 싶습니다.

mecab이 지식 기반이 아닌 확률기반이라 기본 사전에는 배(음식)로 기분석 사전에는 배(탈것)으로 다르게 등록하고 활용할 수 있는지 모르겠습니다.

이건 혼자만의 상상입니다. ^^

[유영호]

1. 자체 형태소 분석기에서는 사전 구성시 추가적인 정보(의미부류)를 넣지 못하나요? 2차적으로 다른분석기(mecab)를 사용해야 하나요?

2. 말씀하신대로 1차적으로 자체 형태소분석기를 사용해 키워드를 분리 할꺼라면, 2차적으로는 단순히 java의 map과 같은 STL로 사전을 구성해서 태깅하면 안되나요?

그냥 궁금하네요. ㅎ

[최경일]

발화의도 프로젝트의 형태소 분석기로 메카브를 사용해 봤습니다.
메카브 딕셔너리를 다시 컴파일하는 것보다
따로 래퍼 클래스를 정의해서 사용하는 것이 더 수월했습니다.
딕셔너리를 수정해도 생각한대로 원하는 결과가 잘 안나와서...
인식하려는 개체명의 복잡성에 따라 다를 것 같습니다.

[Bhang kiduck]

자체 형태소 분석기를 제가 개발한 것이 아니라 분석하고 추가하기가 너무 어려운 부분이라 일단 빠른 결과물을 위해서 대안을 찾고 있습니다 ^^

할 수 있는 선에서 시도해 보니 분석이 잘 안되더군요.

제가 이 분야 일을 시작한지 얼마되지 않아 어떤 솔루션이 있는지 잘 모릅니다.

좋은 솔루션이 있으시면 소개 좀 부탁드립니다.

자바 Map이 어떤 건지 우선 알아봐야겠네요 ^^;

[Bhang kiduck]

아직 한정된 영역에서 사용하는 목적이라 복잡하지는 않습니다.

알려 주신 내용 참고해서 작업해 보도록 하겠습니다 ^^