named entity recognition in russian
83 views
Skip to first unread message
shurik...@gmail.com
Jun 21, 2017, 11:49:51 PM6/21/17
to pymorphy
Добрый день!
Можно ли как-нибудь получить названия географических объектов из текста на русском языке? То есть фактически иметь named entity recognition на русском?
Спасибо,
Александр
Yuri Baburov
Jun 22, 2017, 3:21:59 AM6/22/17
to pymo...@googlegroups.com
Привет,
1) В pymorphy есть флаг Geox для гео-названий.
2) Для большего охвата, бери гео-словарь и сравнивай. Словарь можно
взять от geonames.org или из любой другой базы.
В любом случае будет один недостаток -- во фразе "Владимир Путин"
может найти город Владимир, аналогично с первыми словами в
предложении.
А во фразе "Того не зная сам, увидел он Вьетнам" -- найдёт город Того
и страну Вьетнам.
> --
> Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес pymorphy+u...@googlegroups.com.
> Чтобы настроить другие параметры, перейдите по ссылке
> https://groups.google.com/d/optout.
--
Best regards, Yuri V. Baburov, Skype: yuri.baburov
1) В pymorphy есть флаг Geox для гео-названий.
2) Для большего охвата, бери гео-словарь и сравнивай. Словарь можно
взять от geonames.org или из любой другой базы.
В любом случае будет один недостаток -- во фразе "Владимир Путин"
может найти город Владимир, аналогично с первыми словами в
предложении.
А во фразе "Того не зная сам, увидел он Вьетнам" -- найдёт город Того
и страну Вьетнам.
> Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес pymorphy+u...@googlegroups.com.
> Чтобы настроить другие параметры, перейдите по ссылке
> https://groups.google.com/d/optout.
--
Best regards, Yuri V. Baburov, Skype: yuri.baburov
Alexandr Kuzmin
Jun 22, 2017, 6:54:14 AM6/22/17
to pymo...@googlegroups.com
Спасибо большое!
On Jun 22, 2017 3:22 AM, "Yuri Baburov" <bur...@gmail.com> wrote:
Привет,
1) В pymorphy есть флаг Geox для гео-названий.
2) Для большего охвата, бери гео-словарь и сравнивай. Словарь можно
взять от geonames.org или из любой другой базы.
В любом случае будет один недостаток -- во фразе "Владимир Путин"
может найти город Владимир, аналогично с первыми словами в
предложении.
А во фразе "Того не зная сам, увидел он Вьетнам" -- найдёт город Того
и страну Вьетнам.
2017-06-22 10:49 GMT+07:00 <shurik...@gmail.com>:
> Добрый день!
>
> Можно ли как-нибудь получить названия географических объектов из текста на
> русском языке? То есть фактически иметь named entity recognition на русском?
>
> Спасибо,
> Александр
>
> --
> Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес pymorphy+unsubscribe@googlegroups.com.
> Чтобы настроить другие параметры, перейдите по ссылке
> https://groups.google.com/d/optout.
--
Best regards, Yuri V. Baburov, Skype: yuri.baburov
--
Вы получили это сообщение, так как подписаны на группу "pymorphy".
Чтобы отменить подписку на эту тему, перейдите по ссылке https://groups.google.com/d/topic/pymorphy/3yj5atWW5sI/unsubscribe.
Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на электронный адрес pymorphy+unsubscribe@googlegroups.com.
Настройки подписки и доставки писем: https://groups.google.com/d/optout.
nikita.b...@gmail.com
Dec 2, 2017, 5:40:00 PM12/2/17
to pymorphy
Лангкави в винительном падеже выдает Лангкавившего. Вегаса - Вегасшего. Лол. Это можно как-то исправить?
четверг, 22 июня 2017 г., 6:49:51 UTC+3 пользователь shurik...@gmail.com написал:
четверг, 22 июня 2017 г., 6:49:51 UTC+3 пользователь shurik...@gmail.com написал:
nikita.b...@gmail.com
Dec 2, 2017, 5:46:44 PM12/2/17
to pymorphy
Opencorpora я об этом написал.
Это тема названий географических объектов в разных падежах. Пример еще раз. Для "Лангкави" в качестве винительного падежа Pymorphy2 предлагает "Лангкавившего", а для "Вегас" родительный - "Вегаснувшего". Это какая-то системная ошибка?
Спасибо,
Никита
воскресенье, 3 декабря 2017 г., 1:40:00 UTC+3 пользователь nikita.b...@gmail.com написал:
Yuri Baburov
Dec 4, 2017, 6:20:22 AM12/4/17
to pymo...@googlegroups.com
А вы получаете предсказание или это в словаре неправильное слово?
> --
> Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес pymorphy+u...@googlegroups.com.
> Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
Никита Бобровский
Dec 4, 2017, 7:42:53 AM12/4/17
to pymo...@googlegroups.com
предсказание, судя по всему, там куча таких слов, очень много городов коверкаются, стыдище.
4 декабря 2017 г., 14:20 пользователь Yuri Baburov <bur...@gmail.com> написал:
А вы получаете предсказание или это в словаре неправильное слово?
2017-12-03 5:46 GMT+07:00 <nikita.b...@gmail.com>:
> Opencorpora я об этом написал.
> Это тема названий географических объектов в разных падежах. Пример еще раз.
> Для "Лангкави" в качестве винительного падежа Pymorphy2 предлагает
> "Лангкавившего", а для "Вегас" родительный - "Вегаснувшего". Это какая-то
> системная ошибка?
>
> Спасибо,
> Никита
>
> воскресенье, 3 декабря 2017 г., 1:40:00 UTC+3 пользователь
> nikita.b...@gmail.com написал:
>>
>> Лангкави в винительном падеже выдает Лангкавившего. Вегаса - Вегасшего.
>> Лол. Это можно как-то исправить?
>>
>> четверг, 22 июня 2017 г., 6:49:51 UTC+3 пользователь shurik...@gmail.com
>> написал:
>>>
>>> Добрый день!
>>>
>>> Можно ли как-нибудь получить названия географических объектов из текста
>>> на русском языке? То есть фактически иметь named entity recognition на
>>> русском?
>>>
>>> Спасибо,
>>> Александр
>
> --
> Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес pymorphy+unsubscribe@googlegroups.com.
> Чтобы настроить другие параметры, перейдите по ссылке
> https://groups.google.com/d/optout.
--
Best regards, Yuri V. Baburov, Skype: yuri.baburov
--
Yuri Baburov
Dec 4, 2017, 9:00:20 AM12/4/17
to pymo...@googlegroups.com
Ну так не используйте предсказание. Вам же никто не обязан сделать
нейросетевые модели последнего поколения для предсказания неизвестных
слов.
И базы географических обозначений не добавляют по вашему замечанию.
Подумайте, что вы можете сделать для улучшения проекта.
>> > pymorphy+u...@googlegroups.com.
нейросетевые модели последнего поколения для предсказания неизвестных
слов.
И базы географических обозначений не добавляют по вашему замечанию.
Подумайте, что вы можете сделать для улучшения проекта.
>> > Чтобы настроить другие параметры, перейдите по ссылке
>> > https://groups.google.com/d/optout.
>>
>>
>>
>> --
>> Best regards, Yuri V. Baburov, Skype: yuri.baburov
>>
>> --
>> Вы получили это сообщение, так как подписаны на группу "pymorphy".
>> Чтобы отменить подписку на эту тему, перейдите по ссылке
>> https://groups.google.com/d/topic/pymorphy/3yj5atWW5sI/unsubscribe.
>> Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на
>> электронный адрес pymorphy+u...@googlegroups.com.
>> > https://groups.google.com/d/optout.
>>
>>
>>
>> --
>> Best regards, Yuri V. Baburov, Skype: yuri.baburov
>>
>> --
>> Вы получили это сообщение, так как подписаны на группу "pymorphy".
>> Чтобы отменить подписку на эту тему, перейдите по ссылке
>> https://groups.google.com/d/topic/pymorphy/3yj5atWW5sI/unsubscribe.
>> Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на
> --
> Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес pymorphy+u...@googlegroups.com.
> Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
Никита Бобровский
Dec 4, 2017, 9:02:13 AM12/4/17
to pymo...@googlegroups.com
Я бы добавил лексемы всех основных городов и все.
пн, 4 дек. 2017 г. в 17:00, Yuri Baburov <bur...@gmail.com>:
Yuri Baburov
Dec 4, 2017, 9:03:12 AM12/4/17
to pymo...@googlegroups.com
Добавляйте. У вас есть список, вместе с правилами их словоизменения?
Добавлять в opencorpora надо.
Добавлять в opencorpora надо.
Никита Бобровский
Dec 4, 2017, 9:10:38 AM12/4/17
to pymo...@googlegroups.com
да, есть. Добавлю, как время будет, пока что вручную прописал замены в своём коде.
4 декабря 2017 г., 17:03 пользователь Yuri Baburov <bur...@gmail.com> написал:
>> >> > Чтобы настроить другие параметры, перейдите по ссылке
>> >> > https://groups.google.com/d/optout.
>> >>
>> >>
>> >>
>> >> --
>> >> Best regards, Yuri V. Baburov, Skype: yuri.baburov
>> >>
>> >> --
>> >> Вы получили это сообщение, так как подписаны на группу "pymorphy".
>> >> Чтобы отменить подписку на эту тему, перейдите по ссылке
>> >> https://groups.google.com/d/topic/pymorphy/3yj5atWW5sI/unsubscribe.
>> >> Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо
>> >> на
>> >> электронный адрес pymorphy+unsubscribe@googlegroups.com.
>> >> Настройки подписки и доставки писем:
>> >> https://groups.google.com/d/optout.
>> >
>> >
>> > --
>> > Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
>> > Чтобы отменить подписку на эту группу и больше не получать от нее
>> > сообщения,
>> > отправьте письмо на электронный адрес
>> > Чтобы настроить другие параметры, перейдите по ссылке
>> > https://groups.google.com/d/optout.
>>
>>
>>
>> --
>> Best regards, Yuri V. Baburov, Skype: yuri.baburov
>>
>> --
>> Вы получили это сообщение, так как подписаны на группу "pymorphy".
>> Чтобы отменить подписку на эту тему, перейдите по ссылке
>> https://groups.google.com/d/topic/pymorphy/3yj5atWW5sI/unsubscribe.
>> Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на
>> электронный адрес pymorphy+unsubscribe@googlegroups.com.
>> Настройки подписки и доставки писем: https://groups.google.com/d/optout.
>
> --
> Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес pymorphy+unsubscribe@googlegroups.com.
> Чтобы настроить другие параметры, перейдите по ссылке
> https://groups.google.com/d/optout.
--
Best regards, Yuri V. Baburov, Skype: yuri.baburov
--
Вы получили это сообщение, так как подписаны на группу "pymorphy".
Чтобы отменить подписку на эту тему, перейдите по ссылке https://groups.google.com/d/topic/pymorphy/3yj5atWW5sI/unsubscribe.
Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на электронный адрес pymorphy+unsubscribe@googlegroups.com.
Yuri Baburov
Dec 4, 2017, 9:18:47 AM12/4/17
to pymo...@googlegroups.com
В принципе, большой список городов есть на geonames.org, но вот
словоизменения там нет.
Например, сделайте список неизменяемых слов-названий городов и
добавьте его в opencorpora .
>> >> >> > pymorphy+u...@googlegroups.com.
словоизменения там нет.
Например, сделайте список неизменяемых слов-названий городов и
добавьте его в opencorpora .
>> >> >> > Чтобы настроить другие параметры, перейдите по ссылке
>> >> >> > https://groups.google.com/d/optout.
>> >> >>
>> >> >>
>> >> >>
>> >> >> --
>> >> >> Best regards, Yuri V. Baburov, Skype: yuri.baburov
>> >> >>
>> >> >> --
>> >> >> Вы получили это сообщение, так как подписаны на группу "pymorphy".
>> >> >> Чтобы отменить подписку на эту тему, перейдите по ссылке
>> >> >> https://groups.google.com/d/topic/pymorphy/3yj5atWW5sI/unsubscribe.
>> >> >> Чтобы отменить подписку на эту группу и все ее темы, отправьте
>> >> >> письмо
>> >> >> на
>> >> >> электронный адрес pymorphy+u...@googlegroups.com.
>> >> >> > https://groups.google.com/d/optout.
>> >> >>
>> >> >>
>> >> >>
>> >> >> --
>> >> >> Best regards, Yuri V. Baburov, Skype: yuri.baburov
>> >> >>
>> >> >> --
>> >> >> Вы получили это сообщение, так как подписаны на группу "pymorphy".
>> >> >> Чтобы отменить подписку на эту тему, перейдите по ссылке
>> >> >> https://groups.google.com/d/topic/pymorphy/3yj5atWW5sI/unsubscribe.
>> >> >> Чтобы отменить подписку на эту группу и все ее темы, отправьте
>> >> >> письмо
>> >> >> на
>> >> >> Настройки подписки и доставки писем:
>> >> >> https://groups.google.com/d/optout.
>> >> >
>> >> >
>> >> > --
>> >> > Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
>> >> > Чтобы отменить подписку на эту группу и больше не получать от нее
>> >> > сообщения,
>> >> > отправьте письмо на электронный адрес
>> >> > pymorphy+u...@googlegroups.com.
>> >> >> https://groups.google.com/d/optout.
>> >> >
>> >> >
>> >> > --
>> >> > Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
>> >> > Чтобы отменить подписку на эту группу и больше не получать от нее
>> >> > сообщения,
>> >> > отправьте письмо на электронный адрес
>> >> > Чтобы настроить другие параметры, перейдите по ссылке
>> >> > https://groups.google.com/d/optout.
>> >>
>> >>
>> >>
>> >> --
>> >> Best regards, Yuri V. Baburov, Skype: yuri.baburov
>> >>
>> >> --
>> >> Вы получили это сообщение, так как подписаны на группу "pymorphy".
>> >> Чтобы отменить подписку на эту тему, перейдите по ссылке
>> >> https://groups.google.com/d/topic/pymorphy/3yj5atWW5sI/unsubscribe.
>> >> Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо
>> >> на
>> >> электронный адрес pymorphy+u...@googlegroups.com.
>> >> > https://groups.google.com/d/optout.
>> >>
>> >>
>> >>
>> >> --
>> >> Best regards, Yuri V. Baburov, Skype: yuri.baburov
>> >>
>> >> --
>> >> Вы получили это сообщение, так как подписаны на группу "pymorphy".
>> >> Чтобы отменить подписку на эту тему, перейдите по ссылке
>> >> https://groups.google.com/d/topic/pymorphy/3yj5atWW5sI/unsubscribe.
>> >> Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо
>> >> на
>> >> Настройки подписки и доставки писем:
>> >> https://groups.google.com/d/optout.
>> >
>> > --
>> > Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
>> > Чтобы отменить подписку на эту группу и больше не получать от нее
>> > сообщения,
>> > отправьте письмо на электронный адрес
>> > pymorphy+u...@googlegroups.com.
>> >> https://groups.google.com/d/optout.
>> >
>> > --
>> > Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
>> > Чтобы отменить подписку на эту группу и больше не получать от нее
>> > сообщения,
>> > отправьте письмо на электронный адрес
>> > Чтобы настроить другие параметры, перейдите по ссылке
>> > https://groups.google.com/d/optout.
>>
>>
>>
>> --
>> Best regards, Yuri V. Baburov, Skype: yuri.baburov
>>
>> --
>> Вы получили это сообщение, так как подписаны на группу "pymorphy".
>> Чтобы отменить подписку на эту тему, перейдите по ссылке
>> https://groups.google.com/d/topic/pymorphy/3yj5atWW5sI/unsubscribe.
>> Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на
>> электронный адрес pymorphy+u...@googlegroups.com.
>> > https://groups.google.com/d/optout.
>>
>>
>>
>> --
>> Best regards, Yuri V. Baburov, Skype: yuri.baburov
>>
>> --
>> Вы получили это сообщение, так как подписаны на группу "pymorphy".
>> Чтобы отменить подписку на эту тему, перейдите по ссылке
>> https://groups.google.com/d/topic/pymorphy/3yj5atWW5sI/unsubscribe.
>> Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на
>> Настройки подписки и доставки писем: https://groups.google.com/d/optout.
>
>
> --
> Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес pymorphy+u...@googlegroups.com.
>
>
> --
> Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
Никита Бобровский
Dec 4, 2017, 9:25:23 AM12/4/17
to pymo...@googlegroups.com
Хорошая идея, спасибо!
4 декабря 2017 г., 17:18 пользователь Yuri Baburov <bur...@gmail.com> написал:
>> >> >> > pymorphy+unsubscribe@googlegroups.com.
>> >> >> > Чтобы настроить другие параметры, перейдите по ссылке
>> >> >> > https://groups.google.com/d/optout.
>> >> >>
>> >> >>
>> >> >>
>> >> >> --
>> >> >> Best regards, Yuri V. Baburov, Skype: yuri.baburov
>> >> >>
>> >> >> --
>> >> >> Вы получили это сообщение, так как подписаны на группу "pymorphy".
>> >> >> Чтобы отменить подписку на эту тему, перейдите по ссылке
>> >> >> https://groups.google.com/d/topic/pymorphy/3yj5atWW5sI/unsubscribe.
>> >> >> Чтобы отменить подписку на эту группу и все ее темы, отправьте
>> >> >> письмо
>> >> >> на
>> >> >> электронный адрес pymorphy+unsubscribe@googlegroups.com.
>> >> >> Настройки подписки и доставки писем:
>> >> >> https://groups.google.com/d/optout.
>> >> >
>> >> >
>> >> > --
>> >> > Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
>> >> > Чтобы отменить подписку на эту группу и больше не получать от нее
>> >> > сообщения,
>> >> > отправьте письмо на электронный адрес
>> >> > Чтобы настроить другие параметры, перейдите по ссылке
>> >> > https://groups.google.com/d/optout.
>> >>
>> >>
>> >>
>> >> --
>> >> Best regards, Yuri V. Baburov, Skype: yuri.baburov
>> >>
>> >> --
>> >> Вы получили это сообщение, так как подписаны на группу "pymorphy".
>> >> Чтобы отменить подписку на эту тему, перейдите по ссылке
>> >> https://groups.google.com/d/topic/pymorphy/3yj5atWW5sI/unsubscribe.
>> >> Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо
>> >> на
>> >> электронный адрес pymorphy+unsubscribe@googlegroups.com.
>> >> Настройки подписки и доставки писем:
>> >> https://groups.google.com/d/optout.
>> >
>> > --
>> > Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
>> > Чтобы отменить подписку на эту группу и больше не получать от нее
>> > сообщения,
>> > отправьте письмо на электронный адрес
>> > Чтобы настроить другие параметры, перейдите по ссылке
>> > https://groups.google.com/d/optout.
>>
>>
>>
>> --
>> Best regards, Yuri V. Baburov, Skype: yuri.baburov
>>
>> --
>> Вы получили это сообщение, так как подписаны на группу "pymorphy".
>> Чтобы отменить подписку на эту тему, перейдите по ссылке
>> https://groups.google.com/d/topic/pymorphy/3yj5atWW5sI/unsubscribe.
>> Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на
>> электронный адрес pymorphy+unsubscribe@googlegroups.com.
>> Настройки подписки и доставки писем: https://groups.google.com/d/optout.
>
>
> --
> Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес pymorphy+unsubscribe@googlegroups.com.
> Чтобы настроить другие параметры, перейдите по ссылке
> https://groups.google.com/d/optout.
--
Best regards, Yuri V. Baburov, Skype: yuri.baburov
--
Вы получили это сообщение, так как подписаны на группу "pymorphy".
Чтобы отменить подписку на эту тему, перейдите по ссылке https://groups.google.com/d/topic/pymorphy/3yj5atWW5sI/unsubscribe.
Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на электронный адрес pymorphy+unsubscribe@googlegroups.com.
Reply all
Reply to author
Forward
0 new messages