Токенизация в pymorphy2

96 views

Skip to first unread message

unread,

Aug 19, 2021, 10:08:17 AM8/19/21

to pymorphy

Добрый день!

При попытке анализа POS-тэгов возникает проблема: если к слову примыкает пунктуационный знак, он не распознается как отдельный токен.

Примеры:

'прочитана.': None,

'Ой.': None

Я использую pymorphy2.MorphAnalyzer() для версии языка 3.8.

Извините, если этот вопрос уже поднимался, предварительный поиск по ключевым словам ничего не дал.