Можно ли Использовать Pymorphy2 в Ironpython или другим доступным способом в .NET?

[appinve...@gmail.com]

Можно ли Использовать Pymorphy2 в Ironpython или другим доступным способом в .NET? Если это возможно, то, мб, кто-то уже пытался? Хотелось бы иметь сборку для .NET, насколько я понимаю это возможно через  PyPy, или нет?

[Yuri Baburov]

Привет,

а не проще будет за час сделать API через socket-ы и клиент-сервер?

> --
> Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес pymorphy+u...@googlegroups.com.
> Чтобы настроить другие параметры, перейдите по ссылке
> https://groups.google.com/d/optout.



--
Best regards, Yuri V. Baburov, Skype: yuri.baburov

[appinve...@gmail.com]

среда, 24 сентября 2014 г., 17:05:54 UTC+4 пользователь Yuri Baburov написал:

Привет,

а не проще будет за час сделать API через socket-ы и клиент-сервер?

--
Best regards, Yuri V. Baburov, Skype: yuri.baburov

А чем плох IronPython? не очень-то хочется городить клиент-сервер там где можно обойтись без него, ладно бы было готовое решение. Кстати подскажите как использовать токенизатор из pymorphy2?

[Mikhail Korobov]

Привет. Я не пробовал сам (да и дела с .NET не имел), но, думаю, pymorphy2 должен работать нормально в IronPython, т.к. pymorphy2 - обычный питоний пакет, никаких C-расширений ему не надо. Нужно только пакет DAWG-Python устанавливать, а не DAWG.

Токенизатор в pymorphy2 довольно примитивный; пример использования:

In [1]: from pymorphy2.tokenizers import simple_word_tokenize
In [2]: for token in simple_word_tokenize(u'Какой-то текст'):
   ...:     print token
   ...:    
Какой-то
текст

четверг, 25 сентября 2014 г., 0:54:20 UTC+6 пользователь appinve...@gmail.com написал:

[appinve...@gmail.com]

да все хорошо кроме кодировки строк

[Yuri Baburov]

А в чём проблемы с кодировкой строк?
В том, что у консоли codepage не уникодная?
Или какие-то у самого IronPython заморочки?

2014-09-25 3:41 GMT+07:00 <appinve...@gmail.com>:
> да все хорошо кроме кодировки строк
>

> --
> Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес pymorphy+u...@googlegroups.com.
> Чтобы настроить другие параметры, перейдите по ссылке
> https://groups.google.com/d/optout.

[appinve...@gmail.com]

четверг, 25 сентября 2014 г., 10:50:08 UTC+4 пользователь Yuri Baburov написал:

А в чём проблемы с кодировкой строк?
В том, что у консоли codepage не уникодная?
Или какие-то у самого IronPython заморочки?

--
Best regards, Yuri V. Baburov, Skype: yuri.baburov

Приходится перед parse преобразовывать в utf8, затем когда я получаю результат (например normal_form) он имеет вид u'/xb0 ...' обратное преобразование подобрать не удается. Так происходит  в консоли, если я вызываю функцию из программы на c#, то тоже получаю кракозябры.   В обычном  питоне 3.4 все нормально даже в консоли

[Mikhail Korobov]

Перед parse преобразровывать в utf-8 - это точно неправильно; parse работает только с юникодом, а не байтовыми строками в utf-8.

четверг, 25 сентября 2014 г., 15:11:02 UTC+6 пользователь appinve...@gmail.com написал:

[Mikhail Korobov]

В Python 2.x кракозябры, к которым нужно стремиться, примерно такие: u'\u041a\u0430\u043a\u043e\u0439-\u0442\u043e \u0442\u0435\u043a\u0441\u0442'. Если подобный текст на входе и подобный текст на выходе, то все правильно :) Если консоль настроена правильно, то должно работать

In [1]: print u'\u041a\u0430\u043a\u043e\u0439-\u0442\u043e \u0442\u0435\u043a\u0441\u0442'
Какой-то текст

В результатах разбора в Python 2.x тоже *должны* быть подобные кракозябры, например

In [1]: import pymorphy2; m = pymorphy2.MorphAnalyzer()
In [2]: m.parse(u'кот')
Out[2]: [Parse(word=u'\u043a\u043e\u0442', tag=OpencorporaTag('NOUN,anim,masc sing,nomn'), normal_form=u'\u043a\u043e\u0442', score=1.0, methods_stack=((<DictionaryAnalyzer>, u'\u043a\u043e\u0442', 51, 0),))]

Если в Python 2.x видно что-то другое (втч нормальный читаемый русский текст), то это ошибка.

Чтоб посмотреть, что кракозябры значат, можно их напечатать:

In [7]: m.parse(u'котом')[0].normal_form
Out[7]: u'\u043a\u043e\u0442'

In [8]: print m.parse(u'котом')[0].normal_form
кот




четверг, 25 сентября 2014 г., 15:19:57 UTC+6 пользователь Mikhail Korobov написал:

[Yuri Baburov]

Привет,

http://habrahabr.ru/post/117236/ почитай.
или я как-то отвечал на похожую проблему тут:
http://toster.ru/q/7249#answer_31199

В общем, на входе делаешь .decode('cp866', 'ignore'), на выходе
делаешь .encode('cp866' 'ignore') ,
в более общем случае, sys.stdin.encoding и sys.stdout.encoding

В IronPython всё должно быть также…

> --
> Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес pymorphy+u...@googlegroups.com.
> Чтобы настроить другие параметры, перейдите по ссылке
> https://groups.google.com/d/optout.

[appinve...@gmail.com]

четверг, 25 сентября 2014 г., 13:19:57 UTC+4 пользователь Mikhail Korobov написал:

Перед parse преобразровывать в utf-8 - это точно неправильно; parse работает только с юникодом, а не байтовыми строками в utf-8.

спасибо, учту,но если я не делаю encode() он пишет что ожидал строку а не byte,зато,  что характерно после преобразования он возвращает какой-то результат.  насчет m.parse(u'кот') , как быть если слово передается параметром из программы на c#

[Mikhail Korobov]

Если C# возвращает байты, то перед передачей данных в pymorphy2 нужно делать .decode, а не .encode. Но как там это организовано - не знаю. Короче говоря, тип входных параметров (text.__class__) в 2.х должен быть unicode.

четверг, 25 сентября 2014 г., 16:40:12 UTC+6 пользователь appinve...@gmail.com написал:

[Yuri Baburov]

Привет,

Используй отладку, это всегда самый универсальный совет.
Скажем, посмотри, что выдаёт
print type(yourvar) на твои переменные, которые ты скармливаешь pymorphy2 ,
и что ты получаешь на выходе от pymorphy2.
Немного сложнее понимать, что происходит в языке с динамической
типизацией, если не представляешь, что за каждым типом скрывается.
Ещё можно assert’ы расставлять.

> --
> Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес pymorphy+u...@googlegroups.com.
> Чтобы настроить другие параметры, перейдите по ссылке
> https://groups.google.com/d/optout.

[appinve...@gmail.com]

четверг, 25 сентября 2014 г., 23:55:15 UTC+4 пользователь Yuri Baburov написал:

Привет,

Используй отладку, это всегда самый универсальный совет.
Скажем, посмотри, что выдаёт
print type(yourvar) на твои переменные, которые ты скармливаешь pymorphy2 ,
и что ты получаешь на выходе от pymorphy2.
Немного сложнее понимать, что происходит в языке с динамической
типизацией, если не представляешь, что за каждым типом скрывается.
Ещё можно assert’ы расставлять.

пришлось менять текст dawgs.py Добавить преобразование в строку a2b_base64(str(b64_data))

[Mikhail Korobov]

А может такое быть, что это баг в IronPython? Вот этот https://ironpython.codeplex.com/workitem/15372 или еще какой-то?
Если не сложно, то можете проверить, с IronPython 2.7.5 все еще фикс нужен?

понедельник, 13 октября 2014 г., 4:00:16 UTC+6 пользователь appinve...@gmail.com написал:

[Александр]

пришлось менять текст dawgs.py Добавить преобразование в строку a2b_base64(str(b64_data))

Но в итоге удалось запустить проект?

[Александр]

Проверил работу примера. В нем речь идет о Python - как о языке скриптов для c# программ.
https://borisnote.wordpress.com/2011/09/20/ironpython-in-csh/
Проверял на Windows XP, VS 2010 экспресс выпуск.

[Александр]

Вот это вообще то что нужно.
https://msdn.microsoft.com/ru-ru/library/ee461504.aspx?cs-lang=csharp&cs-save-lang=1
Позволяет вызвать питоний метод, написав в c# такой вызов

            ScriptRuntime py = Python.CreateRuntime();
            dynamic random = py.UseFile("D:\\HProjects\\VS\\PythonAndNETTest2\\ConsoleApplication1\\ConsoleApplication1\\random.py");
            random.Simple();

Но по скольку это динамическое выражение - никаких вам IntelliSense и прочего богатства. Если навести на Simple, то VS пишет - Данная операция будет разрешена во время выполнения. Последний шаг "полное" встраивание IronPython вVS. Но я не уверен что это возможно на NET 4.0. А ради 4.5.нужно менять винду пока не хотелось бы...

[Yuri Baburov]

Нормальные люди делают микросервисы в таких случаях. Модульность, не нужно перезапускать когда программа перезапускается, API, все дела.

18 дек. 2015 г. 1:30 пользователь "Александр" <idus...@gmail.com> написал:

--

[Александр]

Я не знаю как сделать .dll с помощью python которую воспринимал бы .NET. Если есть ссылки - давай, или опиши что это за способ немного по подробнее, если это не dll.

[Yuri Baburov]

Не надо dll. Полностью отдельные процессы.

TCP Server + TCP Client (т.е. свой протокол), или HTTP Server + HTTP Client (протокол HTTP + какой-нибудь REST поверх HTTP).

Документации по обоим вариантам полно.

2015-12-18 12:49 GMT+06:00 Александр <idus...@gmail.com>:

Я не знаю как сделать .dll с помощью python которую воспринимал бы .NET. Если есть ссылки - давай, или опиши что это за способ немного по подробнее, если это не dll.

--

Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес pymorphy+u...@googlegroups.com.
Чтобы настроить другие параметры, перейдите по ссылке https://groups.google.com/d/optout.

[Yuri Baburov]

Могу питоновскую версию сервера и тестового клиента сделать, если скажешь, какие методы тебе нужны.

[Александр]

пятница, 18 декабря 2015 г., 11:43:54 UTC+3 пользователь Yuri Baburov написал:

Могу питоновскую версию сервера и тестового клиента сделать, если скажешь, какие методы тебе нужны.

2015-12-18 14:43 GMT+06:00 Yuri Baburov <bur...@gmail.com>:

Не надо dll. Полностью отдельные процессы.

TCP Server + TCP Client (т.е. свой протокол), или HTTP Server + HTTP Client (протокол HTTP + какой-нибудь REST поверх HTTP).

Документации по обоим вариантам полно.

Спасибо за предложение, но пока я к этому не готов. Мне кажется, эта прослойка усложнит дело. Если у меня не получатся другие варианты я об этом подумаю. Но даже то, что работает сейчас в примерах, вроде бы достаточно для запуска pymorphy2 в рамках C#. Подход HTTP Server + HTTP Client  наверно оправдан и удобен если нам нужно WEB приложение. Я сейчас хочу WinForms сделать.

[Yuri Baburov]

А что там усложнит дело?
50 строчек кода с каждой стороны на один метод, плюс ещё двадцать на каждый следующий.

Просто если будешь приложение как-то распространять или вместе с кем-то программировать, то такой компонентный подход намного удобнее -- можно сделать отдельный цельный bundle для pymorphy и забыть о нём.

--

Вы получили это сообщение, поскольку подписаны на группу "pymorphy".
Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес pymorphy+u...@googlegroups.com.
Чтобы настроить другие параметры, перейдите по ссылке https://groups.google.com/d/optout.