Голем и Melog

10 views
Skip to first unread message

Анастасия Львова

unread,
Jun 30, 2011, 2:15:07 PM6/30/11
to connect...@googlegroups.com
Привет,
вот цитата из последнего прохода по рувики:

last replicated timestamp: 20110630143252
replag: 03:05:37
replag of 185 minutes is to big, must be below 60
perishable data will not be applied
CATEGORYTREE CONNECTIVITY

Я правильно понимаю, что Мелог не будет включаться, если Голем не
будет успевать обработать базу за час? Если да, то Мелог не будет
работать для русского языка никогда. Во всяком случае, при текущем
выделении ресурсов.

Если нет, то непонятно, почему такой большой таск и вместе с тем так
мало правок у Мелога. Еще, конечно, может, он сломался, так как другой
бот уже вместо него сделал пометку в Fender Jag-stang, но это как
догадка, я не уверена.


--
с уважением,
Львова Анастасия

Mashiah Davidson

unread,
Jun 30, 2011, 6:42:07 PM6/30/11
to connect...@googlegroups.com
Там речь идёт о реплаге на момент старта голема, а не о времени его работы.

Мы обсуждали это значение, кажется, и решили, что если больше часа, то
не надо грузить статистику. Сейчас запуск мелога тоже зависит от
реплага на момент старта Голема. В качестве ограничения мы можем
поставить любую величину, час, день, неделя, итд.

mashiah

Анастасия Львова

unread,
Jun 30, 2011, 11:25:42 PM6/30/11
to connect...@googlegroups.com
2011/7/1 Mashiah Davidson <mashiah....@gmail.com>:

PROCESSING LANGUAGE ru
cluster size limit: 20
last replicated timestamp: 20110630125021
replag: 00:00:01

Разве мы не это обсуждали? :(

Paul Selitskas

unread,
Jul 1, 2011, 4:11:02 PM7/1/11
to connect...@googlegroups.com
Машиах, что меня лично очень смутило, так это количество статей,
которые Мелог принял - всего четыре из длиннющего списка. В task,
который в today.7z - целый список, а тут - всего четыре и закрылся.
Впрочем, возможно, у мелога просто что-то случилось и он упал.

Я в него сейчас допишу debug-сообщения о количестве принятых страниц и
т. д. Посмотрим, что будет.

2011/7/1 Анастасия Львова <stasi...@gmail.com>:

--
З павагай,
Павел Селіцкас/Paul Selitskas
Wizardist @ Wikimedia projects
p.sel...@gmail.com, +375257408304
Skype: p.selitskas

Mashiah Davidson

unread,
Jul 1, 2011, 6:28:33 PM7/1/11
to connect...@googlegroups.com
У меня проверка встроена в обработку вызова replag. Так что, он
отключает каждый раз, когда встретит большое значение. В данном случае
вообще не о чем беспокоиться, ибо на этапе categorytree connectivity
мы никаких данных не грузим в вику. А те, что собраны ранее уже
применены, если реплаг для них не был так велик.

mashiah

Анастасия Львова

unread,
Jul 2, 2011, 1:33:45 PM7/2/11
to connect...@googlegroups.com
> Машиах, что меня лично очень смутило, так это количество статей,
> которые Мелог принял - всего четыре из длиннющего списка. В task,
> который в today.7z - целый список, а тут - всего четыре и закрылся.
> Впрочем, возможно, у мелога просто что-то случилось и он упал.
Насколько я уже точно вижу, у него действительно что-то случается и он
падает. Сегодня - три попытки сохраниться в [[Качкаев, Павел
Рюрикович]], после чего Мелог вежливо говорит, что у него проблемы, и
закрывается (Article was not commited due to unrevealed problems.
============== Writing down log and exiting).

> В данном случае вообще не о чем беспокоиться, ибо на этапе categorytree connectivity мы никаких данных не грузим в вику. А те, что собраны ранее уже применены, если реплаг для них не был так велик.

Версия про вину реплага отменяется :)

Reply all
Reply to author
Forward
0 new messages