[Forum] Не индексирует и нет результатов поиска.
DataparkSearchForum
Name: Morfei
Subject: Не индексирует и нет результатов поиска.
Последний снапшот от 13.03.2011
Поставил его поверх старого, не индексирует, ни ищет. Точнее видимо ищет, но результат не выводит.
При поиске.
Поиск Фильм. Результаты поиска: фильм: 41953 / 260079
По данному запросу Фильм ничего не найдено. Попробуйте упростить запрос или проверьте правописание.
Документов содержащих "Фильм" тоже нет.
Конфиги раньше работали.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;post=
DataparkSearchForum
Name: Morfei
Базу удалил старую, создал новую и тишина. Не индексирует.
indexer[4935]: {00} indexer from dpsearch-4.54-14032011-mysql started with '/var/www/host/etc/indexer.conf'
indexer[4935]: {01} Done (0 seconds, 0 documents, 0 bytes, 0.00 Kbytes/sec.)
indexer[4935]: {00} Total 2 seconds, 0 documents, 0 bytes, 0.00 Kbytes/sec, 0.00 sec/doc, 0 bytes/doc.
indexer[4935]: {00} Neo PopRank: 0 documents, 0 pas, 0.00 Kpas/sec, 0.00 sec/doc, 0.00 pas/doc.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;topic_id=1300079215
DataparkSearchForum
Subject: Re: Не индексирует и нет результатов поиска.
С какими флагами запускался indexer ?
При первом запуске на новом конфиге или на новой базе не нужно указывать ключ -q, иначе затравочные URL не будут добавлены в базу.
Команда
./indexer -S
что выводит ?
DataparkSearchForum
Subject: Re: Не индексирует и нет результатов поиска.
Не обратил внимания что демон stored не стартанул. Вернул старую базу, стартанул stored вывод из базы появился. А вот индексации нет. Но на новой базе не проверял.
Database statistics
Status Expired Total
-----------------------------
0 0 5 Not indexed yet
200 0 64495 OK
206 0 1 Partial OK
301 0 155 Moved Permanently
302 0 9227 Moved Temporarily
303 0 202 See Other
304 0 15 Not Modified
403 0 1 Forbidden
404 0 282 Not found
415 0 40 Unsupported Media Type
500 0 1 Internal Server Error
502 0 31 Bad Gateway
503 0 3595 Service Unavailable
504 0 792 Gateway Timeout
2200 0 12222 Clones, OK
-----------------------------
Total 0 91064
DataparkSearchForum
Subject: Re: Не индексирует и нет результатов поиска.
Приведенная статистика говорит, что у вас нет устаревших документов, которые необходимо переиндексировать (для них еще не истек Period после предыдущей индексации или NetErrorDelayTime с момента последней неудачной попытки проиндексировать).
Чтобы форсировать переиндексацию, не дожидаясь момента устаревания документов, запустите indexer с ключом -a:
./indexer -a
DataparkSearchForum
Subject: Re: Не индексирует и нет результатов поиска.
Запустил indexer -a -v5
indexer[13511]: {00} DpsOpenCache:
indexer[13511]: {00} Done.
indexer[13511]: {00} indexer from dpsearch-4.54-14032011-mysql started with '/var/www/host/etc/indexer.conf'
indexer[13511]: {00} Chinese dictionary with 0 entries
indexer[13511]: {00} Korean dictionary with 0 entries
indexer[13511]: {00} Thai dictionary with 0 entries
indexer[13511]: {00} LogsOnly: no
indexer[13511]: {00} mutexes used: 4105
indexer[13511]: {00} The following sections are defined
indexer[13511]: {00} Sections.attribute.alt [15,128:00]: <NULL>
indexer[13511]: {00} Sections.body [1,1300:00]: <NULL>
indexer[13511]: {00} Sections.Charset [12,32:00]: <NULL>
indexer[13511]: {00} Sections.Content-Language [14,16:00]: <NULL>
indexer[13511]: {00} Sections.Content-Type [13,64:00]: <NULL>
indexer[13511]: {00} Sections.crosswords [11,0:00]: <NULL>
indexer[13511]: {00} Sections.meta.description [4,128:00]: <NULL>
indexer[13511]: {00} Sections.meta.keywords [3,128:00]: <NULL>
indexer[13511]: {00} Sections.sea [47,133:00]: <NULL>
indexer[13511]: {00} Sections.title [2,150:00]: <NULL>
indexer[13511]: {00} Sections.url [6,0:01]: <NULL>
indexer[13511]: {01} DpsOpenCache:
indexer[13511]: {01} Done.
indexer[13511]: {01} Done (0 seconds, 0 documents, 0 bytes, 0.00 Kbytes/sec.)
indexer[13511]: {00} Total 2 seconds, 0 documents, 0 bytes, 0.00 Kbytes/sec, 0.00 sec/doc, 0 bytes/doc.
indexer[13511]: {00} Neo PopRank: 0 documents, 0 pas, 0.00 Kpas/sec, 0.00 sec/doc, 0.00 pas/doc.
DataparkSearchForum
Subject: Re: Не индексирует и нет результатов поиска.
Команда
./indexer -S
послеэтого что выводит ?
Демон stored был запущен при выполнении команды "indexer -a -v5" ?
DataparkSearchForum
Subject: Re: Не индексирует и нет результатов поиска.
Да демон stored запустил.
Выполнил "indexer -a -v5"
потом "indexer -S"
Database statistics
Status Expired Total
-----------------------------
0 0 5 Not indexed yet
200 0 64495 OK
206 0 1 Partial OK
301 0 155 Moved Permanently
302 0 9227 Moved Temporarily
303 0 202 See Other
304 0 15 Not Modified
403 0 1 Forbidden
404 0 282 Not found
415 0 40 Unsupported Media Type
500 0 1 Internal Server Error
502 0 31 Bad Gateway
503 0 3595 Service Unavailable
504 0 792 Gateway Timeout
2200 0 12222 Clones, OK
-----------------------------
Total 0 91064
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
DataparkSearchForum
Subject: Re: Не индексирует и нет результатов поиска.
Похоже на проблему с форсированием переиндексации.
Попробуйте команду
./indexer -as200
после неё пойдет переиндексация ?
DataparkSearchForum
Subject: Re: Не индексирует и нет результатов поиска.
Выполнил и после с ключом S
indexer[18307]: {00} indexer from dpsearch-4.54-14032011-mysql started with '/var/www/host/etc/indexer.conf'
indexer[18307]: {01} Done (0 seconds, 0 documents, 0 bytes, 0.00 Kbytes/sec.)
indexer[18307]: {00} Total 2 seconds, 0 documents, 0 bytes, 0.00 Kbytes/sec, 0.00 sec/doc, 0 bytes/doc.
indexer[18307]: {00} Neo PopRank: 0 documents, 0 pas, 0.00 Kpas/sec, 0.00 sec/doc, 0.00 pas/doc.
Database statistics
Status Expired Total
-----------------------------
0 0 5 Not indexed yet
200 0 64495 OK
206 0 1 Partial OK
301 0 155 Moved Permanently
302 0 9227 Moved Temporarily
303 0 202 See Other
304 0 15 Not Modified
403 0 1 Forbidden
404 0 282 Not found
415 0 40 Unsupported Media Type
500 0 1 Internal Server Error
502 0 31 Bad Gateway
503 0 3595 Service Unavailable
504 0 792 Gateway Timeout
2200 0 12222 Clones, OK
-----------------------------
Total 0 91064
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
DataparkSearchForum
Subject: Re: Не индексирует и нет результатов поиска.
Пожалуйста, пересоберите с этой версией src/db.c:
http://dataparksearch.googlecode.com/svn-history/r568/trunk/src/db.c
После этого "indexer -a" начнет работать.
DataparkSearchForum
Subject: Re: Не индексирует и нет результатов поиска.
пересобрал, теперь -a срабатывает. Спасибо. Будем поглядеть дальше как все пойдет.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;topic_id=1300079215;page=2
DataparkSearchForum
Name: Morfei
Subject: Re: Не индексирует и нет результатов поиска.
Заметил еще что сохраненные копии тоже не делает. Хотя stored и cashed, searchd запущены.
DataparkSearchForum
Subject: Re: Не индексирует и нет результатов поиска.
Копии не сохраняются для всех документов или для части ?
Если на странице в META robots указано NOSTORE или NOARCHIVE, то такие страницы не будут сохранятся в базе stored.
Покажите пожалуста вывод команды
./indexer -qamv5 -u здесь-любой-урл-с-несохраненной-копией
DataparkSearchForum
Subject: Re: Не индексирует и нет результатов поиска.
indexer[23193]: {00} DpsOpenCache:
indexer[23193]: {00} Done.
indexer[23193]: {00} indexer from dpsearch-4.54-14032011-mysql started with '/var/www/go.nurka.net/etc/indexer.conf'
indexer[23193]: {00} Chinese dictionary with 0 entries
indexer[23193]: {00} Korean dictionary with 0 entries
indexer[23193]: {00} Thai dictionary with 0 entries
indexer[23193]: {00} LogsOnly: no
indexer[23193]: {00} mutexes used: 4105
indexer[23193]: {00} The following sections are defined
indexer[23193]: {00} Sections.attribute.alt [15,128:00]: <NULL>
indexer[23193]: {00} Sections.body [1,1300:00]: <NULL>
indexer[23193]: {00} Sections.Charset [12,32:00]: <NULL>
indexer[23193]: {00} Sections.Content-Language [14,16:00]: <NULL>
indexer[23193]: {00} Sections.Content-Type [13,64:00]: <NULL>
indexer[23193]: {00} Sections.crosswords [11,0:00]: <NULL>
indexer[23193]: {00} Sections.meta.description [4,128:00]: <NULL>
indexer[23193]: {00} Sections.meta.keywords [3,128:00]: <NULL>
indexer[23193]: {00} Sections.sea [47,133:00]: <NULL>
indexer[23193]: {00} Sections.title [2,150:00]: <NULL>
indexer[23193]: {00} Sections.url [6,0:01]: <NULL>
indexer[23193]: {01} DpsOpenCache:
indexer[23193]: {01} Done.
indexer[23193]: {01} URL: http://host мой/2010-01-03-07-29-35/2010-01-03-07-47-13/814--visitors-20091-hdtvrip.html
indexer[23193]: {01} Server Allow 'host мой'
indexer[23193]: {01} Allow by default
indexer[23193]: {01} Resolver 0th checking for 127.0.1.1
indexer[23193]: {01} Doc.robots.txt: 'Postpone Too big Crawl-delay: postponing the doc'
indexer[23193]: {01} Next-Index-Time: 1328022780
indexer[23193]: {01} Done (1 seconds, 0 documents, 0 bytes, 0.00 Kbytes/sec.)
indexer[23193]: {00} Total 2 seconds, 0 documents, 0 bytes, 0.00 Kbytes/sec, 0.00 sec/doc, 0 bytes/doc.
indexer[23193]: {00} Neo PopRank: 0 documents, 0 pas, 0.00 Kpas/sec, 0.00 sec/doc, 0.00 pas/doc.
zion:/var/www/go.nurka.net/sbin# -qamv5 -u
DataparkSearchForum
Subject: Re: Не индексирует и нет результатов поиска.
Какое значение Crawl-Delay указано в robots.txt сайта http://host мой/ и какое значение MaxCrawlDelay указано в вашем indexer.conf (по умолчанию 300 секунд)?
Если значение в robots.txt больше MaxCrawlDelay, то документ не идексируется, а откладывается до истечения этого периода.
DataparkSearchForum
Subject: Re: Не индексирует и нет результатов поиска.
в robots.txt Crawl-Delay нет, в indexer.conf нет MaxCrawlDelay, а есть CrawlDelay и равно оно 1.