Вопросы по установке.

[Ваня Осипов]

Привет.Все-таки можно установить Dataparksearch на windows?Какие программы для этого нужны?У меня стоит windows 7,хочу пока установить  на денвер.

[Maxim Zakharov]

Нет, это приложение для Unix/Linux.

2011/11/15 Ваня Осипов <waww...@gmail.com>:

> Привет.Все-таки можно установить Dataparksearch на windows?Какие программы
> для этого нужны?У меня стоит windows 7,хочу пока установить  на денвер.
>

--
http://www.dataparksearch.org/ - an open source search engine.

[Vany Osipov]

Вопрос 1??.Тогда смотрите,у меня стоит ubinity 11.10 .Для него нужны какие-либо программы,чтобы установить dataparksearch???.Вопрос2??. Про там что-то скопировать из конфиг дист в конфиг,а после эти файлы конфиг дист оставлять?

[itJunky]

Обычно обо всём не достающем пишет скрипт ./configure
Разумеется, нужен так же весь набор входящий в виндовый денвер, тоесть
MySQL и Apache с поддержкой CGI.
Сама софтина ищет конфиги с именами blah.conf, следовательно файлы с
любыми другими именами игнорируются... А уж что с ними делать решать
тебе.

[Vany Osipov]

Спасибо огромное,просто обожаю вашу разработку-dataparksearch

[Vany Osipov]

Привет всем,а может кто-нибудь обьяснить(поподробнее) добавление сайтов для индексации,с примерами,пожалуйста

[Maxim Zakharov]

Привет,

что есть денвер?

При установке, в директорию cgi-bin нужно будет слинковать/скопировать
search.cgi

Для добвления сайта нужно в indexer.conf добавить такую команду Server:

Server http://www.site.ext/

2011/12/28 Vany Osipov <waww...@gmail.com>:

> Привет всем,а может кто-нибудь обьяснить(поподробнее) добавление сайтов для
> индексации,с примерами,пожалуйста
>

--

[Vany Osipov]

Привет,я пользуюсь dpsearch-4.53 версией движка.Я что-то не нахожу search.cgi.А как мне настроить движок так ,чтобы около сайтов.на странице результатов поиска,были фавиконки этих сайтов,или они сразу будут?А какой файл потом запускать,и чем запускать,чтобы файлы ,которые я добавил в indexer.conf проиндексировались(Если надо запускать indexer.conf,то чем,я читал  ,что нужно запускать индексер,а где он?).Пгомогите пожалуйста

[Vany Osipov]

Кстати с Наступающим НОВЫМ ГОДОМ!!!!))

[Maxim Zakharov]

После завершения команды "make install" search.cgi будет находиться в директории
/usr/local/dpsearch/bin/ если использовался префикс установки по умолчанию.

В штатном поисковом шаблоне search.htm-dist нет иконок
проиндексированных сайтов, - dataparksearch их не поддерживает.

Для индексирования необъодимо запустить indexer:
/usr/local/dpsearch/sbin/indexer -W

2011/12/29 Vany Osipov <waww...@gmail.com>:

--

[Vany Osipov]

А можете сказать как добавить их ,пожалуйста,а то очень хочется иметь иконки в выдаче,как здесь в демо http://www.43n39e.ru/

[Maxim Zakharov]

Шаблон janus.htm.ru, использующийся на 43n39e.ru, находится в
директории doc/samples дистрибутива.

2011/12/30 Vany Osipov <waww...@gmail.com>:

> А можете сказать как добавить их ,пожалуйста,а то очень хочется иметь иконки
> в выдаче,как здесь в демо http://www.43n39e.ru/

--

[Vany Osipov]

Уважаемый Максим,а скажите пожалуйста ,как подключить шаблон janus.htm.ru,чтобы он был в качестве основного шаблона????

[Maxim Zakharov]

Преименуйте его в search.htm и положите в /usr/local/dpsearch/etc

2012/1/1 Vany Osipov <waww...@gmail.com>:

> Уважаемый Максим,а скажите пожалуйста ,как подключить шаблон
> janus.htm.ru,чтобы он был в качестве основного шаблона????

--

[Vany Osipov]

Максим,спасибо огромное

[itJunky]

А у меня этот шаблон не отображает иконки сайтов =(
Для проверки я просто сделал симлинк с search.cgi на janus.cgi и
положил шаблон janus.htm в каталог dpsearch/etc. При запросах шаблон
отображается другой, но иконок рядом с сайтами нет.

[Vany Osipov]

Странно,я ещё не проверял,Максим,а можете посмотреть пожалуйста ,может быть, какая-то ошибка? itJunky ,а какой версией вы пользуютесь?

[itJunky]

On 10 янв, 14:12, Vany Osipov <wawwww...@gmail.com> wrote:
> itJunky ,а какой версией вы пользуютесь?

indexer from dpsearch-4.54-04072011-mysql

[Vany Osipov]

itJunky , может быть , в версии 4.53 таких проблем нет?

[itJunky]

Уже давно использую именнно эту ревизию и желания откатываться назад
совершенно нет. Подождём камента от моего тёзки.

[Vany Osipov]

Ага

[Maxim Zakharov]

Favicon можно выводить таким кодом:

<i class="serp1"
style="background-image:url(http://www.google.com/s2/favicons?domain=$(url.host))"></i>

и с таким стилем:
i.serp1 {
top:auto; position:absolute; display:block; width:16px; height:16px;
}

2012/1/12 Vany Osipov <waww...@gmail.com>:
> Ага

[Vany Osipov]

Максим,а можете пожалуйста сказать куда именно вставлять этот код?(я знаю что в search.html,но куда там?). Кстати itJunky,если получилось откоментируйте пожалуйста.

[Maxim Zakharov]

Этот код нужно вставить в секцию res, в любое её место, подходящее вам.

[Vany Osipov]

Максим спасибо огромное.

[Vany Osipov]

Кстати itJunky или Максим,а это точно работает?

[itJunky]

Пока ждал ответа написал свой костыль на js =)

<script>var r="$(URL:40)" ;var reg=/^(http:\/\/.+.)\/.+/ ;var
r2=r.replace(reg,"$1");document.write("<img" +  " src=" +  r2 + "/
favicon.ico" + "></img>"  )</script>

[itJunky]

Да, толькочто проверил, нужно только не забыть в начале файла
search.htm, где описаны другие стили, внести стиль, который так же
писал Максим в том же сообщении. У меня под номером сайта теперь
появилась иконка.

[Vany Osipov]

Ребят,а на чем вы запускаете движок,я планирую на xammp,а вы на чем?

[Vany Osipov]

[itJunky]

Какой движок? Ничего не понял. XMPP Это вообще протокол джаббера.

[itJunky]

В первом сообщении же написано, что винда не поддерживается!

On 12 фев, 12:41, Vany Osipov <wawwww...@gmail.com> wrote:

[Vany Osipov]

itJunky ну а ты на чем запускаешь движок ?

[itJunky]

Linux Gentoo какбе.
В первом сообщении Макисм уже написал, что dataparksearch
компилируется из исходников и заточено под Linux.

[Maxim Zakharov]

2012/2/15 itJunky <alpha...@gmail.com>:

> В первом сообщении Макисм уже написал, что dataparksearch
> компилируется из исходников и заточено под Linux.

Под FreeBSD по идее тоже должно компилироваться и работать.

[itJunky]

Это понятно любому линуксойду, поскольку различий в этих системах
гораздо меньше по сравнению с windows, в котором даже нет компилятора
из коробки.

On 15 фев, 13:07, Maxim Zakharov <dp.max...@gmail.com> wrote:
> 2012/2/15 itJunky <alphaqu4...@gmail.com>:

>
> > В первом сообщении Макисм уже написал, что dataparksearch
> > компилируется из исходников и заточено под Linux.
>
> Под FreeBSD по идее тоже должно компилироваться и работать.
>

> --http://www.dataparksearch.org/- an open source search engine.

[Vany Osipov]

Я где-то читал,что можно установить на винду с помощью cygwin,может кто-нибудь из вас пытался

[Vany Osipov]

И еще Максим ,вы где-то в теме говорили что поисковик может проиндексировать 1-10 мл сайтов документов,а почему не больше?

[Maxim Zakharov]

Если больше, будет медленнее работать. Если это вас устроит, то
теоретически может адресовать до 4 млрд. страниц. (2³²)

2012/2/22 Vany Osipov <waww...@gmail.com>:

> И еще Максим ,вы где-то в теме говорили что поисковик может проиндексировать
> 1-10 мл сайтов документов,а почему не больше?

--
http://www.dataparksearch.org/ - an open source search engine.

[Vany Osipov]

Да много,но для этого наверно нужно хорошее железо

[Vany Osipov]

Привет всем.Максим ,вот в поисковике http://www.43n39e.ru/ Реализован видео поиск,это входит в шаблон или ,какая-то своя разработка

[Maxim Zakharov]

Это отдельный поиск, реализованный при помощи DataparkSearch.
См. примеры файлов конфигурации в doc/samples/ (rutube*)

2012/3/4 Vany Osipov <waww...@gmail.com>:

> Привет всем.Максим ,вот в поисковике http://www.43n39e.ru/ Реализован видео
> поиск,это входит в шаблон или ,какая-то своя разработка
>
>

--

[Vany Osipov]

Спасибо,Максим,а как можно улучшить движок?

[Maxim Zakharov]

Придумать новые алгоритмы и реализовать их.
В каком направлении вы хотели бы его улучшить?

2012/3/5 Vany Osipov <waww...@gmail.com>:

> Спасибо,Максим,а как можно улучшить движок?

--

[Vany Osipov]

Ну например,чтобы поиск был быстрее,улучшить релевантность,чтобы мог индексировать больше страниц,ведь для 4милиардов нужно очнь хорошее железо,мне кажется если распределить работу движка на несколько компов ,то он бы работал быстрее,что скажете по этому поводу

[itJunky]

Насколько я понимаю, уже сенйчас можно использовать движок в псевдо-
кластерной архитектуре, когда одни задачи выполняются одной машиной,
другие второй, а индексируют одновременно ещё пять отдельных машин.

[Vany Osipov]

Это,а вы случайно не знаете ,как это сделать ну разделить работу движка на несколько компов,эсли вы не знаете ,то можете хотя бы сказать в какую сторону копать,кстати спасибо за ответ

[itJunky]

Копать, очевидно, надо в сторону документации по dpsearch. Насколько я помню, там было написано какие части могут работать отдельно. Да и вообще мне стало всё понятно после того как я поставил всю эту систему и заставил работать. Сразу же прикинул какие её части в будущем можно перенести на отдельные сервера.

понедельник, 5 марта 2012 г. 17:32:35 UTC+4 пользователь Vany Osipov написал:

[Vany Osipov]

А вы случайно не знаете,как сделать такую вещь.Например,по запросу Москва сверху выдачи (между формой поиска и результатами) будет показываться блок div
ну например сто на сто пикселей

[itJunky]

Кроме костыльных способов ничего в голову не приходит. Поэтому самому было бы интересно. 

понедельник, 5 марта 2012 г. 22:07:20 UTC+4 пользователь Vany Osipov написал:

[Maxim Zakharov]

Вы хотите выводить блок, содержимое которого зависит от запроса?
Если да, то каким образом зависимо?

2012/3/6 itJunky <alpha...@gmail.com>:

--

[itJunky]

Думаю, что тут надо сделать нечто похожее на гугл, который сверху выводит спонсорские сайты по определённым словам, а ниже уже общая выдача.

[Vany Osipov]

Да, типо того тока без спонсорских сайтов,просто блок

[Maxim Zakharov]

Если нужно просто вставить блок, то вам необходимо отредактировать
нужным вам образом поисковый шаблон search.htm
Наиболее подходящая для этого секция - restop, вставьте в неё ваш div,
и он будет показываться на каждой странице с результатами поиска.

2012/3/6 Vany Osipov <waww...@gmail.com>:

> Да, типо того тока без спонсорских сайтов,просто блок
>
>

--

[itJunky]

А вот мне интересно какраз контекстную рекламу делать, тобишь она должна зависеть от запроса.

[Vany Osipov]

Присоединяюсь к itJunky,тока мне надо,чтобы блок,просто блок,выезжал,т.е зависел от запроса

[Maxim Zakharov]

Я не делал контекстную рекламу. Но у меня была схожая задача - не
показывать рекламу по запросам с "нехорошими" словами.
Для этого создана была таблица badwords:

CREATE TABLE badwords (
id serial,
tabu text
);

А её индексирование велось с таким indexer.conf:

===
DBAddr pgsql://user:pwd@localhost/tabusearch/?dbmode=cache
VarDir /usr/local/dpsearch/vartabu
WrdFiles 1
URLDataFiles 1
StoredFiles 1
LocalCharset UTF-8
LangMapFile langmap/en.ascii.lm
LangMapFile langmap/fr.latin1.lm
LangMapFile langmap/ru.koi8-r.lm
LangMapFile langmap/ru.utf8.lm
LangMapFile langmap/fr.utf-8.lm
LangMapFile langmap/en.utf-8.lm
Period 7d
PeriodByHops 0 10h
MinWordLength 1
MaxWordLength 256
URLInfoSQL no
CheckInsertSQL yes
MarkForIndex no
CollectLinks yes
CacheLogWords 1024
CacheLogDels 2048
OptimizeAtUpdate no
OptimizeRatio 1
DetectClones no
LogLevel 1

Section wrd 1 0

Allow *
AddType text/plain *
AccentExtensions yes

HTDBAddr pgsql://maxime@localhost/tabusearch/
HTDBList "SELECT 'htdb:/bad/'||id FROM badwords ORDER BY id"
HTDBText wrd "SELECT tabu FROM badwords WHERE id=$2"
HTDBText Pop_Rank "SELECT 0.999999"
RemoteCharset utf-8
Server path htdb:/bad/
URL htdb:/bad/

===

Для вывода результатов поиска, вернее результатов, когда нехорошее
слово не найдено, использовался такой поисковый шаблон:

===
<!--variables
DBAddr searchd://localhost/
DBAddr searchd://localhost/?label=tabu
LocalCharset UTF-8
BrowserCharset UTF-8

DetectClones no
MinWordLength 1
MaxWordLength 64
HlBeg <b>
HlEnd </b>
Locale en_US.UTF-8
ExcerptSize 732
ExcerptPadding 126
DateFormat %a, %d %b %Y %H:%M:%S %z
ResultContentType text/html

-->
<!--top-->

<!--/top-->

<!--restop-->
<small>&#128586;</small>
<!--/restop-->

<!--res-->

<!--/res-->

<!--resbot-->

<!--/resbot-->

<!--clone-->
<!--/clone-->

<!--notfound-->
<div id="ads"><!--# put your ads here --></div>
<!--/notfound-->

<!--noquery-->
<!--/noquery-->

<!--error-->
<!--/error-->

<!--bottom-->
<!--/bottom-->
===

В searchd.conf нужно добавить такую строчку:

DBAddr cache://user:pwd@localhost/tabusearch/?label=tabu&dbmode=cache&vardir=/usr/local/dpsearch/vartabu&WrdFiles=1&URLDataFiles=1&StoredFiles=1

После этого в нужном месте поискового шаблона нужно разместить этот
код, выводящий рекламный блок в зависимости от поискового запроса:

<!INCLUDE CONTENT="http://www.site.ext/cgi-bin/search.cgi?q=$%(q:utf-8)&m=any&sp=1&sy=1&GroupBySite=no&ps=1&tmplt=tabu.htm&label=tabu">

2012/3/7 Vany Osipov <waww...@gmail.com>:

> Присоединяюсь к itJunky,тока мне надо,чтобы блок,просто блок,выезжал,т.е
> зависел от запроса

--

[Vany Osipov]

Спасибо ,Максим

[Vany Osipov]

Максим,а как сделать так,чтобы результаты были выравнены,а то некоторые сайты от левой стороны плывут

[Maxim Zakharov]

Установите в поисковом шаблоне команды

GrBeg &nbsp;

GrEnd &nbsp;

2012/3/10 Vany Osipov <waww...@gmail.com>

Максим,а как сделать так,чтобы результаты были выравнены,а то некоторые сайты от левой стороны плывут

[Vany Osipov]

Максим,а можете поподробнее рассказать о распределении работы движка на несколько компьютеров

[Vany Osipov]

Если бы ваш скрипт был написан на  c++,было бы вообще круто.Или вы не знаете C++?тогда ясно.

[itJunky]

Скрипты не пишут на компилируемых языках. Вообще непонятно о чём речь в этом сообщении. Насколько я понимаю DPS итак на сях написан =)

четверг, 26 апреля 2012 г., 17:20:14 UTC+4 пользователь Vany Osipov написал:

[Vany Osipov]

Ну так давайте продолжим развитие проекта, я неплохо знаю html css(могу помочь с дизайном),вы хороший программист,знаете c++,наверняка php.Вот на разных форумах еще можно пару человек найти.ВСем будет очень интересно,уже представляю на хабре DPS возвращается!!!!.Ну как предложение?

[itJunky]

С++ я знаю не достаточно чтобы вносить серьёзные коррективы. И вообще я не прогер, а админ. Внести свой вклад я готов. Вопрос лишь в том, куда! Вот Вы предлагаете что-то делать, а что именно не пишете. Для начала надо понять, что более всего необходимо проекту, а затем понять имеются ли средства для реализации желаемого, ну и так далее по Вашей схеме.

вторник, 15 мая 2012 г., 21:06:52 UTC+4 пользователь Vany Osipov написал:

[Vany Osipov]

Ну вопервых,надо сделать другой дизайн,в демке староват.Этим мы покажем,что началось развитие.Далее нужно ускорить работу скрипта,можно привлечь Максима(все-таки создатель наверняка лучше знает,может есть какие-то баги),также можн сделать редизайн сайта,и прям там разместить демо,возродить форум.Ну ,а когда все будет круто выпустить версии для винды и других платформ.

[itJunky]

Планы прямо наполеоновские =)))

Дизайн, конечно, можно поменять, но кто из нас дизайнер? Да и кроме того, каждый, кто установил движок, рисует дизайн странички по-своему, как правило в стиле уже имеющегося сайта или корпоративном стиле компании, как в моём случае. Посему дефолтная страничка почти никакого значения не имеет.

Какой скрипт нужно ускорять? Я что-то вообще не особо много скриптов знаю в составе поисковика. 

Дизайн сайта опять же должен рисовать дизайнер...

Форумом я мог бы заняться с лёгкостью, если мне предоставят доступ. 

Версии для виндов полный бред! Во-первых, тут никто не сможет портировать это всё хозяйство. Во-вторых даже сам некрософт почему-то выбрал линукс для 10 тысяч серверов через которые они теперь будут гонять траффик скайпа. Почему? Очевидно же что они понимают несостоятельность своей ОС как серверной.

Под какие ещё системы надо адаптировать поисковик я слабо понимаю, ибо под всеми остальными он и так пашет.

среда, 16 мая 2012 г., 19:04:04 UTC+4 пользователь Vany Osipov написал: