Как реализовать свою Поисковую Систему?

[Anomaly]

Здравствуйте, нужно организовать свою собственную поисковую систему, которая будет индексировать строго заданные сайты. Посоветуйте качественный движок, на котором это можно реализовать?

Спасибо

[Anomaly]

Сообщение от smsupport

Есть еще всякие децентрализованные поисковые движки, peer-to-peer. Минимум ресурсов, максимум производительности.

где? я вообще нашел эти два:
http://www.inoutscripts.com/demo/ino...h-engine/demo/
http://www.azizisearch.com/demo
думал идеально подойдут, но программисты сказали что они индексируют только собственные базы хотя написано - Google Clone

[smsupport]

Сообщение от Anomaly

где? я вообще нашел эти два:
http://www.inoutscripts.com/demo/ino...h-engine/demo/
http://www.azizisearch.com/demo
думал идеально подойдут, но программисты сказали что они индексируют только собственные базы хотя написано - Google Clone

гугл поможет

[digg]

Сообщение от Anomaly

кто именно? Scrappy?

ну я бегло глянул на код, увидел это

PHP код:

response.css('ul li a::attr("href")').re(r'.*/\d\d\d\d/\d\d/$') 


и хуй сразу повис исходя из личного опыта парсинга всяких сразношерстных сайтов

[seorevenue]

http://www.makeuseof.com/tag/open-so...ming-projects/
а так же моугт помочь www.krugle.org, www.merobase.com, opengrok.github.io/OpenGrok/

[chesser]

Сообщение от digg

сразу повис исходя из личного опыта парсинга всяких сразношерстных сайтов

чини html и строй dom, тогда и стоять будет

книжка про то, как в теории работают поисковики: http://nlp.stanford.edu/IR-book/
на практике реализации отличаются плюс/минус, но это не отменяет полезность этой книжки

[cafen]

Занимался в свое время поисковыми системами, понравился больше всего проект на основе datapark. Проект до сих пор жив, только вот базы давно не обновлял. Легко справился с несколькими регионами России. Было в планах весь рунет охватить, но пока забросил эту идею, т.к. нужны сервера, много серверов, а денег нету на развитие. Если нужно, помогу настроить, есть опыт. Не знаю можно ли ссылку оставить в первом сообщении, вот что получилось у меня http://botmy.com

[sliderxxx]

ТС, ты бы хоть написал какой ЯП. И вообще писать собрался или готовое юзать. А то получается ...принеси то, не знаю что.

Сам сейчас вот с этим разбираюсь - https://github.com/PuerkitoBio/fetchbot

[SANches]

Сообщение от Anomaly

которая будет индексировать строго заданные сайты

а какие именно сайты?

[lorien]

Если сайтов небольшое количество, то, возможно, есть смысл написать свой парсер для каждого сайта т.к. в разработке универсального паука можно наступить на множество граблей.

[Zherebets]

Elasticsearch (elastic.co)