Мега-сканер интернета

[SillyMamont]

Скажите уважаемые, а вам никогда не хотелось иметь своего собственного
поискового паука, скажем вроде тех, что есть у Гугла? Который ходил бы
по всему тырнету и заботливо просеивал его выбирая крупицы действительно
нужной информации. Я имею в виду не глобальную индексацию всего и вся, а
сбор конкретной интересующей вас информации и статистики.

Вот и мне такую штуку хотелось, поэтому я с еще парой единомышленников
разрабатываю такого паука. Как таковой он уже есть и занимается в данный
момент своими прямыми обязанностями.

Но пришел я сюда не только для того чтобы похвастаться этим фактом, а хочу
предложить вам услуги по его совместному использованию. Многие из присутствующих
здесь занимаются к примеру насилованием гугла на предмет собирания баз гостевух
и форумов. Так почему бы не подойти к этому процессу с обратной стороны, можно
ведь обойти все сайты и на каждом конкретном сайте найти гостевуху и форум.
Думаете обойти весь тырнет невозможно в принципе? Да ни боже мой, достаточно с
каждого сайта запросить лишь часть страниц чтобы узнать о нем практически все.
В данный момент мой краулер перелопачивает сайты со скоростью 30 миллионов штук
в сутки и это далеко не предел.

Как вы понимаете все это удовольствие требует
некоторых финансовых затрат на сервера, трафик и прочее. Итак как вы уже поняли
я предлагаю использовать моего паука для сбора нужной конкретно вам информации.
Ну к примеру, хотите напарсить форумов или блогов, пожалуйста, парсер уже сейчас
умеет определять более 100 популярных движков. Хотите собрать кейвордов, тоже
не трудно, все кейворды со всех сайтов в вашем распоряжении. Хотите собрать базу
совсем уж специфичной информации и сделать супер-пупер сервис, не вопрос, любой
каприз за ваши деньги.

Сколько денег? Скажем разовый пробег по всему рунету обойдется вам всего
в 100 долларов. А пробег по 50 миллионам буржуйских сайтов обойдется в 400, что
тоже вполне вменяемо. Вобщем все обсуждается. От вас требуется только
конкретное задание.

Вопросы можно задавать в топике или слать на почту [email protected],
ну или стучать в аську 884240, но в аське я редко бываю.

[spomoni]

Подозрительно странное выравнивание по левому краю поста )

[Gres]

у alexf есть паук свой как я помню)

[SillyMamont]

Сообщение от Smilex

у alexf есть паук свой как я помню)

ну какбы написать себе такого паука может каждый, и у многих есть свои
наработки, казалось бы делов то, но тут наиболее затратное место это сервера,
у меня их 8 сейчас и этого мало, хочу брать еще, поэтому и хочу окупить часть
затрат.

[egorych]

у всех по-моему такая идея возникает однажды, но после рассчетов как и когда окупать все затраты пыл немного угасает

достаточно почитать какие вложения нужны были гуглу на первый толчок в развитии - миллионы и миллионы. это в то время когда интернет был еще в зачаточном состоянии по сравнению с современным...

вебальта была одним из таких пафосных стартапов - и где она теперь?

[SillyMamont]

Сообщение от egorych

у всех по-моему такая идея возникает однажды, но после рассчетов как и когда окупать все затраты пыл немного угасает

достаточно почитать какие вложения нужны были гуглу на первый толчок в развитии - миллионы и миллионы. это в то время когда интернет был еще в зачаточном состоянии по сравнению с современным...

вебальта была одним из таких пафосных стартапов - и где она теперь?

Задача индексировать все и вся, которая стояла перед гуглом, перед нами
как раз не стоит, мне для полностью комфортной работы хватило бы штук
15 серверов и 10 терабайт места, я ведь не собираюсь хранить все, хранится
только выжимка. Сейчас у меня половина таких мощностей и некоторые трудности
бывают.

[Chin]

Фришные пауки есть очень серьезные.

[Maximus325]

Сообщение от Chin

Фришные пауки есть очень серьезные.

Например?
Мне не лень искать, интересно просто твой мнение какие из них суть серьёзные.

[Chin]

Мое мнение тут врядли будет по делу, но года полтора назад у меня эта тема серьезно обсуждалась и народ приводил примеры и даже юзал и инфу давал.

[Dr.Gonzo]

Сообщение от Chin

Мое мнение тут врядли будет по делу, но года полтора назад у меня эта тема серьезно обсуждалась и народ приводил примеры и даже юзал и инфу давал.

Хуясе. Надо поискать, пару месяцев назад пол-инета перерыл, не нашёл ничего вменяемого...