Отпарсю гугл

[luxer]

Т.к. в данный момент сервер с хрефером простаивает, то готов оказать услуги парсинга гугла по вашим признакам.

Для теста решил выложить свежую базу форумов, собранную по публичным признакам с какого-форума в выдаче примерно за 14 часов парсинга. На картинке вы можете увидеть, что за последние 6 с половиной часов было отсеяно почти 30 МИЛЛИОНОВ дублей. Так что скорость парсинга очень высока.
Ну и ссылка на саму базу. База никак не фильтровалась (кроме дублей самим Хрефером, разумеется).

Что-то небольшое (до 500к результатов.) могу выпарсить бесплатно.

За сутки вполне реально спарсить более миллиона уникальных ссылок.

Цены: от 500к до 1кк = $30. После 20$ за каждый 1кк результатов.

[jskorvin]

indigo, дык топик то об услугах парсинга, а я вынюхиваю про обход бана.

[Sultan]

скрин, может быть липовым.
из доступного, для обхода: ip маскарад, поисковики на их api..
хотя может у тс волшебная wi-fi точка от гугл.

[jskorvin]

Сообщение от Sultan

скрин, может быть липовым.
из доступного, для обхода: ip маскарад, поисковики на их api..
хотя может у тс волшебная wi-fi точка от гугл.

Еще неделю назад достаточно было побаловаться с датами при поиске и бана не было, в пару сотен потоков, с операторами, без прокси. Точно знаю, что еще пара способов есть

[luxer]

UP: Сервер с хрефером снова свободен

[luxer]

UP: Свободен.
Для оценки скорости: за 5 часов работы больше 20 млн. дублей. Скрин

[luxer]

UP: Актуально, свободно. Возможен парсинг как хрефером, так и баблопарсером.
ЗЫ: Любителям попечь пироги могу предложить базу ВП плогов, в 5,1кк, почищенную от блогхостингов, каждый урл ведет к папке, где установлен ВП (http://site.com/blog/, а не http://site.com/blog/date/post и т.п.). Размер 164 мб. Ценник = 150$.

[παφ]

Сообщение от luxer

ЗЫ: Любителям попечь пироги могу предложить базу ВП плогов, в 5,1кк, почищенную от блогхостингов, каждый урл ведет к папке, где установлен ВП (http://site.com/blog/, а не http://site.com/blog/date/post и т.п.). Размер 164 мб. Ценник = 150$.

если бы еще по версиям отсортировал, цены бы тебе не было

[luxer]

Сообщение от παφ

если бы еще по версиям отсортировал, цены бы тебе не было

Если отсортирую, цена раза в 2-3 вырастет.

[luxer]

Update: теперь цена за первые 100к-1кк = 50$, после 1кк за каждые 500к-1кк еще по 30$.
Если парситься что-то бесплатно (до 500к результатов, то потом будет выложено в паблик, учтите заранее).
Цена на парсинг хрефером с Sieve-Filer = базовая цена*2, "бесплатного порога" нет.

[dim7]

Сообщение от luxer

UP: Свободен.
Для оценки скорости: за 5 часов работы больше 20 млн. дублей. Скрин

а что разве кол-во дублей это качественный показатель парсинга?