парсинг Goggle, Bing, Yandex, etc на заказ

[sergeospb]

Есть возможность организовать в тестовом варианте (прощупать рынок) парсинг Goggle(пока только Goggle). Если будет интерес организуем всевозможных SE. По цене скажем 40-50$ за 1 000 000 результатов уникальных по домену. Запросы без inurl, intitle, etc. Иначе банит ip моментально и не "отпускает" временами до недели. К сожалению, при таком варианте будет попадаться "мусор". Так как скорость парсинга зависит от качества самих запросов, довольно сложно оценивать работу. Пока ограничим временем парсинга - три дня, 50 потоков на клиента, пауза 1 секунда. Пример:

То есть, оплата будет как за 1М, даже если за три дня выпарсилось меньше. Пока все работает в тестовом варианте, возможны некоторые недочеты.

[Forbidden]

Какие шутки? ) я серьезно

[Strikelol]

ты по-моему перепутал, твой хлеб без inurl. мой с inurl. И я предлогал только тебе, а не твоим клиентам. И то исключительно чтобы показать что ты ленишься сделать нормально.

[sergeospb]

Сообщение от Forbidden

Какие шутки? ) я серьезно

Бля, а скидка на покупку стопицот штук супер-пупер-мега-крутого парсера будет?

Сообщение от Strikelol

ты по-моему перепутал, твой хлеб без inurl. мой с inurl. И я предлогал только тебе, а не твоим клиентам. И то исключительно чтобы показать что ты ленишься сделать нормально.

Хочется поговорить, велкам в личку. Что я посчитал нужным сказать в паблике - я это сделал. Остальное не для паблика. Парсинг партнеров гугла и тому подобное - боян, выдача ограничена.

Сообщение от Strikelol

Типа есть парсер баблса - как заработаем 200$ еще - купим A-parser и будем парсить остальное?
п.с. я себе паршу с инурл и нормально все парсится.

А еще я "купил" линукса себе и теперь бапке хочу отбить

2012-06-14 20:33:05+0400 [Bing] INFO: Crawled 17075 pages (at 770 pages/min), scraped 13702 items (at 819 items/min), dropped 88140 items (at 4715 items/min)
2012-06-14 20:34:06+0400 [Bing] INFO: Crawled 17835 pages (at 760 pages/min), scraped 14103 items (at 401 items/min), dropped 92960 items (at 4820 items/min)
2012-06-14 20:35:05+0400 [Bing] INFO: Crawled 18587 pages (at 752 pages/min), scraped 14638 items (at 535 items/min), dropped 97796 items (at 4836 items/min)
2012-06-14 20:36:05+0400 [Bing] INFO: Crawled 19370 pages (at 783 pages/min), scraped 15133 items (at 495 items/min), dropped 102427 items (at 4631 items/min)
2012-06-14 20:37:05+0400 [Bing] INFO: Crawled 20096 pages (at 726 pages/min), scraped 15580 items (at 447 items/min), dropped 106912 items (at 4485 items/min)
2012-06-14 20:38:05+0400 [Bing] INFO: Crawled 20812 pages (at 716 pages/min), scraped 16169 items (at 589 items/min), dropped 111323 items (at 4411 items/min)
2012-06-14 20:39:05+0400 [Bing] INFO: Crawled 21661 pages (at 849 pages/min), scraped 16827 items (at 658 items/min), dropped 115666 items (at 4343 items/min)
2012-06-14 20:40:05+0400 [Bing] INFO: Crawled 22443 pages (at 782 pages/min), scraped 18512 items (at 1685 items/min), dropped 120173 items (at 4507 items/min)
2012-06-14 20:41:05+0400 [Bing] INFO: Crawled 23140 pages (at 697 pages/min), scraped 19150 items (at 638 items/min), dropped 124503 items (at 4330 items/min)
2012-06-14 20:42:05+0400 [Bing] INFO: Crawled 23831 pages (at 691 pages/min), scraped 19542 items (at 392 items/min), dropped 128899 items (at 4396 items/min)
2012-06-14 20:43:06+0400 [Bing] INFO: Crawled 24722 pages (at 891 pages/min), scraped 20050 items (at 508 items/min), dropped 133694 items (at 4795 items/min)
2012-06-14 20:44:05+0400 [Bing] INFO: Crawled 25395 pages (at 673 pages/min), scraped 20388 items (at 338 items/min), dropped 137983 items (at 4289 items/min)
2012-06-14 20:45:05+0400 [Bing] INFO: Crawled 26079 pages (at 684 pages/min), scraped 20685 items (at 297 items/min), dropped 141755 items (at 3772 items/min)
2012-06-14 20:46:05+0400 [Bing] INFO: Crawled 26810 pages (at 731 pages/min), scraped 20878 items (at 193 items/min), dropped 146774 items (at 5019 items/min)
2012-06-14 20:47:05+0400 [Bing] INFO: Crawled 27537 pages (at 727 pages/min), scraped 21191 items (at 313 items/min), dropped 151411 items (at 4637 items/min)
2012-06-14 20:48:05+0400 [Bing] INFO: Crawled 28244 pages (at 707 pages/min), scraped 21470 items (at 279 items/min), dropped 155628 items (at 4217 items/min)
2012-06-14 20:49:05+0400 [Bing] INFO: Crawled 28987 pages (at 743 pages/min), scraped 21895 items (at 425 items/min), dropped 159895 items (at 4267 items/min)
2012-06-14 20:50:05+0400 [Bing] INFO: Crawled 29616 pages (at 629 pages/min), scraped 22552 items (at 657 items/min), dropped 163430 items (at 3535 items/min)
2012-06-14 20:51:07+0400 [Bing] INFO: Crawled 30299 pages (at 683 pages/min), scraped 26353 items (at 3801 items/min), dropped 168672 items (at 5242 items/min)

P.S. последний раз в тебе тут ответил.

[Forbidden]

Троль какой то ) ему одно говорят а он чушь несет какую то

[sergeospb]

Сообщение от Forbidden

Троль какой то ) ему одно говорят а он чушь несет какую то

Слушай, я не против ни тебя, ни твоих продуктов. И тем не менее ты зачем пришел в мою тему? Ты точно не потенциальный клиент, мне есть что сказать и тебе и другим. Но я не хочу говорить это в паблике. Так что ты ставишь меня не в очень удобное положение. Хочешь поговорить - велкам в личку, я всегда рад обменяться опытом.

[Forbidden]

Да и я не против твоего топика, но зачем откровенно троллить то? Я сказал как _есть_, а ты передергивать начал.

Можешь не отвечать, и я тогда не буду

[sergeospb]

Сообщение от Forbidden

Да и я не против твоего топика, но зачем откровенно троллить то? Я сказал как _есть_, а ты передергивать начал.

Можешь не отвечать, и я тогда не буду

В личку отписал я

[NTллигент]

Я что-то не понимаю. А в чем проблема для юзера купить парсер баблса или форбидена? Зачем им ты со своей "услугой"?

[sergeospb]

Сообщение от NTллигент

Я что-то не понимаю. А в чем проблема для юзера купить парсер баблса или форбидена? Зачем им ты со своей "услугой"?

На первый взгляд ни в чем. Зачем пользоваться такси, если можно купить машину? По идее, каждый имеет право выбора. Я так понимаю, что вопрос в деньгах. Говоря цену, я исходил из расходов, а расходы на парсинг не такие уж и маленькие. Сервер+прокси+прямые руки+софт и так далее. Таким людям все это неинтересно, речи нет. Или я чего то не понимаю, или есть у каждого первого есть доступ к простыне проксей с ротейтом. Я долго парсил и с прокси и партнеров по выдаче, я точно знаю о чем речь.

В принципе, можно "эмулировать" inurl, добавив негативные и положительные фильтры на спарсенный урл. То есть, люди получат базу без мусора.

[sergeospb]

Принято решение протестировать сервис без оплаты. Подробности - хттп_форум_поддержки_х*мера/index.php?showtopic=10515.