|
|
| | Дата |
|
| USD/RUB | 89.7619 | | BTC/USD | 40709.5179 |
|
|
|
| Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии. |
22.10.2008, 12:03
|
#1
|
|
Юниор
|
Парсинг гугла
Доброго!
вопросик такой... какая должна быть задержка при парсинге гугла (даже с запасом), чтобы гугл не почитал меня ботом?
Спасибо!  |
|
|
|
22.10.2008, 12:11
|
#2
|
|
Senior Member
Регистрация: 06.06.2007
Сообщений: 568
Бабло: $46600
|
он в конце-концов все равно забанит, если кол-во запросов будет большим или будут часто применяться операторы inurl, intitle и т.д.
но конец можно оттянуть, поставив таймаут в 5 секунд
|
|
|
|
|
22.10.2008, 12:38
|
#3
|
|
Senior Member
Регистрация: 13.01.2008
Сообщений: 260
Бабло: $53844
|
Поэкспериментируй, есть и другие мнения о задержке, от которой будет польза - 10 секунд, 17 секунд... Точно сложно сказать, вероятно еще и от запросов зависит.
|
|
|
|
|
22.10.2008, 12:41
|
#4
|
|
Юниор
Регистрация: 17.08.2007
ТС -->
|
ТС
Просто была задержка 5 сек.... дето через пол часа таки забанил....
сейчас поставил 30 сек.... посотрим что будет....
|
|
|
|
|
22.10.2008, 13:05
|
#5
|
|
Vbest
Регистрация: 20.07.2007
Адрес: Харьков
Сообщений: 98
Бабло: $12950
|
Меньше пользуйся операторами inurl,intitle,intext
__________________
Блог 
|
|
|
|
|
22.10.2008, 13:28
|
#6
|
|
Юниор
Регистрация: 17.08.2007
ТС -->
|
ТС
Цитата:
Сообщение от Vetaln
Меньше пользуйся операторами inurl,intitle,intext
|
Вобщемто там оператор site: |
|
|
|
|
22.10.2008, 13:53
|
#7
|
|
grablab.org
Регистрация: 18.09.2007
Адрес: Thailand
Сообщений: 4,893
Бабло: $322264
|
слышал что если парсить без операторов, то через некоторое время гугл привыкает, всетаки может быть корпоративная сеть с одним внешним Ip.
|
|
|
|
|
22.10.2008, 14:10
|
#8
|
|
Senior Member
Регистрация: 29.11.2007
Сообщений: 581
Бабло: $500
|
тс, делай таймаут не фиксированным а случайным в пределах определённого значения
|
|
|
|
|
22.10.2008, 16:38
|
#9
|
|
белорусский гений :]
Регистрация: 21.06.2008
Адрес: Minsk, Belarus
Сообщений: 94
Бабло: $3080
|
а что, если через soap работать, тоже банит? О_О
|
|
|
|
|
22.10.2008, 18:41
|
#10
|
|
Senior Member
Регистрация: 17.11.2007
Сообщений: 104
Бабло: $13875
|
Цитата:
Сообщение от booblik
а что, если через Soap работать, тоже банит? О_О
|
так там вроде ж ограничение в 1000 запросов на ключ в сутки, и ключи уже не выдают, если я ничего не путаю |
|
|
|
| Опции темы |
|
|
| Опции просмотра |
 Линейный вид
|
|
