Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB59.1260
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 22.10.2008, 12:03   #1
samprof
Юниор
 
Регистрация: 17.08.2007
Сообщений: 9
Бабло: $550
По умолчанию Парсинг гугла

Доброго!
вопросик такой... какая должна быть задержка при парсинге гугла (даже с запасом), чтобы гугл не почитал меня ботом?
Спасибо!
samprof вне форума  
Старый 22.10.2008, 12:11   #2
sic
Senior Member
 
Аватар для sic
 
Регистрация: 06.06.2007
Сообщений: 577
Бабло: $46600
По умолчанию

он в конце-концов все равно забанит, если кол-во запросов будет большим или будут часто применяться операторы inurl, intitle и т.д.
но конец можно оттянуть, поставив таймаут в 5 секунд
sic вне форума  
Старый 22.10.2008, 12:38   #3
Mop9a
Senior Member
 
Регистрация: 13.01.2008
Сообщений: 260
Бабло: $53844
По умолчанию

Поэкспериментируй, есть и другие мнения о задержке, от которой будет польза - 10 секунд, 17 секунд... Точно сложно сказать, вероятно еще и от запросов зависит.
Mop9a вне форума  
Старый 22.10.2008, 12:41   #4
samprof
Юниор
 
Регистрация: 17.08.2007
Сообщений: 9
Бабло: $550
ТС -->
автор темы ТС По умолчанию

Просто была задержка 5 сек.... дето через пол часа таки забанил....
сейчас поставил 30 сек.... посотрим что будет....
samprof вне форума  
Старый 22.10.2008, 13:05   #5
Vetaln
Vbest
 
Регистрация: 20.07.2007
Адрес: Харьков
Сообщений: 98
Бабло: $12950
Отправить сообщение для Vetaln с помощью ICQ
По умолчанию

Меньше пользуйся операторами inurl,intitle,intext
__________________
Блог
Vetaln вне форума  
Старый 22.10.2008, 13:28   #6
samprof
Юниор
 
Регистрация: 17.08.2007
Сообщений: 9
Бабло: $550
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Vetaln Посмотреть сообщение
Меньше пользуйся операторами inurl,intitle,intext
Вобщемто там оператор site:
samprof вне форума  
Старый 22.10.2008, 13:53   #7
WebNinja
grablab.org
 
Аватар для WebNinja
 
Регистрация: 18.09.2007
Адрес: Thailand
Сообщений: 4,921
Бабло: $322214
Отправить сообщение для WebNinja с помощью ICQ Отправить сообщение для WebNinja с помощью Skype™
По умолчанию

слышал что если парсить без операторов, то через некоторое время гугл привыкает, всетаки может быть корпоративная сеть с одним внешним Ip.
WebNinja вне форума  
Старый 22.10.2008, 14:10   #8
mudoeb
Senior Member
 
Регистрация: 29.11.2007
Сообщений: 581
Бабло: $500
По умолчанию

тс, делай таймаут не фиксированным а случайным в пределах определённого значения
mudoeb вне форума  
Старый 22.10.2008, 16:38   #9
booblik
белорусский гений :]
 
Регистрация: 21.06.2008
Адрес: Minsk, Belarus
Сообщений: 94
Бабло: $3080
Отправить сообщение для booblik с помощью ICQ
По умолчанию

а что, если через soap работать, тоже банит? О_О
booblik вне форума  
Старый 22.10.2008, 18:41   #10
Vasek
Senior Member
 
Аватар для Vasek
 
Регистрация: 17.11.2007
Сообщений: 104
Бабло: $13865
По умолчанию

Цитата:
Сообщение от booblik Посмотреть сообщение
а что, если через Soap работать, тоже банит? О_О
так там вроде ж ограничение в 1000 запросов на ключ в сутки, и ключи уже не выдают, если я ничего не путаю
Vasek вне форума  
Закрытая тема



Опции темы
Опции просмотра