Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.6120
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 11.11.2011, 02:18   #1
RS500
Ебланнед
 
Регистрация: 28.10.2011
Сообщений: 52
Бабло: $11710
По умолчанию Парсинг Хрефом

Как заставить Хреф парсить гугл много и долго? Обычные прокси не помогают, парсит минут 10 потом тишина.
__________________
А с чего ты думаешь они рефские платят? С шейва! ©
RS500 вне форума  
Старый 11.11.2011, 02:21   #2
katardy
Where is my fucking money
 
Аватар для katardy
 
Регистрация: 30.12.2008
Сообщений: 594
Бабло: $72216
По умолчанию

побольше прокси
__________________
😺 💩😸💩 😻💩 😽💩 😼💩 🙀💩 😿💩 C22H30N6O4S
katardy на форуме  
Старый 11.11.2011, 02:22   #3
RS500
Ебланнед
 
Регистрация: 28.10.2011
Сообщений: 52
Бабло: $11710
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от katardy Посмотреть сообщение
побольше прокси
обычных или только соксы?
__________________
А с чего ты думаешь они рефские платят? С шейва! ©
RS500 вне форума  
Старый 11.11.2011, 02:28   #4
katardy
Where is my fucking money
 
Аватар для katardy
 
Регистрация: 30.12.2008
Сообщений: 594
Бабло: $72216
По умолчанию

2-3к паблик проксей и кое-что можно собрать
__________________
😺 💩😸💩 😻💩 😽💩 😼💩 🙀💩 😿💩 C22H30N6O4S
katardy на форуме  
Старый 11.11.2011, 02:31   #5
RS500
Ебланнед
 
Регистрация: 28.10.2011
Сообщений: 52
Бабло: $11710
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от katardy Посмотреть сообщение
2-3к паблик проксей и кое-что можно собрать
кое-что я и на 200 проксях собирал, но этого мало.
а еще какие-то настройки нужны? там задержки перед запросом?
может число потоков уменьшить с 50 до 10?
__________________
А с чего ты думаешь они рефские платят? С шейва! ©
RS500 вне форума  
Старый 11.11.2011, 02:42   #6
katardy
Where is my fucking money
 
Аватар для katardy
 
Регистрация: 30.12.2008
Сообщений: 594
Бабло: $72216
По умолчанию

200 это очень мало
__________________
😺 💩😸💩 😻💩 😽💩 😼💩 🙀💩 😿💩 C22H30N6O4S
katardy на форуме  
Старый 11.11.2011, 03:13   #7
Buga
Senior Member
 
Регистрация: 28.04.2008
Сообщений: 755
Бабло: $132960
По умолчанию

на хуевых проксях плохо парсит, нужны качественные тогда все ок
Buga вне форума  
Старый 11.11.2011, 03:55   #8
Botmaster
Senior Member
 
Аватар для Botmaster
 
Регистрация: 01.07.2007
Сообщений: 704
Бабло: $103605
По умолчанию

Море прокси это неплохо, но есть и другие варианты, поинтересней. Вот 2 навскидку.

Способ 1
См.статью "Парсинг без границ" здесь (к хреферу правда отношение имеет отдалённое)

Способ 2
Ни для кого не секрет, что выдачу гугла можно увидеть не только на google.com - по лицензии гугла работают многие порталы по всему миру.

Например, гугловскую выдачу имеют go.mail.ru, search.icq.com и многие другие. Какие-то из них имеют автобан за парсинг по IP, а какие-то можно парсить без прокси, сколько душе угодно. Находим такой клон гугла, настраиваем на него Hrefer через "Tuning", и вперёд.
Botmaster на форуме  
Старый 11.11.2011, 08:48   #9
Sultan
на позитиве!
 
Аватар для Sultan
 
Регистрация: 23.01.2011
Сообщений: 1,707
Бабло: $302145
По умолчанию

можно под анонимайзеры тюнить
Sultan на форуме  
Старый 11.11.2011, 17:52   #10
RS500
Ебланнед
 
Регистрация: 28.10.2011
Сообщений: 52
Бабло: $11710
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от Buga Посмотреть сообщение
на хуевых проксях плохо парсит, нужны качественные тогда все ок
где их взять?
__________________
А с чего ты думаешь они рефские платят? С шейва! ©
RS500 вне форума  
Закрытая тема



Опции темы
Опции просмотра