Как сейчас парсить Google? - Форум успешных вебмастеров - GoFuckBiz.com - Страница 2
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Поисковые системы
Дата
USD/RUB88.6852
BTC/USD67895.7768
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д.

Закрытая тема
Опции темы Опции просмотра
Старый 18.07.2010, 23:37
Start Post: Как сейчас парсить Google? 
  #11
smiler
Senior Member
 
Аватар для smiler
 
Регистрация: 30.07.2007
Сообщений: 400
Бабло: $83831
По умолчанию

Мужики! Кто чем парсит Гуглю? Он сейчас добавляет случайный кей в урл запроса и Хрефер обламывается
Есть у кого рабочие варианты?
smiler вне форума  
Старый 19.07.2010, 21:55   #12
Rombl4
Ромыч
 
Аватар для Rombl4
 
Регистрация: 16.07.2008
Сообщений: 1,295
Бабло: $154950
По умолчанию

http://sourceforge.net/projects/simplehtmldom/files/
Rombl4 вне форума  
Старый 19.07.2010, 21:57   #13
Ocelot
Senior Member
 
Аватар для Ocelot
 
Регистрация: 23.09.2007
Адрес: Siberia
Сообщений: 367
Бабло: $42275
По умолчанию

Цитата:
Сообщение от Drunk Monk Посмотреть сообщение
Хрефер, как выяснилось, малоэффективен даже по сравнению с однопоточной версией того, что можно сделать самому.
без пруфлинка низачет!
Ocelot вне форума  
Старый 19.07.2010, 22:01   #14
Drunk Monk
Je suis moine ivre
 
Аватар для Drunk Monk
 
Регистрация: 03.03.2009
Сообщений: 15,250
Бабло: $797172957
По умолчанию

http://tinyurl.com/c78bau
Drunk Monk вне форума  
Старый 19.07.2010, 22:47   #15
lance
Синьор
 
Аватар для lance
 
Регистрация: 30.05.2008
Сообщений: 972
Бабло: $153121
По умолчанию

А есть чё серверное сейчас? Аура вроде не парсит уже.
lance вне форума  
Старый 19.07.2010, 23:28   #16
sunford
Senior Member
 
Аватар для sunford
 
Регистрация: 10.04.2007
Сообщений: 281
Бабло: $55916
По умолчанию

еще как парсит
sunford вне форума  
Старый 20.07.2010, 00:00   #17
BVz
Member
 
Аватар для BVz
 
Регистрация: 05.10.2009
Сообщений: 84
Бабло: $11550
По умолчанию

Лучше всего самому заказать на php, если что - быстренько поменял и работай, а не ждать всяких БМ, которые хрум полгода выпускают
BVz вне форума  
Старый 23.07.2010, 00:11   #18
PROK
рамамба хару мамбуру
 
Аватар для PROK
 
Регистрация: 09.12.2008
Сообщений: 1,461
Бабло: $186145
По умолчанию

Цитата:
Сообщение от mr. werewolf Посмотреть сообщение
У меня с такой настройкой в engines.ini все отлично парсится :
уже не парсит, не получается настроить, хотя, вроде, ничего особенного нет. у кого-нибудь получилось?
поправил, парсит

Последний раз редактировалось PROK; 23.07.2010 в 00:27.
PROK вне форума  
Старый 30.07.2010, 18:34   #19
tcp
Юниор
 
Регистрация: 06.04.2007
Сообщений: 5
Бабло: $1110
По умолчанию

эх раньше использовал Google Api key
tcp вне форума  
Старый 30.07.2010, 19:22   #20
IFund
Senior Member
 
Регистрация: 24.09.2009
Сообщений: 266
Бабло: $49180
По умолчанию

да все парсит - у меня была такая засада дней 7, потом пошарился по форуму бутмастера. Вот такая строка (гугл классик прям сейчас парсит) точно работает на 100%:

[Google Classic]
Hostname=http://www.google.com
Query=search?as_q=[QUERY]&num=100&hl=en&output=ie
LinksMask=<li class=g><h3 class="r">[...]href="[LINK]"
TotalPages=10
NextPage=</a><td class=b><a href="[LINK]" class=pn
NextPage2=</a> <a href=[LINK] target=_self>
[Google Mobile]
Hostname=http://[GOOGLEHOST]
Query=m?q=[QUERY]
LinksMask=amp;source=m&amp;rd=1[...]u=[LINK]"
TotalPages=100
NextPage=<div class="pagenav"><a href="[LINK]"
NextPage2=</a> - <a href="[LINK]"[Google-форумы за неделю]

еще у меня глюки с проксями были - собранный список проксей хрумером на дубли прогоните - отсеется куча дублей (у меня процентов 60%) - ну и потоков ставьте 10% от проксей.
IFund вне форума  
Старый 11.08.2010, 17:14   #21
Retset
black chaser
 
Аватар для Retset
 
Регистрация: 28.10.2008
Сообщений: 416
Бабло: $42930
По умолчанию

Цитата:
Сообщение от sunford Посмотреть сообщение
еще как парсит
Aura Proff?
Retset вне форума  
Закрытая тема