Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB59.1160
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 23.02.2008, 23:21   #1
se_home
Member
 
Аватар для se_home
 
Регистрация: 05.08.2007
Сообщений: 72
Бабло: $875
По умолчанию Yahoo Site Explorer - чем парсить?

Кто что может посоветовать для парсинга Yahoo Site Explorer? Оказалось, что Hrefer его не парсит, а жаль...
se_home вне форума  
Старый 24.02.2008, 09:22   #2
Valdis
просто хороший человек
 
Регистрация: 04.04.2007
Сообщений: 41
Бабло: $500
По умолчанию

давным-давно автор спамита кайзер продавал парсер гугла.
я меняю регулярки, меняю запросы - в результате этот скрипт прекрасно парсит все поисковики, в том числе Yahoo Site Explorer.
Там минимум изменений в одном файле. Вообще с Yahoo Site Explorer все просто - там же по API урлы отдаются явно. вот только зараза банит быстро - 1000 запросов с одного ИПа в сутки.
__________________
Инвайты на VipCodec,
CashCodec
Valdis вне форума  
Старый 24.02.2008, 20:13   #3
alexf2000
Senior Member
 
Аватар для alexf2000
 
Регистрация: 04.04.2007
Сообщений: 266
Бабло: $3333
По умолчанию

У яхи есть апи, там официально дают делать по 10000 запросов в сутки, ответ в виде хмл, то есть парсить ничего не надо.
alexf2000 вне форума  
Старый 24.02.2008, 23:15   #4
false
true
 
Регистрация: 26.09.2007
Сообщений: 218
Бабло: $41985
По умолчанию

5к запросов в сутки на один ИП, ответ - сериализированій максив пхп ))
false вне форума  
Старый 25.02.2008, 13:10   #5
Valdis
просто хороший человек
 
Регистрация: 04.04.2007
Сообщений: 41
Бабло: $500
По умолчанию

ну естественно по API. только вроде там не 10к запросов, поменьше.

а, вот, точно 5к
http://developer.yahoo.com/search/si...nlinkData.html
limited to 5,000 queries per IP address per day
__________________
Инвайты на VipCodec,
CashCodec
Valdis вне форума  
Старый 25.02.2008, 13:18   #6
kiwi
Senior Member
 
Регистрация: 30.03.2007
Сообщений: 13,587
Бабло: $22676255
Отправить сообщение для kiwi с помощью ICQ
По умолчанию

покупается за сто-стописят баксов подсеть на сервак и вопрос парсинга яхи решён
kiwi вне форума  
Старый 25.02.2008, 15:38   #7
Gentle Giant
Senior Member
 
Аватар для Gentle Giant
 
Регистрация: 02.07.2007
Сообщений: 386
Бабло: $45320
По умолчанию

Цитата:
Сообщение от kiwi Посмотреть сообщение
покупается за сто-стописят баксов подсеть на сервак и вопрос парсинга яхи решён
+1 не понимаю че народ ебется с проксями для парсинга
Gentle Giant вне форума  
Старый 25.02.2008, 17:00   #8
bers99
PR 10
 
Аватар для bers99
 
Регистрация: 12.10.2007
Сообщений: 326
Бабло: $7350
По умолчанию

Самоё лёгкое - agress parser http://engseo.net/?p=7
__________________
Я вернулся.
bers99 вне форума