Как спарсить все результаты у гугла? - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB93.4409
BTC/USD64559.4479
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 11.08.2012, 17:59   #1
smsupport
Senior Member
 
Аватар для smsupport
 
Регистрация: 12.07.2009
Сообщений: 1,581
Бабло: $361065
Question Как спарсить все результаты у гугла?

Собственно у меня есть разные софт-парсеры. Есть 1 вид запроса. По нему около 1.5 лимонов сайтов. Надо спарсить с выдачи, если не все, то, как можно больше. Знаю про расширение запроса, маски домена, и добавочные слова. Но даже при таком раскладе в выдаче больше 1000 результатов (10-125к). Собственно вопрос – есть ли другие варианты парсинга? Возможно, есть сервисы, которые точно спарсят все? Можно в приват. Спасибо.
__________________
Swissdoc heavy spec
smsupport вне форума  
Старый 11.08.2012, 18:37   #2
Sanchez
Ебланнед
 
Регистрация: 09.10.2011
Адрес: Villa 31
Сообщений: 495
Бабло: $141290
По умолчанию

если я правильно понял что нужно: то у content downloader есть фича автоматическое определение статьи и заголовка, он же может собрать линки с выдачи. всегда можно обратиться к разработчику он подскажет как и что сделать быстрее и правильней.
__________________
http://www.gofuckbiz.com/rules.html - Запрещено оскорбление участников форума: не нужно переходить на личности в негативном контексте во время обсуждения той или иной темы.
Sanchez вне форума  
Старый 11.08.2012, 20:55   #3
inkubus
Senior Member
 
Аватар для inkubus
 
Регистрация: 11.02.2010
Сообщений: 928
Бабло: $176835
По умолчанию

список доп слов побольше надо. плюс еще просто комбинаций букв и цифр нагенерить. http://google.com/search?q=inurl:showthread.php +"6e665"
inkubus вне форума  
Старый 12.08.2012, 00:04   #4
Sultan
Шучу на половину
 
Аватар для Sultan
 
Регистрация: 23.01.2011
Сообщений: 5,790
Бабло: $1158990
По умолчанию

минуса подставляй
можно например даты в качестве добавочных и исключаемых
что запрос то))
Sultan вне форума  
Старый 12.08.2012, 00:22   #5
mKostya
Ебланнед
 
Регистрация: 03.04.2007
Сообщений: 3,058
Бабло: $460560
По умолчанию

да нету там етих 1.5 лямов
__________________
mKostya = adultmas = euro$ >>> бан
mKostya вне форума  
Старый 12.08.2012, 00:29   #6
Sultan
Шучу на половину
 
Аватар для Sultan
 
Регистрация: 23.01.2011
Сообщений: 5,790
Бабло: $1158990
По умолчанию

Цитата:
Сообщение от mKostya Посмотреть сообщение
да нету там етих 1.5 лямов
что за лямы то?? запрос каков.
Sultan вне форума  
Старый 12.08.2012, 02:04   #7
sergeospb
коплю на феррари
 
Регистрация: 03.07.2008
Сообщений: 1,251
Бабло: $148195
По умолчанию

Цитата:
Сообщение от mKostya Посмотреть сообщение
да нету там етих 1.5 лямов
+1 нету, надо смотреть кол-во ресов не на первой странице.
sergeospb вне форума  
Старый 12.08.2012, 11:34   #8
WebNinja
grablab.org
 
Аватар для WebNinja
 
Регистрация: 18.09.2007
Адрес: Thailand
Сообщений: 4,893
Бабло: $322264
Отправить сообщение для WebNinja с помощью ICQ Отправить сообщение для WebNinja с помощью Skype™
По умолчанию

+1 нету лямов )

Цитата:
список доп слов побольше надо. плюс еще просто комбинаций букв и цифр нагенерить. http://google.com/search?q=inurl:showthread.php +"6e665"
вот тут правильно говорят.
__________________
www.imscraping.ninja
grablab.org | blog
WebNinja вне форума  
Старый 12.08.2012, 21:41   #9
smsupport
Senior Member
 
Аватар для smsupport
 
Регистрация: 12.07.2009
Сообщений: 1,581
Бабло: $361065
ТС -->
автор темы ТС По умолчанию

Лямов конечно нет. Но 100-200к точно есть. Это двиг который раньше спамили, сейчас там все в ноуфоллов..но и это хорошо
__________________
Swissdoc heavy spec
smsupport вне форума