Спарсить выдачу google по сабам сайта - Форум успешных вебмастеров - GoFuckBiz.com
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB90.7493
BTC/USD70266.4964
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 11.04.2011, 22:21   #1
mamba
Mamber
 
Аватар для mamba
 
Регистрация: 28.12.2010
Адрес: Green Street
Сообщений: 3,197
Бабло: $478630
По умолчанию Спарсить выдачу google по сабам сайта

Имеем
много сабов у сайта

manysubdomains.site.com


Есть ли парсер, чтобы собрать из выдачи гугла все сабы нужного мне сайта?

и

Я немного запутался, чтоб посмотреть выдачу по сабам нужно оператор использовать так

site:*.site.com

или так site:site.com

?

Там просто слишком много сабов, десятки тысяч. В первом случае выдает меньше страниц результатов, во втором больше. Но в обоих случаях выдает и внутренние паги сабов, которые мне не нужны.

Буду благодарен за помощь
mamba вне форума  
Старый 11.04.2011, 22:26   #2
Drunk Monk
Je suis moine ivre
 
Аватар для Drunk Monk
 
Регистрация: 03.03.2009
Сообщений: 15,268
Бабло: $797172957
По умолчанию

Или парсить все, дубли выбрасывать, или уточнять запрос, например inurl:"site.com/index.php", но скорее всего дубли тоже будут
Drunk Monk вне форума  
Старый 11.04.2011, 22:27   #3
mamba
Mamber
 
Аватар для mamba
 
Регистрация: 28.12.2010
Адрес: Green Street
Сообщений: 3,197
Бабло: $478630
ТС -->
автор темы ТС По умолчанию

Ну тогда хрен с ним, с дублями, главное спарсить десятки тысяч сабов, пофиг что и с их пагами вылазят резалты,
потом обрежу и удалю дубли.

Нужен парсер), чтоб все аккуратненько наблюдать в текстовике
mamba вне форума  
Старый 11.04.2011, 23:14   #4
n!ce.
Сила гофака помоги!
 
Аватар для n!ce.
 
Регистрация: 03.01.2009
Адрес: London
Сообщений: 2,559
Бабло: $299605
Отправить сообщение для n!ce. с помощью ICQ
По умолчанию

Цитата:
Сообщение от mamba Посмотреть сообщение
Ну тогда хрен с ним, с дублями, главное спарсить десятки тысяч сабов, пофиг что и с их пагами вылазят резалты,
потом обрежу и удалю дубли.

Нужен парсер), чтоб все аккуратненько наблюдать в текстовике
дак закажи, тут много кодеров
n!ce. вне форума  
Старый 11.04.2011, 23:54   #5
jskorvin
добрый леприкон
 
Аватар для jskorvin
 
Регистрация: 05.03.2009
Сообщений: 379
Бабло: $56978
По умолчанию

Запрос такой
Цитата:
site:*.gofuckbiz.com -www.gofuckbiz.com
Вот только гугл не отдаст всю выдачу, придется подстановки юзать, а с подстановками получится много запросов и прокси нужны будут очень хорошие.
__________________
EvaPharmacy - лучшая фарма партнерка (ICQ: 750000 Jabber: [email protected]) / Помощь детям.
jskorvin вне форума  
Старый 12.04.2011, 00:05   #6
res1dent
Везучий ВМ
 
Аватар для res1dent
 
Регистрация: 21.08.2009
Сообщений: 1,495
Бабло: $239825
Отправить сообщение для res1dent с помощью Telegram
По умолчанию

у нас тут есть репозиторий
я там давал линк.
__________________
Не зная ни сна и ни отдыха, при лунном и солнечном свете, легко и просто качаю бабло в интернете
res1dent вне форума  
Старый 12.04.2011, 01:04   #7
mamba
Mamber
 
Аватар для mamba
 
Регистрация: 28.12.2010
Адрес: Green Street
Сообщений: 3,197
Бабло: $478630
ТС -->
автор темы ТС По умолчанию

res1dent, я чего то не нашел)
mamba вне форума