|
| Дата |
|
USD/RUB | 90.7493 | BTC/USD | 70266.4964 |
|
|
|
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии. |
11.04.2011, 22:21
|
#1
|
Mamber
Регистрация: 28.12.2010
Адрес: Green Street
Сообщений: 3,197
Бабло: $478630
|
Спарсить выдачу google по сабам сайта
Имеем
много сабов у сайта
manysubdomains.site.com
Есть ли парсер, чтобы собрать из выдачи гугла все сабы нужного мне сайта?
и
Я немного запутался, чтоб посмотреть выдачу по сабам нужно оператор использовать так
site:*.site.com
или так site:site.com
?
Там просто слишком много сабов, десятки тысяч. В первом случае выдает меньше страниц результатов, во втором больше. Но в обоих случаях выдает и внутренние паги сабов, которые мне не нужны.
Буду благодарен за помощь
|
|
|
11.04.2011, 22:26
|
#2
|
Je suis moine ivre
Регистрация: 03.03.2009
Сообщений: 15,268
Бабло: $797172957
|
Или парсить все, дубли выбрасывать, или уточнять запрос, например inurl:"site.com/index.php", но скорее всего дубли тоже будут
|
|
|
11.04.2011, 22:27
|
#3
|
Mamber
Регистрация: 28.12.2010
Адрес: Green Street
Сообщений: 3,197
Бабло: $478630
ТС -->
|
ТС
Ну тогда хрен с ним, с дублями, главное спарсить десятки тысяч сабов, пофиг что и с их пагами вылазят резалты,
потом обрежу и удалю дубли.
Нужен парсер), чтоб все аккуратненько наблюдать в текстовике
|
|
|
11.04.2011, 23:14
|
#4
|
Сила гофака помоги!
Регистрация: 03.01.2009
Адрес: London
Сообщений: 2,559
Бабло: $299605
|
Цитата:
Сообщение от mamba
Ну тогда хрен с ним, с дублями, главное спарсить десятки тысяч сабов, пофиг что и с их пагами вылазят резалты,
потом обрежу и удалю дубли.
Нужен парсер), чтоб все аккуратненько наблюдать в текстовике
|
дак закажи, тут много кодеров
|
|
|
11.04.2011, 23:54
|
#5
|
добрый леприкон
Регистрация: 05.03.2009
Сообщений: 379
Бабло: $56978
|
Запрос такой
Цитата:
site:*.gofuckbiz.com -www.gofuckbiz.com
|
Вот только гугл не отдаст всю выдачу, придется подстановки юзать, а с подстановками получится много запросов и прокси нужны будут очень хорошие.
|
|
|
12.04.2011, 00:05
|
#6
|
Везучий ВМ
Регистрация: 21.08.2009
Сообщений: 1,495
Бабло: $239825
|
у нас тут есть репозиторий
я там давал линк.
__________________
Не зная ни сна и ни отдыха, при лунном и солнечном свете, легко и просто качаю бабло в интернете
|
|
|
12.04.2011, 01:04
|
#7
|
Mamber
Регистрация: 28.12.2010
Адрес: Green Street
Сообщений: 3,197
Бабло: $478630
ТС -->
|
ТС
res1dent, я чего то не нашел)
|
|
|
Опции темы |
|
Опции просмотра |
Линейный вид
|
|