вопрос по парсингу

[mirikas]

надо отпарсить сайт
по запросу site:сайт.com кейворд
мне надо отпрасить как можно больше страниц с гуугла. пробывал hrefer-ом но там надо шаблон ввести какие страницы сохранять, а мне надо как можно больше страниц выкачать этого сайта. мне контент не надо - а просто url страниц списком.
страницы идут вида site.com/page1 site.com/page2 ну и т.д.
вообщем каким софтом можно это сделать желательно чтобы можно было юзать соксы
За ранее спасибо!!

[chesser]

тебе нужен именно список страниц из гугла?
если наличие в гугле не обязательно, то попробуй этим сервисом:
http://www.graffity.biz/products/link_checker/
с год назад парсил там под 100к страниц

[1een]

А что не так с хрефером? Я всегда так делаю (только не забыть убрать фильтр одинаковых доменов); чем больше слов ему дашь - тем больше он тебе выпарсит.

[Fubu_By]

Сообщение от chesser

тебе нужен именно список страниц из гугла?
если наличие в гугле не обязательно, то попробуй этим сервисом:
http://www.graffity.biz/products/link_checker/
с год назад парсил там под 100к страниц

так он только 100 страниц парсит

[Grut]

Читать справку Хрефера: темплейты отключаются

[res1dent]

XТТП://apocx.ru/stgrabber-1-1-parsing-url-title-i-sozdanie-karty-sajta/
вот парсер внутряков (не через гугл)
хз нахрена парсить гугл чтоб получить внутряки

[1een]

Сообщение от res1dent

XТТП://apocx.ru/stgrabber-1-1-parsing-url-title-i-sozdanie-karty-sajta/
вот парсер внутряков (не через гугл)
хз нахрена парсить гугл чтоб получить внутряки

не скажу за этот сервис, но все, которые я пробовал, рано или поздно валились на действительно больших (>1m) объемах.

[res1dent]

ну если я посоветовал значит я юзал
50к линков собирает без проблем
на действительно больших (>1m) объемах.
хз что это значит

[1een]

Сообщение от res1dent

хз что это значит

Это значит, что у сайта более миллиона страниц

[res1dent]

в теории должен потянуть
это ж колхозный так сказать софт, как раз заточеный под это дело.
и не на пхп