Выдернуть все страницы сайта

[atrius]

А подскажет кто-нибудь сервис, который сможет показать все, ну или близко к этому, страницы сайта, которые в индексе у гугля?
Должно же быть такое в природе

[directed]

site:yourdomain.com в гугле вбей

[atrius]

чуть сложнее надо =))
нужны сайты где 100-250к страниц в индексе

[lisa99]

тогда только программно. Типа content downloader и иже с ним.
или писать парсер. и ..на больших сайтах бывает защита от массового копирования, т.е. задача может стать нетривиальной (недешевой)
халявы, скорее всего не будет.

[atrius]

мне контент не нужен
мне урлы нужны

[tmamedov]

SEO Frog Spider, юзер агента поставь в настройках от ПС и пройдись по всему сайту.

[digg]

ну, можно запилить софт

[atrius]

мужики, я понимаю что можно написать парсер и пробежаться по всему сайту, но нужен именно сервис.
вы поймите, что гораздо удобнее просто заплатить денюжку, вбить интересующий меня урл и получить результат
а ждать пока софт обойдет кучу нужных сайтов - это немного не то

[16021988]

Сообщение от atrius

мужики, я понимаю что можно написать парсер и пробежаться по всему сайту, но нужен именно сервис.
вы поймите, что гораздо удобнее просто заплатить денюжку, вбить интересующий меня урл и получить результат
а ждать пока софт обойдет кучу нужных сайтов - это немного не то

Че ты паришься? Попроси любого, у кого есть парсер, если самому нет нужды покупать. 10$ + 10мин = список у тебя.

[Mori@rty]

дольше узнаешь )
кидай урл в ЛС, дедик простаивает.
завтра с утреца заберешь...