спарсить тайтлы всех страниц в индексе

[Rothschild]

Есть сайт на овер 20к страниц, надо спарсить все тайтлы в индексе которые.Подскажите что-ли вариант)

[Strikelol]

Сообщение от ricky

Content Downloader не спарсит, прокси не поддерживает он

че? все он поддерживает )))

[mamba]

В выдаче гугла зачастую тайтл не сходится с тайтлом страницы

[streko]

Сначало спарсить урлы всего сайта программой (скриптом). Потом прочекать на индекс через xml.yandex.ru и спарсить собственно сами тайтлы индексированных страниц с самого сайта любой программой (Контент Довнлоадером) или скриптом.