Как сейчас парсится с hrefer?

[Blanc]

Всем доброй ночи.
Какие ньюансы нужно учитывать при парсинге гугла hreferom?
Допустим у меня статический ip
Как я могу напарсить приличную базу по inurl?
Помню парсил, было проблематично, какой функционал обхода защиты использовать? Антигейт помогает расшифровки капчи. Там ведь есть антибан какой-то.
Или, может, проксей взять? Где их можно взять нормальных под гугл? Спалите плз.

[Botmaster]

Есть как минимум 3 варианта, и они используются во многих парсерах, а не только в Hrefer-е.

1. Не пользоваться inurl вообще.
Никто не мешает парсить без этого ключа, используя какие-то доп.признаки, а фильтровать по маске ссылки уже пост-фактум, для этого в Hrefer-е есть Sieve-filter

2. Парсить зеркала Гугла
В сети есть море зеркал - поисковиков, использующих API Гугла, но не банящих за inurl, мы какое-то время назад подключили большое число таких поисковиков в Hrefer, и опр.время это прекрасно работало, но естественно это временное решение - со временем админы этих зеркал приняли меры против парсинга. Теперь мы на паблик эти поисковики к программе не подключаем, т.к. всё равно их убивают в считанные дни

3. Использовать много хороших и часто обновляемых прокси
Тут должно быть всё понятно.

4. Шаманство с форматом запросов
Ещё некоторые юзеры формируют запросы Гуглу особым образом, чтобы минимизировать бан по IP, недавно у нас был опубликован один из таких способов, подробности можно узнать у тех.поддержки

[excl]

Сообщение от Blanc

Или, может, проксей взять? Где их можно взять нормальных под гугл? Спалите плз.

Собирать с фри паблик сервисов, либо же купить сразу.

[Blanc]

Сообщение от excl

Собирать с фри паблик сервисов, либо же купить сразу.

А где купить, чтобы не выкинуть деньги на ветер?

[excl]

Их масса и цены высокие. В личку скинул.

[dady]

У форбиддена отличные прокси.

[desert-eagle]

сто лет не парсил гугла, тут понадобилось, раньше чтоб он выдавал по 100 результатов на страницу долбил на урл кастомного поиска - _http://www.google.com/cse?q=
сейчас вижу что он сразу редайректит на обычный поиск. Вопрос, есть еще что то где он по 100 результатов выводит?

[Painkiller]

Сообщение от desert-eagle

сто лет не парсил гугла, тут понадобилось, раньше чтоб он выдавал по 100 результатов на страницу долбил на урл кастомного поиска - _http://www.google.com/cse?q=
сейчас вижу что он сразу редайректит на обычный поиск. Вопрос, есть еще что то где он по 100 результатов выводит?

генерил куку, вот как то так

PHP код:

void generate_google_session(sock_obj *sk)
{
    static const char buff[] = "1234567890abcdef";
    char ses1 [sizeof(buff)]  = {0};
    char ses2 [sizeof(buff)]  = {0};
    //PREF=ID=18c5a1eaca7e70bd:U=f7cba9228c87616a:FF=0:LD=ru:NR=100;
    for (size_t i=0; i<sizeof(buff)-1; ++i) {
        ses1[i] = buff[rand(0, 15)];
        ses2[i] = buff[rand(0, 15)];
    }
    std::string result = "PREF=ID=";
    result+= ses1;
    result+= ":U=f7";
    result+= ses2;
    result+= ":FF=0:LD=en:NR=100;\r\n";
    
    sk->write_head_buff(result);
} 


[Hector]

Botmaster, почему не ведется поддержка хрефера? Из всех поисковиков заявленных в программе работает (парсится) только несколько.

[Sultan]

del