100к страниц. Продолжение.

[dealer]

В продолжение темы kiwi про 100k страниц. С тех пор изменилось что-нибудь?
Интересуют методы загона в индекс от 1 млн страниц. Знаю про спам карт, рэндом страниц, но интересны и другие решения.

[yami]

$$1202-1205 скорее. просто он округлил.

[googleum]

до крисмеса скидки! выведу за 1199,99$

[imgreen]

Сообщение от super

именно то что надо 1200$ на каждый лям паг это просто бред

ну может быть при его схеме, нынешнем гугле, ценах на сервера и т.д. это и так

[kanscx]

Сообщение от Cookie Monster

да конечно вам интересно. но мне не интересно палить схемы просто так. лан, ушел работать чмоки

Можно обсудить и не "просто так" Заинтересовало реально. Пиши если что.

[DenverZ]

Сообщение от imgreen

а где ты найдешь много соксов за адекватную цену?

нафига соксы вообще... достаточно публичных прокси и грамотную работу с проксями в парсере
и можно парсить сотни тысяч запросов без бана... проверено на себе!

[imgreen]

Сообщение от DenverZ

нафига соксы вообще... достаточно публичных прокси и грамотную работу с проксями в парсере
и можно парсить сотни тысяч запросов без бана... проверено на себе!

что, даже прозрачные годятся?
сотни тысяч без таймаутов? это на скольких проксиках?

[DenverZ]

Сообщение от imgreen

что, даже прозрачные годятся?
сотни тысяч без таймаутов? это на скольких проксиках?

ну я парсил на 2к проксях без проверки, т.е. тупо проверены один раз неделю назад на доступность (даже прозрачные) и вперед... даже этого много...

парсится быстро, 5 форков, по 300 потоков на форк (1.5к проксей), проксям давать отдыхать 30 секунд после юзания, одна прокся в одни руки... собственно этого достаточно, что бы выпарсить всех и вся...

далее решается все увеличением проксей и памяти машины :-)

[DenverZ]

Сообщение от imgreen

что, даже прозрачные годятся?

прозрачные он конечно банит, просто я лично не заморачиваюсь... больше проксей больше скорость

опять же, если грамотно юзать прокси, то и прозрачные будут жить, при условии что их не много в общей базу анонимных (что бы свой ИП как можно реже светить)

[imgreen]

что ты имеешь в виду под грамотно юзать прокси?

[DenverZ]

Сообщение от imgreen

что ты имеешь в виду под грамотно юзать прокси?

главное давать отдыхать
брать исходя из статистики их работы (дохлая не дохлая и сколько раз была дохлая или нет...)

ну и не брать рандомом конечно, это самая большая глупость, которая бывает в парсерах...
так же вариант брать поочереди, тоже не годится...