Схемы обхода ботами

[7make]

Могут ли быть закономерности по тому, как бот ходит по урлам в пределах сайта за сессию?
Кто анализировал логи по этому вопросу?
Есть у кого лог для сайта с индексом от 100к ?

[Blanc]

я не находил.. там рандом полный

зы, каждый двиг он по-разному сканит, инфа 100%

[digg]

приоритет в зависимости от линков на страницу и веса этих линков
тупо в очередь сукины дети

[sandy]

там целая кучка факторов, вроде вычисленной статистически вероятности изменения контента, тех же данных в сайтмапе, положения линка на странице итп

[redbul]

Насколько я знаю, у них сессия может длиться и сутки, причём заходит бот по рандомным страницам или я просто не нашел какой-то закономерности, но одно время следил за этим.

[rushter]

В гугле кстати это хорошо поддаётся манипуляции из панели вебмастера, загружаем собственный сайтмап с нужным вам приоритетом и выкручиваем скорость на 2 страницы в секунду, например.
И бот быстро обходит сначала приоритетные страницы, а потом остальные.

[7make]

Вроде как боты до загрузки/перехода по урлам могут дергать Last-Modified и If-Modified-Since. Но это катит для статики.


Не думаю что ботов пишут и не жалеют ресурсов, чтобы обходить рандомно. Должны быть четкие алго по которым бот ходит. Понятно что с условиями, но должны быть.

Имхо, если найти такие закономерности для разных структур сайтов, то можно будет клоачить перелинковкой и не только.

Хотя можно попробовать реализовать динамический robots.txt. Но боты в большинстве случаев ложат на него...

[rushter]

Сообщение от 7make

Вроде как боты до загрузки/перехода по урлам могут дергать Last-Modified и If-Modified-Since. Но это катит для статики.


Не думаю что ботов пишут и не жалеют ресурсов, чтобы обходить рандомно. Должны быть четкие алго по которым бот ходит. Понятно что с условиями, но должны быть.

Имхо, если найти такие закономерности для разных структур сайтов, то можно будет клоачить перелинковкой и не только.

Хотя можно попробовать реализовать динамический robots.txt. Но боты в большинстве случаев ложат на него...

Тебе для какой пс? Просто для гугла вообще смысла париться нет, как я выше писал. 100к страниц за 5-7 дней на свежем домене - легко

[7make]

Сообщение от rushter

Тебе для какой пс? Просто для гугла вообще смысла париться нет, как я выше писал. 100к страниц за 5-7 дней на свежем домене - легко

Под яндекс.

Из хелпа.

В роботе Яндекса используется сессионный принцип работы, на каждую сессию формируется определенный пул страниц, которые планирует закачать робот.

Совсем доры перестал индексить.
Задача замутить динамическую перелинковку с учетом того, как бот будет ходить. Замыкать цепи на каждую сессию бота.

[rushter]

Сообщение от 7make

Под яндекс.



Совсем доры перестал индексить.
Задача замутить динамическую перелинковку с учетом того, как бот будет ходить. Замыкать цепи на каждую сессию бота.

Ну у яндекса всегда с ресурсами туго было.
На больших белых сайтах практикуют нечто клоакинга, формируется база новых страниц которые не видел бот, и если яндекс бот открывает какую либо страницу ему подсовывается динамический блок из 2-5 новых ссылок, соответственно в базе эти ссылки помечаются как скормленные яндексу. Т.е навигационное меню формируется исключительно из новых ссылок.