Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Поисковые системы
Дата
USD/RUB58.8610
BTC/USD0.0000
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д.

Закрытая тема
Опции темы Опции просмотра
Старый 10.11.2013, 09:25   #1
7make
Senior Member
 
Аватар для 7make
 
Регистрация: 02.07.2011
Сообщений: 737
Бабло: $195160
По умолчанию Схемы обхода ботами

Могут ли быть закономерности по тому, как бот ходит по урлам в пределах сайта за сессию?
Кто анализировал логи по этому вопросу?
Есть у кого лог для сайта с индексом от 100к ?
__________________
PharmCash - Лучшие условия и профит в фарме. Hold-0, Refunds-0, Commission–50%, CPU+500. Google нас любит! | Обучаю Монстр2 нужным вам каптчам
7make вне форума  
Старый 10.11.2013, 11:23   #2
Blanc
Member
 
Аватар для Blanc
 
Регистрация: 06.11.2009
Сообщений: 402
Бабло: $96465
По умолчанию

я не находил.. там рандом полный

зы, каждый двиг он по-разному сканит, инфа 100%
Blanc вне форума  
Старый 10.11.2013, 14:32   #3
digg
$400
 
Аватар для digg
 
Регистрация: 17.05.2009
Сообщений: 7,995
Бабло: $1214850
Отправить сообщение для digg с помощью ICQ
По умолчанию

приоритет в зависимости от линков на страницу и веса этих линков
тупо в очередь сукины дети
digg на форуме  
Старый 10.11.2013, 15:11   #4
sandy
Сеньор Член
 
Аватар для sandy
 
Регистрация: 11.04.2007
Адрес: The World
Сообщений: 1,128
Бабло: $107796
Отправить сообщение для sandy с помощью ICQ
По умолчанию

там целая кучка факторов, вроде вычисленной статистически вероятности изменения контента, тех же данных в сайтмапе, положения линка на странице итп
sandy вне форума  
Старый 12.11.2013, 18:54   #5
redbul
Senior Member
 
Регистрация: 08.08.2008
Сообщений: 160
Бабло: $21435
По умолчанию

Насколько я знаю, у них сессия может длиться и сутки, причём заходит бот по рандомным страницам или я просто не нашел какой-то закономерности, но одно время следил за этим.
redbul вне форума  
Старый 12.11.2013, 18:59   #6
rushter
Senior Member
 
Регистрация: 28.11.2009
Сообщений: 1,804
Бабло: $299365
По умолчанию

В гугле кстати это хорошо поддаётся манипуляции из панели вебмастера, загружаем собственный сайтмап с нужным вам приоритетом и выкручиваем скорость на 2 страницы в секунду, например.
И бот быстро обходит сначала приоритетные страницы, а потом остальные.
rushter вне форума  
Старый 12.11.2013, 22:05   #7
7make
Senior Member
 
Аватар для 7make
 
Регистрация: 02.07.2011
Сообщений: 737
Бабло: $195160
ТС -->
автор темы ТС По умолчанию

Вроде как боты до загрузки/перехода по урлам могут дергать Last-Modified и If-Modified-Since. Но это катит для статики.


Не думаю что ботов пишут и не жалеют ресурсов, чтобы обходить рандомно. Должны быть четкие алго по которым бот ходит. Понятно что с условиями, но должны быть.

Имхо, если найти такие закономерности для разных структур сайтов, то можно будет клоачить перелинковкой и не только.

Хотя можно попробовать реализовать динамический robots.txt. Но боты в большинстве случаев ложат на него...
__________________
PharmCash - Лучшие условия и профит в фарме. Hold-0, Refunds-0, Commission–50%, CPU+500. Google нас любит! | Обучаю Монстр2 нужным вам каптчам
7make вне форума  
Старый 12.11.2013, 22:27   #8
rushter
Senior Member
 
Регистрация: 28.11.2009
Сообщений: 1,804
Бабло: $299365
По умолчанию

Цитата:
Сообщение от 7make Посмотреть сообщение
Вроде как боты до загрузки/перехода по урлам могут дергать Last-Modified и If-Modified-Since. Но это катит для статики.


Не думаю что ботов пишут и не жалеют ресурсов, чтобы обходить рандомно. Должны быть четкие алго по которым бот ходит. Понятно что с условиями, но должны быть.

Имхо, если найти такие закономерности для разных структур сайтов, то можно будет клоачить перелинковкой и не только.

Хотя можно попробовать реализовать динамический robots.txt. Но боты в большинстве случаев ложат на него...
Тебе для какой пс? Просто для гугла вообще смысла париться нет, как я выше писал. 100к страниц за 5-7 дней на свежем домене - легко
rushter вне форума  
Старый 12.11.2013, 22:39   #9
7make
Senior Member
 
Аватар для 7make
 
Регистрация: 02.07.2011
Сообщений: 737
Бабло: $195160
ТС -->
автор темы ТС По умолчанию

Цитата:
Сообщение от rushter Посмотреть сообщение
Тебе для какой пс? Просто для гугла вообще смысла париться нет, как я выше писал. 100к страниц за 5-7 дней на свежем домене - легко
Под яндекс.

Цитата:
Из хелпа.

В роботе Яндекса используется сессионный принцип работы, на каждую сессию формируется определенный пул страниц, которые планирует закачать робот.
Совсем доры перестал индексить.
Задача замутить динамическую перелинковку с учетом того, как бот будет ходить. Замыкать цепи на каждую сессию бота.
__________________
PharmCash - Лучшие условия и профит в фарме. Hold-0, Refunds-0, Commission–50%, CPU+500. Google нас любит! | Обучаю Монстр2 нужным вам каптчам
7make вне форума  
Старый 12.11.2013, 22:46   #10
rushter
Senior Member
 
Регистрация: 28.11.2009
Сообщений: 1,804
Бабло: $299365
По умолчанию

Цитата:
Сообщение от 7make Посмотреть сообщение
Под яндекс.



Совсем доры перестал индексить.
Задача замутить динамическую перелинковку с учетом того, как бот будет ходить. Замыкать цепи на каждую сессию бота.
Ну у яндекса всегда с ресурсами туго было.
На больших белых сайтах практикуют нечто клоакинга, формируется база новых страниц которые не видел бот, и если яндекс бот открывает какую либо страницу ему подсовывается динамический блок из 2-5 новых ссылок, соответственно в базе эти ссылки помечаются как скормленные яндексу. Т.е навигационное меню формируется исключительно из новых ссылок.
rushter вне форума  
Закрытая тема



Опции темы
Опции просмотра