Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Поисковые системы
Дата
USD/RUB58.6190
BTC/USD0.0000
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д.

Закрытая тема
Опции темы Опции просмотра
Старый 15.02.2012, 12:21   #1
Buga
Senior Member
 
Регистрация: 28.04.2008
Сообщений: 755
Бабло: $132960
По умолчанию Про ботов

Раньше никогда не наблюдал за поведением ботов на сайте. Сейчас решил посмотреть
Есть сайт. Включил логирование ботов. Поставил ссылки на файлы с логером тоже в разных местах сайта, посмотреть куда боты лучше ходят)
Так на сайт боты приходят, а на ссылки сутки уже никто не заходил)
Я чето думал, что они раз зашли на сайт, так по всем ссылкам пробежаццо должны?)
Buga вне форума  
Старый 15.02.2012, 12:23   #2
res1dent
Лютый Эникейщик
 
Аватар для res1dent
 
Регистрация: 21.08.2009
Сообщений: 1,462
Бабло: $233740
По умолчанию

бот зашел на пагу (сделал слепок)
отделил ссылочное...и только потом уже будет по ссылкам ходить

и такая операция у бота с каждой страницей

хочеш ускорить - ставь ссылки на каждую страницу (внешние). по другому никак
__________________
PharmCash - Лучшие условия и профит в фарме. Hold-0, Refunds-0, Commission–50%, CPU+500. Google нас любит!
res1dent вне форума  
Старый 15.02.2012, 12:27   #3
Buga
Senior Member
 
Регистрация: 28.04.2008
Сообщений: 755
Бабло: $132960
ТС -->
автор темы ТС По умолчанию

ссылки ставил сквозные
Buga вне форума  
Старый 15.02.2012, 13:42   #4
Drunk Monk
Je suis moine ivre
 
Аватар для Drunk Monk
 
Регистрация: 03.03.2009
Сообщений: 15,217
Бабло: $797160082
По умолчанию

Скачал страницу, проанализировал контент, ссылки поставил в общую очередь. Думаю так.
__________________
EssayPartner.com. Партнерка по эссе трафу.
Drunk Monk вне форума  
Старый 15.02.2012, 14:09   #5
Buga
Senior Member
 
Регистрация: 28.04.2008
Сообщений: 755
Бабло: $132960
ТС -->
автор темы ТС По умолчанию

боты ходят и яху и бинга и гугла, по ссылкам прошел один раз гугло бот. сразу пришел на сайт и прошел по ссылкам.
Buga вне форума  
Старый 15.02.2012, 16:49   #6
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

о, я как раз щас пишу диссертацию по ботам, классический алгоритма кравлера примерно такой:

__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 03.03.2012, 06:57   #7
umatomba
Юниор
 
Регистрация: 30.08.2010
Сообщений: 10
Бабло: $3510
По умолчанию

Диссертацию???

Тема тянет на дисер?)
umatomba вне форума  
Старый 03.03.2012, 10:01   #8
Ower
ё
 
Аватар для Ower
 
Регистрация: 26.10.2011
Сообщений: 1,490
Бабло: $300250
По умолчанию

Цитата:
Сообщение от Buga
Я чето думал, что они раз зашли на сайт, так по всем ссылкам пробежаццо должны?)
Зависит от того, где ты запилил ссылку на свой сайт.
Бот может зайти и дальше не индексировать, а может зайти, сожрать всё что найдет, да еще и в топ поставит
Ower вне форума  
Старый 03.03.2012, 10:22   #9
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

Цитата:
Сообщение от umatomba Посмотреть сообщение
Диссертацию???

Тема тянет на дисер?)
Offtopic
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 18.04.2012, 16:39   #10
Sead
Юниор
 
Регистрация: 17.04.2012
Сообщений: 2
Бабло: $1210
По умолчанию

Цитата:
Сообщение от Buga Посмотреть сообщение
Раньше никогда не наблюдал за поведением ботов на сайте. Сейчас решил посмотреть
Есть сайт. Включил логирование ботов. Поставил ссылки на файлы с логером тоже в разных местах сайта, посмотреть куда боты лучше ходят)
Так на сайт боты приходят, а на ссылки сутки уже никто не заходил)
Я чето думал, что они раз зашли на сайт, так по всем ссылкам пробежаццо должны?)
У меня совсем маленький и наивный вопросик: а как включить логирование ботов?
Sead вне форума  
Закрытая тема



Опции темы
Опции просмотра