|
|
| | Дата |
|
| USD/RUB | 93.4409 | | BTC/USD | 66850.3750 |
|
|
|
| Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д. |
15.02.2012, 12:21
|
#1
|
|
Senior Member
Регистрация: 28.04.2008
Сообщений: 760
Бабло: $133640
|
Про ботов
Раньше никогда не наблюдал за поведением ботов на сайте. Сейчас решил посмотреть 
Есть сайт. Включил логирование ботов. Поставил ссылки на файлы с логером тоже в разных местах сайта, посмотреть куда боты лучше ходят)
Так на сайт боты приходят, а на ссылки сутки уже никто не заходил)
Я чето думал, что они раз зашли на сайт, так по всем ссылкам пробежаццо должны?) |
|
|
|
15.02.2012, 12:23
|
#2
|
|
Везучий ВМ
Регистрация: 21.08.2009
Сообщений: 1,495
Бабло: $239825
|
бот зашел на пагу (сделал слепок)
отделил ссылочное...и только потом уже будет по ссылкам ходить
и такая операция у бота с каждой страницей
хочеш ускорить - ставь ссылки на каждую страницу (внешние). по другому никак
__________________
Не зная ни сна и ни отдыха, при лунном и солнечном свете, легко и просто качаю бабло в интернете 
|
|
|
|
|
15.02.2012, 12:27
|
#3
|
|
Senior Member
Регистрация: 28.04.2008
Сообщений: 760
Бабло: $133640
-->
|
ТС
ссылки ставил сквозные
|
|
|
|
|
15.02.2012, 13:42
|
#4
|
|
Je suis moine ivre
Регистрация: 03.03.2009
Сообщений: 15,268
Бабло: $797172957
|
Скачал страницу, проанализировал контент, ссылки поставил в общую очередь. Думаю так.
|
|
|
|
|
15.02.2012, 14:09
|
#5
|
|
Senior Member
Регистрация: 28.04.2008
Сообщений: 760
Бабло: $133640
-->
|
ТС
боты ходят и яху и бинга и гугла, по ссылкам прошел один раз гугло бот. сразу пришел на сайт и прошел по ссылкам.
|
|
|
|
|
15.02.2012, 16:49
|
#6
|
|
автоматизирую интернеты
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,362
Бабло: $470735
|
о, я как раз щас пишу диссертацию по ботам, классический алгоритма кравлера примерно такой:
 |
|
|
|
|
03.03.2012, 06:57
|
#7
|
|
Юниор
Регистрация: 30.08.2010
Сообщений: 9
Бабло: $3510
|
Диссертацию???
Тема тянет на дисер?)
|
|
|
|
|
03.03.2012, 10:01
|
#8
|
|
ё
Регистрация: 26.10.2011
Сообщений: 1,520
Бабло: $311895
|
Цитата:
|
Сообщение от Buga
Я чето думал, что они раз зашли на сайт, так по всем ссылкам пробежаццо должны?)
|
Зависит от того, где ты запилил ссылку на свой сайт.
Бот может зайти и дальше не индексировать, а может зайти, сожрать всё что найдет, да еще и в топ поставит |
|
|
|
|
03.03.2012, 10:22
|
#9
|
|
автоматизирую интернеты
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,362
Бабло: $470735
|
Цитата:
Сообщение от umatomba
Диссертацию???
Тема тянет на дисер?)
|
сначала надо уточнить тип диссертации, а потом уже спрашивать "тянет" или нет
да и потом любую "тему" можно раскрутить так, что она потянет практически на нобелевскую премию.
например, задачи DataCollection(а мы про них ведь говорим) можно рассматривать как часть задач DataMining
|
|
|
|
|
18.04.2012, 16:39
|
#10
|
|
Юниор
Регистрация: 17.04.2012
Сообщений: 2
Бабло: $1210
|
Цитата:
Сообщение от Buga
Раньше никогда не наблюдал за поведением ботов на сайте. Сейчас решил посмотреть
Есть сайт. Включил логирование ботов. Поставил ссылки на файлы с логером тоже в разных местах сайта, посмотреть куда боты лучше ходят)
Так на сайт боты приходят, а на ссылки сутки уже никто не заходил)
Я чето думал, что они раз зашли на сайт, так по всем ссылкам пробежаццо должны?) |
У меня совсем маленький и наивный вопросик: а как включить логирование ботов? |
|
|
|
|
Линейный вид
