Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Разное > Треп | Флейм
Дата
USD/RUB58.6070
BTC/USD0.0000
Треп | Флейм Обсуждение самых разных тем вне онлайн бизнеса.

Закрытая тема
Опции темы Опции просмотра
Старый 04.07.2009, 14:06   #1
Bond James
Senior Member
 
Регистрация: 10.07.2008
Сообщений: 236
Бабло: $43665
По умолчанию Как такое возможно?!

Засуспендили мне вчера пачку доменов - естествено сайты недоступны
Но в логах сервера видно что поискоые боты успешно гуляют по этим доменам (открывают сами сайты а так же robots.txt) хотя обычных посетителей с СЕ в логах незамечено.
Bond James вне форума  
Старый 04.07.2009, 14:22   #2
sandao
meditation
 
Аватар для sandao
 
Регистрация: 10.01.2008
Сообщений: 345
Бабло: $9469
По умолчанию

Значит копия сайтов где-то сохранилась и боты по ней гуляют. Да и вообще если сайт не доступен боты могут начать например проверять доступны ли другие страницы и ходить там где они уже были когда-то.
sandao вне форума  
Старый 04.07.2009, 14:32   #3
Fred
Senior Member
 
Регистрация: 14.02.2009
Адрес: Kiev
Сообщений: 2,185
Бабло: $189257
По умолчанию

у ботов нсы все еще не обновились.
Цитата:
Значит копия сайтов где-то сохранилась и боты по ней гуляют.
это как так ?
__________________
Fred вне форума  
Старый 04.07.2009, 15:52   #4
JMen
учу php
 
Регистрация: 04.04.2008
Сообщений: 1,163
Бабло: $68290
По умолчанию

Цитата:
Сообщение от Fred Посмотреть сообщение
у ботов нсы все еще не обновились.
+1

Насчёт копии сайтов - это он неподумав ляпнул. Зачем думать когда можно просто ляпнуть?
__________________
Подпись??? Не продам!
JMen вне форума  
Старый 04.07.2009, 16:38   #5
sandao
meditation
 
Аватар для sandao
 
Регистрация: 10.01.2008
Сообщений: 345
Бабло: $9469
По умолчанию

Цитата:
Насчёт копии сайтов - это он неподумав ляпнул. Зачем думать когда можно просто ляпнуть?
Ты написал так что аж страшно, вроде я на экзамен попал к страшному преподу.

Если я удалял сайты на серваке, а они были все еще видны для меня, хотя физически сайтов уже не было. Т.е. что я тогда видел сами сайты? К тому же у ботов есть и карта сайта и кэш и фиг знает что еще. Короче как получилось так и написал.
sandao вне форума  
Старый 04.07.2009, 17:11   #6
ziavra
Senior Member
 
Регистрация: 10.04.2007
Адрес: Balifor
Сообщений: 468
Бабло: $29318
По умолчанию

Цитата:
Сообщение от sandao Посмотреть сообщение
Ты написал так что аж страшно, вроде я на экзамен попал к страшному преподу.

Если я удалял сайты на серваке, а они были все еще видны для меня, хотя физически сайтов уже не было. Т.е. что я тогда видел сами сайты? К тому же у ботов есть и карта сайта и кэш и фиг знает что еще. Короче как получилось так и написал.
Хостер кэширует? Но в логах сервера ничего быть не должно по идее, скорее всего действительно у ботов ДНС закэшировалось просто.
ziavra вне форума  
Старый 04.07.2009, 17:23   #7
JMen
учу php
 
Регистрация: 04.04.2008
Сообщений: 1,163
Бабло: $68290
По умолчанию

я с юмором сказал, не в обиду

смотря что значит "удалял". Если ты мне в аську подробно опишешь что ты делал - я тебе детально скажу что именно произошло.

В данном - же случае произошло вот что: человеку засуспендили домены, т.е. регистратор перестал отдавать IP его NS серверов, которые нужны чтобы узнать IP для мнемонического хоста. Но так - как для оптимизации работы с DNS маршрутизаторы кешируют IP для хоста - ещё некоторое время на запрос IP хоста маршрутизатор будет отдавать старый IP, не обновляя запись.

Более того, в случае невозможности получения нового IP хоста маршрутизатор будет отдавать старый IP дольше чем если - бы он просто сменился. Возможно у поисковиков данный параметр задран для уменьшения второстепенного трафика.

Таким образом поисковик зная IP и получая от твоего сервера сайт для данного домена может лазить по сайту пока ты его не удалишь с хоста, либо пока у него не обновится DNS запись.
__________________
Подпись??? Не продам!
JMen вне форума  
Старый 04.07.2009, 18:57   #8
sandao
meditation
 
Аватар для sandao
 
Регистрация: 10.01.2008
Сообщений: 345
Бабло: $9469
По умолчанию

Цитата:
Сообщение от JMen Посмотреть сообщение
я с юмором сказал, не в обиду

смотря что значит "удалял". Если ты мне в аську подробно опишешь что ты делал - я тебе детально скажу что именно произошло.

В данном - же случае произошло вот что: человеку засуспендили домены, т.е. регистратор перестал отдавать IP его NS серверов, которые нужны чтобы узнать IP для мнемонического хоста. Но так - как для оптимизации работы с DNS маршрутизаторы кешируют IP для хоста - ещё некоторое время на запрос IP хоста маршрутизатор будет отдавать старый IP, не обновляя запись.

Более того, в случае невозможности получения нового IP хоста маршрутизатор будет отдавать старый IP дольше чем если - бы он просто сменился. Возможно у поисковиков данный параметр задран для уменьшения второстепенного трафика.

Таким образом поисковик зная IP и получая от твоего сервера сайт для данного домена может лазить по сайту пока ты его не удалишь с хоста, либо пока у него не обновится DNS запись.
Тут конечно все правильно описано. Я хоть образования не имею в данной теме, но вроде эти принципы понимаю, поэтому соглашусь, что ляпнул не думая, не хотел никого ввести в заблуждение. peace.
sandao вне форума