Как сэкономить бэндвич с помощью .htaccess и не повредить сео?

[sydoow]

У меня картинки лежат на хосте. Трафик ещё почти нету, а боты сжирают по 10-20 гигов трафика в сутки. Как то можно уменьшить расходы бэндвича, но без ущерба для СЕО ? На хосте лежат ТОЛЬКО картинки.
Слева картинки юзать врядле ктото может.
Логи посмотреть нету возможности.
Может вообще запретить всем ботам лазить за картинками? Кто как думает? )

[chesser]

Сообщение от xanxy

Такой код может еще и увеличить кол-во трафика отдаваемого гуглботам. Тк если картинки отдает вебсервер, он посылает 304 not modified в некоторых случаях Если картинку отдавать через пхп то 304 никогда посылаться не будет, ну либо нужно норм код писать, с отдачей 304..
В хтакцесс вроде тоже можно реферера проверять

через мод-рерайт хуевый способ потому что он более тяжелый, чем SetEnvIf
на счет пхп - в принципе норм вариант. xanxy, обрати внимание, он отдает не саму картинку, а логика на пхп показывать хтмл теги или нет. так что тут норм, но это софт надо переписывать.
Если отдавать саму картинку вместе с хедерами через пхп - это пиздец, так не надо делать если траф и с экономится, то система точно напряжется. И кстати, ничто не мешает всегда слать 304 хедер, тем самым предлагаю агентам кешировать картинки и пхп тут не помеха


ps вот нашел: http://www.askapache.com/htaccess/setenvif.html

pps кстати 304 хедеры не мало сэкономят трафик, гуглобот точно слушается.
Еще, если вдруг картинки не ужатые, типа bmp - их можно gzip'ать налету, но логичнее статично привести к нормальному виду

[xanxy]

Сообщение от chesser

через мод-рерайт хуевый способ потому что он более тяжелый, чем SetEnvIf
на счет пхп - в принципе норм вариант. xanxy, обрати внимание, он отдает не саму картинку, а логика на пхп показывать хтмл теги или нет. так что тут норм, но это софт надо переписывать.
Если отдавать саму картинку вместе с хедерами через пхп - это пиздец, так не надо делать если траф и с экономится, то система точно напряжется. И кстати, ничто не мешает всегда слать 304 хедер, тем самым предлагаю агентам кешировать картинки и пхп тут не помеха


ps вот нашел: http://www.askapache.com/htaccess/setenvif.html

Верю что чтакцесс хуевый вариант но xatman то предлагал отдавать саму картинку через пхп, я к тому и сказал что будет еще хуже..

pps кстати 304 хедеры не мало сэкономят трафик, гуглобот точно слушается.

Угу, еще и индексацию ускоряют, по крайней мере раньше так было щас уже давно не в теме

[sydoow]

Парни спасибо большое что помогаете, но для меня много непонятного))

Дайте плиз конкретный вариант который нужно вставить в хтасес чтобы отфильтровать левых ботов и оставить только гугловского, посмотрю что даст

Если не изменится картина, то буду закрывать гугловсого и чтото другое придумывать.

[sergeospb]

Сообщение от sydoow

Парни спасибо большое что помогаете, но для меня много непонятного))

Дайте плиз конкретный вариант который нужно вставить в хтасес чтобы отфильтровать левых ботов и оставить только гугловского, посмотрю что даст

Если не изменится картина, то буду закрывать гугловсого и чтото другое придумывать.

PHP код:

SetEnvIfNoCase User-Agent "HuaweiSymantecSpider" search_bot
SetEnvIfNoCase User-Agent "Googlebot" search_bot
SetEnvIfNoCase User-Agent "gsa-crawler" search_bot
SetEnvIfNoCase User-Agent "Mediapartners-Google" search_bot
SetEnvIfNoCase User-Agent "Slurp" search_bot
SetEnvIfNoCase User-Agent "Fast Crawler" search_bot
SetEnvIfNoCase User-Agent "Yahoo! Mindset" search_bot
SetEnvIfNoCase User-Agent "Yahoo-Blogs" search_bot
SetEnvIfNoCase User-Agent "Yahoo-MMAudVid" search_bot
SetEnvIfNoCase User-Agent "Yahoo-MMCrawler" search_bot
SetEnvIfNoCase User-Agent "YahooFeedSeeker" search_bot
SetEnvIfNoCase User-Agent "YahooSeeker-Testing" search_bot
SetEnvIfNoCase User-Agent "YahooSeeker" search_bot
SetEnvIfNoCase User-Agent "YahooVideoSearch" search_bot
SetEnvIfNoCase User-Agent "YahooYSMcm" search_bot
SetEnvIfNoCase User-Agent "slurp" search_bot
SetEnvIfNoCase User-Agent "Y!J-BSC/1.0" search_bot
SetEnvIfNoCase User-Agent "Lycos_Spider" search_bot
SetEnvIfNoCase User-Agent "Infoseek SideWinder" search_bot
SetEnvIfNoCase User-Agent "Scooter/3.3Y!CrawlX" search_bot
SetEnvIfNoCase User-Agent "Excite" search_bot
SetEnvIfNoCase User-Agent "NorthernLight" search_bot
SetEnvIfNoCase User-Agent "123metaspider-Bot" search_bot
SetEnvIfNoCase User-Agent "JemmaTheTourist" search_bot
SetEnvIfNoCase User-Agent "ActiveTouristBot" search_bot
SetEnvIfNoCase User-Agent "Marvin v0.3" search_bot
SetEnvIfNoCase User-Agent "agadine3.0" search_bot
SetEnvIfNoCase User-Agent "Amfibibot" search_bot
SetEnvIfNoCase User-Agent "ano-kato.com v2.14 spider" search_bot
SetEnvIfNoCase User-Agent "AnswerBus" search_bot
SetEnvIfNoCase User-Agent "Apexoo Spider" search_bot
SetEnvIfNoCase User-Agent "AskJeeves/Teoma" search_bot
SetEnvIfNoCase User-Agent "Ask Jeeves/Teoma" search_bot
SetEnvIfNoCase User-Agent "teoma_agent1" search_bot
SetEnvIfNoCase User-Agent "AtlocalBot" search_bot
SetEnvIfNoCase User-Agent "BaiDuSpider" search_bot
SetEnvIfNoCase User-Agent "BecomeBot" search_bot
SetEnvIfNoCase User-Agent "BigCliqueBOT" search_bot
SetEnvIfNoCase User-Agent "Bigsearch.ca" search_bot
SetEnvIfNoCase User-Agent "BilgiBot" search_bot
SetEnvIfNoCase User-Agent "Bloglines Title Fetch" search_bot
SetEnvIfNoCase User-Agent "boitho.com" search_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=search_bot
</Limit> 


[sydoow]

Спасибо, поставил, только строку с гугл ботом убрал)
Посмотрим через несколько дней как что будет.

[sydoow]

Странно, поставил (гугловскую строчку только убрал) 12 числа - меньше стало жрать бэндвича, потом опять напали. Хз почему.

-------------------------------------------------
|Statistic 10-10-2011 |
-------------------------------------------------
|sydoow | 18270.5 Mb |
-------------------------------------------------
|Statistic 11-10-2011|
-------------------------------------------------
|sydoow | 14562.4 Mb |
-------------------------------------------------
|Statistic 12-10-2011|
-------------------------------------------------
|sydoow | 856.8 Mb |
-------------------------------------------------
|Statistic 13-10-2011 |
-------------------------------------------------
|sydoow | 3718.7 Mb |
-------------------------------------------------
|Statistic 14-10-2011 |
-------------------------------------------------
|sydoow | 20847.0 Mb |
-------------------------------------------------
|Statistic 15-10-2011 |
-------------------------------------------------
|sydoow | 19353.4 Mb |
-------------------------------------------------
|Statistic 16-10-2011 |
-------------------------------------------------
|sydoow | 26141.2 Mb |
-------------------------------------------------
|Statistic 17-10-2011 |
-------------------------------------------------
|sydoow | 27885.3 Mb |
-------------------------------------------------

[mirikas]

Сообщение от sydoow

Странно, поставил (гугловскую строчку только убрал) 12 числа - меньше стало жрать бэндвича, потом опять напали. Хз почему.

голодные блеять!
ps
купи сервак в подписи и не парся!

[chesser]

Сообщение от mirikas

купи сервак в подписи и не парся!

речь не про серверы, а про экономию трафика. И сама по себе эта задача экономии интересна и будет актуальна еще долгое время.

ТС, как там обстановка? тоже интересно
по логам кто весь траф сжирает? какие ua ?

[kiwi]

а какие картинки? оптимизацию их не пробовал делать, кстати?

[rushter]

Не вредя seo - только пережимать в худшее качество и размеры.