Как сэкономить бэндвич с помощью .htaccess и не повредить сео?

[sydoow]

У меня картинки лежат на хосте. Трафик ещё почти нету, а боты сжирают по 10-20 гигов трафика в сутки. Как то можно уменьшить расходы бэндвича, но без ущерба для СЕО ? На хосте лежат ТОЛЬКО картинки.
Слева картинки юзать врядле ктото может.
Логи посмотреть нету возможности.
Может вообще запретить всем ботам лазить за картинками? Кто как думает? )

[kiwi]

ну я скорее имел ввиду какой-нить jpegoptim/jpegtran

[profitbill]

TC https://www.cloudflare.com
глянь
как раз то что тебе нужно походу

[sydoow]

Картиночный трафик есть (причём в основном с Я), значит для СЕ не повредил код из 14 сообщения (только я там убрал строку с гуглом).

Логи просмотреть нету возможности, т.к. беру хост где я не плачу за сам хостинг, а плачу только за трафик по 10 центов за гиг (кстате не дорого ли? сначала мне показалось дёшево) и статы кроме как по трафику нету возможности получить.
Картинки в среднем по 60кб, но их дохера. Изза некоторых особенностей можно сказать что бесконечно много в глазах поисковика

Оптимизацию не проводил.

Сообщение от kiwi

ну я скорее имел ввиду какой-нить jpegoptim/jpegtran

Это я как понимаю нужно нужно чтото подкрутить на стороне сервера? Можно попробовать спросить про это у админов.

Почему после 12 числа снова напали боты я кажись понял. Как раз в то время я взял дроп с большим кол-вом страниц в индексе, повешал туда дор большой и поставил 301 редик всех несуществующих страниц в корень домена.

Щас поставил другой код в хтассес, посмотрим что будет

PHP код:

RewriteEngine On
 RewriteCond %{REQUEST_URI} !^/403.php$
 RewriteCond %{HTTP_USER_AGENT} .*Slurp.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Ask\sJeeves.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*HP\sWeb\sPrintSmart.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*HTTrack.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*IDBot.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Indy\sLibrary.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*ListChecker.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*MSIECrawler.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*NetCache.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Nutch.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*RPT-HTTPClient.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*rulinki\.ru.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Twiceler.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*WebAlta.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Webster\sPro.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*www\.cys\.ru.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Wysigot.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Yeti.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Accoona.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*CazoodleBot.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*CFNetwork.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*ConveraCrawler.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*DISCo.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Download\sMaster.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*FAST\sMetaWeb\sCrawler.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Flexum\sspider$ [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Gigabot.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*HTMLParser.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*ia_archiver.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*ichiro.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*IRLbot.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Java.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*km\.ru\sbot$ [OR]
 RewriteCond %{HTTP_USER_AGENT} .*kmSearchBot.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*libwww-perl.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Lupa\.ru.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*LWP::Simple.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*lwp-trivial.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Missigua.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*MJ12bot.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*msnbot.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*msnbot-media.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Offline\sExplorer.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*OmniExplorer_Bot.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*PEAR.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*psbot.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Python.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*rulinki\.ru.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*SMILE.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Speedy.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Teleport\sPro.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*TurtleScanner.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*voyager.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Webalta.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*WebCopier.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*WebData.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*WebZIP.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Wget.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Yanga.* [OR]
 RewriteCond %{HTTP_USER_AGENT} .*Yeti.*
 RewriteCond %{HTTP_USER_AGENT} .*BSEO.*
 RewriteCond %{HTTP_USER_AGENT} .*vBSEO.*
 RewriteCond %{HTTP_USER_AGENT} .*(vBSEO).*
 RewriteCond %{HTTP_USER_AGENT} .*[url]http://www.vbseo.com.*[/url]

 RewriteRule .* /403.php [F] 


 SetEnvIfNoCase User-Agent "vBSEO; http://www.vbseo.com" bad_bot
 SetEnvIfNoCase User-Agent "vBSEO" bad_bot

 <Limit GET POST>
 order allow,deny
 deny from env=bad_bot
 allow from all
 </Limit> 


[sydoow]

Можно как то закртыть доступ для всех ботов (или для всех популярных ботов) и оставить только для юзеров?

[digg]

может проще оставить доступ в .htaccess к папке в которой лежат картинки только известным реферам, типа:

reffer vk.com
ya.ru
google.com/search?q=
свой домен

боты обычно без реферов ваще заходят
остальным форбидден

[digg]

ну, так че там, мужики?
какое решение есть пиздатое?
мне тоже надо

[chesser]

Сообщение от digg

ну, так че там, мужики?
какое решение есть пиздатое?
мне тоже надо

а чем тебе твое не нравится? которое постом выше
меня так один ресурс банил. Сначала я парсил без реферера, потом пришлось с реферером, потом пришлось ua вписать, потом они как-то просекли, что у меня реферер не с тех страниц, которые конкретная картинка показывается, пришлось дописывать чтобы парсер слал конкретную страницу, потом они аякс придумали с такими же проверками по реферерами и ua - это все обошел, но если врубят защиту на основе меняющегося js - это я уже не потяну, т.к. парсер на пхп ((

так что блокировать по ua и/или рефереам многих остановит. можно искусственно скорость занижать - но это только для nginx, в апаче рост коннектов к хорошему не приведет

[digg]

да, это все понятно
как по толковому это все в .htaccess расписать?

[chesser]

Сообщение от digg

да, это все понятно
как по толковому это все в .htaccess расписать?

по толковому будет через SetEnvIfNoCase: http://www.askapache.com/htaccess/setenvif.html
а более толково в данном случае будет nginx. Причем, это действительно тот случай, когда нужен именно легкий фронтент.... ну можно lighttpd, если он ближе

[sydoow]

Блеать! Заебали боты трафик жрать. Как яндексовкого запретить?
http://www.gofuckbiz.com/showpost.ph...7&postcount=14 - этот поставил, один хер бэндвич большой. Походу яндекс гандон жрёт.