|
| Дата |
|
USD/RUB | 88.4375 | BTC/USD | 67828.5337 |
|
|
|
Поисковые системы Поисковая оптимизация под Google, Yahoo, Bing и т.д. |
12.10.2011, 00:16
|
Start Post: Как сэкономить бэндвич с помощью .htaccess и не повредить сео?
|
Senior Member
Регистрация: 26.09.2008
Сообщений: 3,957
Бабло: $504649
|
У меня картинки лежат на хосте. Трафик ещё почти нету, а боты сжирают по 10-20 гигов трафика в сутки. Как то можно уменьшить расходы бэндвича, но без ущерба для СЕО ? На хосте лежат ТОЛЬКО картинки.
Слева картинки юзать врядле ктото может.
Логи посмотреть нету возможности.
Может вообще запретить всем ботам лазить за картинками? Кто как думает? )
|
|
|
04.11.2011, 18:13
|
#22
|
Senior Member
Регистрация: 30.03.2007
Сообщений: 13,549
Бабло: $22677065
|
ну я скорее имел ввиду какой-нить jpegoptim/jpegtran
|
|
|
04.11.2011, 19:34
|
#23
|
Ебланнед
Регистрация: 03.11.2009
Сообщений: 562
Бабло: $155495
|
TC https://www.cloudflare.com
глянь
как раз то что тебе нужно походу
__________________
Black List - http://www.gofuckbiz.com/showthread.php?t=36819
|
|
|
05.11.2011, 09:21
|
#24
|
Senior Member
Регистрация: 26.09.2008
Сообщений: 3,957
Бабло: $504649
ТС -->
|
ТС
Картиночный трафик есть (причём в основном с Я), значит для СЕ не повредил код из 14 сообщения (только я там убрал строку с гуглом).
Логи просмотреть нету возможности, т.к. беру хост где я не плачу за сам хостинг, а плачу только за трафик по 10 центов за гиг (кстате не дорого ли? сначала мне показалось дёшево) и статы кроме как по трафику нету возможности получить.
Картинки в среднем по 60кб, но их дохера. Изза некоторых особенностей можно сказать что бесконечно много в глазах поисковика
Оптимизацию не проводил.
Цитата:
Сообщение от kiwi
ну я скорее имел ввиду какой-нить jpegoptim/jpegtran
|
Это я как понимаю нужно нужно чтото подкрутить на стороне сервера? Можно попробовать спросить про это у админов.
Почему после 12 числа снова напали боты я кажись понял. Как раз в то время я взял дроп с большим кол-вом страниц в индексе, повешал туда дор большой и поставил 301 редик всех несуществующих страниц в корень домена.
Щас поставил другой код в хтассес, посмотрим что будет
PHP код:
RewriteEngine On
RewriteCond %{REQUEST_URI} !^/403.php$
RewriteCond %{HTTP_USER_AGENT} .*Slurp.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Ask\sJeeves.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*HP\sWeb\sPrintSmart.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*HTTrack.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*IDBot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Indy\sLibrary.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*ListChecker.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*MSIECrawler.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*NetCache.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Nutch.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*RPT-HTTPClient.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*rulinki\.ru.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Twiceler.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebAlta.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Webster\sPro.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*www\.cys\.ru.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Wysigot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Yeti.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Accoona.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*CazoodleBot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*CFNetwork.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*ConveraCrawler.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*DISCo.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Download\sMaster.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*FAST\sMetaWeb\sCrawler.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Flexum\sspider$ [OR]
RewriteCond %{HTTP_USER_AGENT} .*Gigabot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*HTMLParser.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*ia_archiver.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*ichiro.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*IRLbot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Java.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*km\.ru\sbot$ [OR]
RewriteCond %{HTTP_USER_AGENT} .*kmSearchBot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*libwww-perl.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Lupa\.ru.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*LWP::Simple.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*lwp-trivial.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Missigua.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*MJ12bot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*msnbot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*msnbot-media.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Offline\sExplorer.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*OmniExplorer_Bot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*PEAR.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*psbot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Python.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*rulinki\.ru.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*SMILE.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Speedy.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Teleport\sPro.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*TurtleScanner.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*voyager.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Webalta.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebCopier.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebData.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*WebZIP.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Wget.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Yanga.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Yeti.*
RewriteCond %{HTTP_USER_AGENT} .*BSEO.*
RewriteCond %{HTTP_USER_AGENT} .*vBSEO.*
RewriteCond %{HTTP_USER_AGENT} .*(vBSEO).*
RewriteCond %{HTTP_USER_AGENT} .*[url]http://www.vbseo.com.*[/url]
RewriteRule .* /403.php [F]
SetEnvIfNoCase User-Agent "vBSEO; http://www.vbseo.com" bad_bot
SetEnvIfNoCase User-Agent "vBSEO" bad_bot
<Limit GET POST>
order allow,deny
deny from env=bad_bot
allow from all
</Limit>
|
|
|
16.11.2011, 19:35
|
#25
|
Senior Member
Регистрация: 26.09.2008
Сообщений: 3,957
Бабло: $504649
ТС -->
|
ТС
Можно как то закртыть доступ для всех ботов (или для всех популярных ботов) и оставить только для юзеров?
|
|
|
16.11.2011, 21:27
|
#26
|
$400
Регистрация: 17.05.2009
Сообщений: 14,021
Бабло: $1906310
|
может проще оставить доступ в .htaccess к папке в которой лежат картинки только известным реферам, типа:
reffer vk.com
ya.ru
google.com/search?q=
свой домен
боты обычно без реферов ваще заходят
остальным форбидден
|
|
|
17.11.2011, 18:58
|
#27
|
$400
Регистрация: 17.05.2009
Сообщений: 14,021
Бабло: $1906310
|
ну, так че там, мужики?
какое решение есть пиздатое?
мне тоже надо
|
|
|
18.11.2011, 06:35
|
#28
|
автоматизирую интернеты
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,350
Бабло: $470735
|
Цитата:
Сообщение от digg
ну, так че там, мужики?
какое решение есть пиздатое?
мне тоже надо
|
а чем тебе твое не нравится? которое постом выше
меня так один ресурс банил. Сначала я парсил без реферера, потом пришлось с реферером, потом пришлось ua вписать, потом они как-то просекли, что у меня реферер не с тех страниц, которые конкретная картинка показывается, пришлось дописывать чтобы парсер слал конкретную страницу, потом они аякс придумали с такими же проверками по реферерами и ua - это все обошел, но если врубят защиту на основе меняющегося js - это я уже не потяну, т.к. парсер на пхп ((
так что блокировать по ua и/или рефереам многих остановит. можно искусственно скорость занижать - но это только для nginx, в апаче рост коннектов к хорошему не приведет
|
|
|
18.11.2011, 07:46
|
#29
|
$400
Регистрация: 17.05.2009
Сообщений: 14,021
Бабло: $1906310
|
да, это все понятно
как по толковому это все в .htaccess расписать?
|
|
|
18.11.2011, 08:10
|
#30
|
автоматизирую интернеты
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,350
Бабло: $470735
|
Цитата:
Сообщение от digg
да, это все понятно
как по толковому это все в .htaccess расписать?
|
по толковому будет через SetEnvIfNoCase: http://www.askapache.com/htaccess/setenvif.html
а более толково в данном случае будет nginx. Причем, это действительно тот случай, когда нужен именно легкий фронтент.... ну можно lighttpd, если он ближе
|
|
|
|