Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB58.7930
BTC/USD0.0000
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 11.04.2013, 22:04   #1
mamba
Mamber
 
Аватар для mamba
 
Регистрация: 28.12.2010
Адрес: Green Street
Сообщений: 2,742
Бабло: $413830
По умолчанию Борьба с ботами

Хотел узнать, кто и как отшивает левых ботов и боритесь ли с ними вообще...
У меня сайты с миллионными индексами и честно хз на сколько сильно левые боты ебут сервак.

Нагуглил данную статью,
http://www.maultalk.com/topic126197....ode=linearplus
На сколько оно актуально отшивает ботов? Можно ли смело юзать его решение?
и какие списки у вас?
mamba вне форума  
Старый 11.04.2013, 22:28   #2
chizer
Senior Member
 
Аватар для chizer
 
Регистрация: 01.02.2011
Сообщений: 732
Бабло: $191845
По умолчанию

Та это ерунда, лучше проанализируй логи за неделю скриптом, получи наиболее частые ip и юзерагенты, а там уже заноси в блек лист все что не нужно. Или повесь это дело на крон. Есть еще антидидос приблуды (iptables, моды для апача, скрипты): все, что превышает лимит обращений с одного ip - идет лесом.

Последний раз редактировалось chizer; 11.04.2013 в 22:33.
chizer вне форума  
Старый 11.04.2013, 22:39   #3
awm521212225
Senior Member
 
Аватар для awm521212225
 
Регистрация: 20.03.2012
Сообщений: 863
Бабло: $393585
По умолчанию

Мое ихмо побанишь скрытых ботов поисковиков - сделаешь еще хуже для миллионных индексов. И серваку станет полегче. Но станет ли легче тебе от этого?
__________________
Сторонникам Морали и Нравственности нужно немедленно отрезать хуй, потому что хуй -- это безнравственно.
awm521212225 вне форума  
Старый 11.04.2013, 23:02   #4
mamba
Mamber
 
Аватар для mamba
 
Регистрация: 28.12.2010
Адрес: Green Street
Сообщений: 2,742
Бабло: $413830
ТС -->
автор темы ТС По умолчанию

awm521212225,
получается, тогда единственный толк - это банить только по юзер агенту?
mamba вне форума  
Старый 11.04.2013, 23:06   #5
chizer
Senior Member
 
Аватар для chizer
 
Регистрация: 01.02.2011
Сообщений: 732
Бабло: $191845
По умолчанию

Цитата:
Сообщение от awm521212225 Посмотреть сообщение
Мое ихмо побанишь скрытых ботов поисковиков - сделаешь еще хуже для миллионных индексов. И серваку станет полегче. Но станет ли легче тебе от этого?
не думаю, что скрытые боты поисковиков будут парсить все подряд страницы. если они вообще существуют.
chizer вне форума  
Старый 11.04.2013, 23:13   #6
awm521212225
Senior Member
 
Аватар для awm521212225
 
Регистрация: 20.03.2012
Сообщений: 863
Бабло: $393585
По умолчанию

PHP код:
User-agentBecomeBot
User
-agentNutch
User
-agentJetbot/1.0
User
-agentJetbot
User
-agentTeoma
User
-agentWebVac
User
-agentStanford
User
-agentStanford CompSciClub
User
-agentStanford CompClub
User
-agentStanford Spiderboys
User
-agentscooter
User
-agentnaver
User
-agentdumbot
User
-agentHatena Antenna
User
-agentgrub-client
User
-agentgrub
User
-agentlooksmart
User
-agentWebZip
User
-agentlarbin
User
-agentb2w/0.1
User
-agentCopernic
User
-agentpsbot
User
-agentPython-urllib
User
-agentNetMechanic
User
-agentURL_Spider_Pro
User
-agentCherryPicker
User
-agentEmailCollector
User
-agentEmailSiphon
User
-agentWebBandit
User
-agentEmailWolf
User
-agentExtractorPro
User
-agentCopyRightCheck
User
-agentCrescent
User
-agentSiteSnagger
User
-agentProWebWalker
User
-agentCheeseBot
User
-agentLNSpiderguy
User
-agentMozilla
User
-agentmozilla
User
-agentmozilla/3
User
-agentmozilla/4
User
-agentmozilla/5
User
-agentMozilla/4.0 (compatibleMSIE 4.0Windows NT)
User-agentMozilla/4.0 (compatibleMSIE 4.0Windows 95)
User-agentMozilla/4.0 (compatibleMSIE 4.0Windows 98)
User-agentMozilla/4.0 (compatibleMSIE 4.0Windows XP)
User-agentMozilla/4.0 (compatibleMSIE 4.0Windows 2000)
User-agentia_archiver
User
-agentia_archiver/1.6
User
-agentAlexibot
User
-agentTeleport
User
-agentTeleportPro
User
-agentStanford Comp Sci
User
-agentMIIxpc
User
-agentTelesoft
User
-agentWebsite Quester
User
-agentmoget/2.1
User
-agentWebZip/4.0
User
-agentWebStripper
User
-agentWebSauger
User
-agentWebCopier
User
-agentNetAnts
User
-agentMister PiX
User
-agentWebAuto
User
-agentTheNomad
User
-agentWWW-Collector-E
User
-agentRMA
User
-agentlibWeb/clsHTTP
User
-agentasterias
User
-agenthttplib
User
-agentturingos
User
-agentspanner
User
-agentInfoNaviRobot
User
-agentHarvest/1.5
User
-agentBullseye/1.0
User
-agentMozilla/4.0 (compatibleBullsEyeWindows 95)
User-agentCrescent Internet ToolPak HTTP OLE Control v.1.0
User
-agentCherryPickerSE/1.0
User
-agentCherryPickerElite/1.0
User
-agentWebBandit/3.50
User
-agentNICErsPRO
User
-agentMicrosoft URL Control 5.01.4511
User
-agentDittoSpyder
User
-agentFoobot
User
-agentWebmasterWorldForumBot
User
-agentSpankBot
User
-agentBotALot
User
-agentlwp-trivial/1.34
User
-agentlwp-trivial
User
-agent: [url]http://www.WebmasterWorld.com[/url] bot
User-agentBunnySlippers
User
-agentMicrosoft URL Control 6.00.8169
User
-agentURLy Warning
User
-agentWget/1.6
User
-agentWget/1.5.3
User
-agentWget
User
-agentLinkWalker
User
-agentcosmos
User
-agentmoget
User
-agenthloader
User
-agenthumanlinks
User
-agentLinkextractorPro
User
-agentOffline Explorer
User
-agentMata Hari
User
-agentLexiBot
User
-agentWeb Image Collector
User
-agentThe Intraformant
User
-agentTrue_Robot/1.0
User
-agentTrue_Robot
User
-agentBlowFish/1.0
User
-agent: [url]http://www.SearchEngineWorld.com[/url] bot
User-agentJennyBot
User
-agentMIIxpc/4.2
User
-agentBuiltBotTough
User
-agentProPowerBot/2.14
User
-agentBackDoorBot/1.0
User
-agenttoCrawl/UrlDispatcher
User
-agentWebEnhancer
User
-agentsuzuran
User
-agentVCI WebViewer VCI WebViewer Win32
User
-agentVCI
User
-agentSzukacz/1.4 
User
-agentQueryN Metasearch
User
-agentOpenfind data gathere
User
-agentOpenfind 
User
-agentXenu's Link Sleuth 1.1c
User-agent: Xenu'
s
User
-agentZeus
User
-agentRepoMonkey Bait Tackle/v1.01
User
-agentRepoMonkey
User
-agentMicrosoft URL Control
User
-agentOpenbot
User
-agentURL Control
User
-agentZeus Link Scout
User
-agentZeus 32297 Webster Pro V2.9 Win32
User
-agentWebster Pro
User
-agentEroCrawler
User
-agentLinkScan/8.1a Unix
User
-agentKeyword Density/0.9
User
-agentKenjin Spider
User
-agentIron33/1.0.2
User
-agentBookmark search tool
User
-agentGetRight/4.2
User
-agentFairAd Client
User
-agentGaisbot
User
-agentAqua_Products
User
-agentRadiation Retriever 1.1
User
-agentWebmasterWorld Extractor
User
-agentFlaming AttackBot
User
-agentOracle Ultra Search
User
-agentMSIECrawler
User
-agentPerMan
User
-agentsearchpreview
User
-agentsootle
User
-agentes
User
-agentEnterprise_Search/1.0
User
-agentEnterprise_Search 
Вот юзер агенты которые поидее можно побанить.
__________________
Сторонникам Морали и Нравственности нужно немедленно отрезать хуй, потому что хуй -- это безнравственно.
awm521212225 вне форума  
Старый 11.04.2013, 23:16   #7
sashawww
BOSS V.I.P.
 
Аватар для sashawww
 
Регистрация: 28.02.2008
Сообщений: 480
Бабло: $68250
Отправить сообщение для sashawww с помощью ICQ
По умолчанию

Мое мнение лучше накинуть 20-50$ и взять мощный сервер, E3 или даже E5. Поставить туда чистый nginx без апача. А пытаться отфильтровать ботов решение не самое лучшее, можно, как тут уже сказали и скрытых СЕ ботов блокнуть и тогда горе будет. Да и боты меняются, появляются новые, замучаешься фильтровать.
sashawww вне форума  
Старый 11.04.2013, 23:19   #8
mamba
Mamber
 
Аватар для mamba
 
Регистрация: 28.12.2010
Адрес: Green Street
Сообщений: 2,742
Бабло: $413830
ТС -->
автор темы ТС По умолчанию

Проц и так самый мощный из предлагаемых конфигов.
И если суммарный индекс на сайтах с сервака - допустим лямов 10
и если отсечь хотя бы ahrefs то это уже гуд=)
mamba вне форума  
Старый 11.04.2013, 23:28   #9
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,382
Бабло: $470735
По умолчанию

user-agent-ы на то и нужны, чтобы по ним отсекать, но это не единственный признак.

если кто-то (левый бот, кролер или человек) зайдет ко мне по адресу site.com/w00t или site.com/admin/FCK или site.com/PMA и тд, я таким тоже 444 покажу. IP можно автоматом писать в лог-файл и по крону готовить blacklist IP-адресов, который автоматом подгружать в конфиг nginx. Делал такое, в принципе работало очень шустро, но если знаешь какие ip банить, то лучше сразу их в файерволе фильтровать наверно
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 11.04.2013, 23:42   #10
Diplomat
Senior Member
 
Аватар для Diplomat
 
Регистрация: 26.10.2009
Сообщений: 594
Бабло: $123024
По умолчанию

как уже выше отписали отсеки известных ботов-паразитов и расскажи о результатах.
Diplomat вне форума  
Закрытая тема



Опции темы
Опции просмотра