realtorVmoskve (realtorvmoskve) wrote,
realtorVmoskve
realtorvmoskve

Как добавить пассивной защиты проекту

Кто ходит в гости по утрам, парам-парам, парам-парам. В отличии от того персонажа, который напевал эту песенку, Боты ходят в гости по какому то своему расписанию. И чаще всего, хорошего от Ботов (Роботов-Пауков, Поисковых ботов, Хороших ботов) ничего ожидать не приходится. В лучшем случае, они не приносят вред. Да, кстати, самое время сказать, что хорошие боты, это боты Яндекса, Google и других поисковых систем, которые приходят на ваш проект и проверяют информацию на изменение. Собственно благодаря им наши сайты и попадают в поисковые системы. Так что же такого делают плохие боты? Ну, поскольку наш проект будет ориентирован на безопасность, то начнём мы с лёгкого, но объёмного материала - это СПАМ. Да, в спаме без ботов дело не обходится. Именно благодаря спам-ботам в вашем уютном блоге появляются, зачастую лишённые смысла, комментарии. чаще всего в них присутствует ссылка на ресурс заказчика. Так вот, уважаемые владельцы сайтов. Ниже приведённая инфорамация именно для вас. Так как безопасность в интернете, это очень широкое понятие. И обезопасить свой проект от нехороших ботов, ваша непоследняя задача. Поскольку это поможет снизить нагрузку на сервер, а также уменьшит значительно поток спама в ваши комментарии. Ниже предлагаем пример файла robots.txt который находится в корне вашего сайта. Смотрите, применяйте. Будут вопросы - пишите в комментариях, обязательно ответим.

# robots.txt Thanks for spidering
# optimized by CYBWELL GmbH, Switzerland

User-agent: *
Disallow: /bin
Disallow: /redir.asp

User-agent:Mediapartners-Google
Disallow:/

User-agent:Teoma
Disallow:/

User-agent:Aqua_Products
Disallow:/

User-agent:atSpider
Disallow:/

User-agent:b2w/0.1
Disallow:/

User-agent:BecomeBot
Disallow:/

User-agent:CheeseBot
Disallow:/

User-agent:CherryPicker
Disallow:/

User-agent:CopyRightCheck
Disallow:/

User-agent:Copernic
Disallow:/

User-agent:Crescent
Disallow:/

User-agent:DSurf
Disallow:/

User-agent:dumbot
Disallow:/

User-agent:EliteSysEntry
Disallow:/

User-agent:EmailCollector
Disallow:/

User-agent:EmailSiphon
Disallow:/

User-agent:EmailWolf
Disallow:/

User-agent:Enterprise_Search/1.0
Disallow:/

User-agent:Enterprise_Search
Disallow:/

User-agent:es
Disallow:/

User-agent:ExtractorPro
Disallow:/

User-agent:FlamingAttackBot
Disallow:/

User-agent:FreeFind
Disallow:/

User-agent:grub
Disallow:/

User-agent:grub-client
Disallow:/

User-agent:HatenaAntenna
Disallow:/

User-agent:Jetbot
Disallow:/

User-agent:Jetbot/1.0
Disallow:/

User-agent:larbin
Disallow:/

User-agent:MailSweeper
Disallow:/

User-agent:munky
Disallow:/

User-agent:naver
Disallow:/

User-agent:NetMechanic
Disallow:/

User-agent:Nutch
Disallow:/

User-agent:OmniExplorer_Bot
Disallow:/

User-agent:OracleUltraSearch
Disallow:/

User-agent:PerMan
Disallow:/

User-agent:ProWebWalker
Disallow:/

User-agent:psbot
Disallow:/

User-agent:Python-urllib
Disallow:/

User-agent:RadiationRetriever1.1
Disallow:/

User-agent:Roverbot
Disallow:/

User-agent:searchpreview
Disallow:/

User-agent:SiteSnagger
Disallow:/

User-agent:sootle
Disallow:/

User-agent:Stanford
Disallow:/

User-agent:URL_Spider_Pro
Disallow:/

User-agent:WebBandit
Disallow:/

User-agent:WebEmailExtrac
Disallow:/

User-agent:WebVac
Disallow:/

User-agent:WebZip
Disallow:/

User-agent:xGet
Disallow:/

User-agent:wGet
Disallow:/

User-agent:WebWalk
Disallow:/

User-agent:webvac
Disallow:/

User-agent:WebReaper
Disallow:/

User-agent:WebMirror
Disallow:/

User-agent:WebFetcher
Disallow:/

User-agent:WebCopy
Disallow:/

User-agent:webcopier
Disallow:/

User-agent:WebCatcher
Disallow:/

User-agent:w3mir
Disallow:/

User-agent:vobsub
Disallow:/

User-agent:Templeton
Disallow:/

User-agent:ssearcher100
Disallow:/

User-agent:SpiderBot
Disallow:/

User-agent:Shai'Hulud
Disallow:/

User-agent:PBWF
Disallow:/

User-agent:LightningDownload
Disallow:/

User-agent:KDDExploror
Disallow:/

User-agent:Jeeves
Disallow:/

User-agent:InternetExplore
Disallow:/

User-agent:InfoSpiders
Disallow:/

User-agent:httrack
Disallow:/

User-agent:HavIndex
Disallow:/

User-agent:GetUrl
Disallow:/

User-agent:GetBot
Disallow:/

User-agent:ESIRover
Disallow:/

User-agent:DownloadWonder
Disallow:/

User-agent:Collage
Disallow:/

User-agent:Mozilla/2.0(compatible;MSFrontPage4.0)
Disallow:/

User-agent:LNSpiderguy
Disallow:/

User-agent:Alexibot
Disallow:/

User-agent:Teleport
Disallow:/

User-agent:TeleportPro
Disallow:/

User-agent:StanfordCompSci
Disallow:/

User-agent:MIIxpc
Disallow:/

User-agent:Telesoft
Disallow:/

User-agent:WebsiteQuester
Disallow:/

User-agent:moget/2.1
Disallow:/

User-agent:WebZip/4.0
Disallow:/

User-agent:WebStripper
Disallow:/

User-agent:WebSauger
Disallow:/

User-agent:WebCopier
Disallow:/

User-agent:NetAnts
Disallow:/

User-agent:MisterPiX
Disallow:/

User-agent:WebAuto
Disallow:/

User-agent:TheNomad
Disallow:/

User-agent:WWW-Collector-E
Disallow:/

User-agent:RMA
Disallow:/

User-agent:libWeb/clsHTTP
Disallow:/

User-agent:asterias
Disallow:/

User-agent:httplib
Disallow:/

User-agent:turingos
Disallow:/

User-agent:spanner
Disallow:/

User-agent:InfoNaviRobot
Disallow:/

User-agent:Harvest/1.5
Disallow:/

User-agent:Bullseye/1.0
Disallow:/

User-agent:CrescentInternetToolPakHTTPOLEControlv.1.0
Disallow:/

User-agent:CherryPickerSE/1.0
Disallow:/

User-agent:CherryPickerElite/1.0
Disallow:/

User-agent:WebBandit/3.50
Disallow:/

User-agent:NICErsPRO
Disallow:/

User-agent:MicrosoftURLControl-5.01.4511
Disallow:/

User-agent:DittoSpyder
Disallow:/

User-agent:Foobot
Disallow:/

User-agent:SpankBot
Disallow:/

User-agent:BotALot
Disallow:/

User-agent:lwp-trivial/1.34
Disallow:/

User-agent:lwp-trivial
Disallow:/

User-agent:BunnySlippers
Disallow:/

User-agent:MicrosoftURLControl-6.00.8169
Disallow:/

User-agent:URLyWarning
Disallow:/

User-agent:Wget/1.6
Disallow:/

User-agent:Wget/1.5.3
Disallow:/

User-agent:Wget
Disallow:/

User-agent:LinkWalker
Disallow:/

User-agent:cosmos
Disallow:/

User-agent:moget
Disallow:/

User-agent:hloader
Disallow:/

User-agent:URLControl
Disallow:/

User-agent:ZeusLinkScout
Disallow:/

User-agent:Zeus32297WebsterProV2.9Win32
Disallow:/

User-agent:WebsterPro
Disallow:/

User-agent:EroCrawler
Disallow:/

User-agent:LinkScan/8.1aUnix
Disallow:/

User-agent:KeywordDensity/0.9
Disallow:/

User-agent:KenjinSpider
Disallow:/

User-agent:Iron33/1.0.2
Disallow:/

User-agent:Bookmarksearchtool
Disallow:/

User-agent:GetRight/4.2
Disallow:/

User-agent:FairAdClient
Disallow:/

User-agent:Gaisbot
Disallow:/

User-agent:humanlinks
Disallow:/

User-agent:LinkextractorPro
Disallow:/

User-agent:OfflineExplorer
Disallow:/

User-agent:MataHari
Disallow:/

User-agent:LexiBot
Disallow:/

User-agent:WebImageCollector
Disallow:/

User-agent:TheIntraformant
Disallow:/

User-agent:True_Robot/1.0
Disallow:/

User-agent:True_Robot
Disallow:/

User-agent:BlowFish/1.0
Disallow:/

User-agent:JennyBot
Disallow:/

User-agent:MIIxpc/4.2
Disallow:/

User-agent:BuiltBotTough
Disallow:/

User-agent:ProPowerBot/2.14
Disallow:/

User-agent:BackDoorBot/1.0
Disallow:/

User-agent:toCrawl/UrlDispatcher
Disallow:/

User-agent:WebEnhancer
Disallow:/

User-agent:suzuran
Disallow:/

User-agent:VCIWebViewerVCIWebViewerWin32
Disallow:/

User-agent:VCI
Disallow:/

User-agent:Szukacz/1.4
Disallow:/

User-agent:QueryNMetasearch
Disallow:/

User-agent:Openfinddatagathere
Disallow:/

User-agent:Openfind
Disallow:/

User-agent:Xenu'sLinkSleuth1.1c
Disallow:/

User-agent:Xenu's
Disallow:/

User-agent:Zeus
Disallow:/

User-agent:RepoMonkeyBait&Tackle/v1.01
Disallow:/

User-agent:RepoMonkey
Disallow:/

User-agent:MicrosoftURLControl
Disallow:/

User-agent:Openbot
Disallow:/
 
  
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your IP address will be recorded 

  • 0 comments