214 ФЗgreen cardpermanent residencerealtorАренда нежилых помещенийДолларыМоскваНовостиНовостройкаПодмосковьеПодмосковье рядом с метроПолезная информацияПроектная декларацияСШАФорма армии СШАХорошее настроениеагентство недвижимостиаренда в москвеаренда квартирыаренда недвижимостиаренда от собственника в Москвеаренда офисов в Москвеарендатору на заметкуафёры с квартирамиафёры с комнатами в москвевоенная форма сша купитьвыставкигорит подмосковьегорящие торфянникигрин картадекларацияденьгидоговор соц наймажильё под сносзавещаниезастройщикквартира в москвеквартиры в новостройкахкуплю военную форму сшамаклермонетымошенники в москвеналог на доходналоги от продажи квартирнаследствонастроениене верьте в москвене попадитесь в москвенедвижимостьновостройкиоптимум недвижимостьполезные советыполезный сайтпредварительный договорпродавецпродажа квартирыпродаётсярегистрация права собственностириэлторсайт по поиску недвижимостисдам квартирусниму квартиру в Москвесоциальная сетьтехника для риэлтораформа морской пехоты сша купитьцветыценты

Август 2011

Вс Пн Вт Ср Чт Пт Сб
 123456
78910111213
14151617181920
21222324252627
28293031   

View All Archives

Как добавить пассивной защиты проекту

21 Июл,2011 в 7:7

Кто ходит в гости по утрам, парам-парам, парам-парам. В отличии от того персонажа, который напевал эту песенку, Боты ходят в гости по какому то своему расписанию. И чаще всего, хорошего от Ботов (Роботов-Пауков, Поисковых ботов, Хороших ботов) ничего ожидать не приходится. В лучшем случае, они не приносят вред. Да, кстати, самое время сказать, что хорошие боты, это боты Яндекса, Google и других поисковых систем, которые приходят на ваш проект и проверяют информацию на изменение. Собственно благодаря им наши сайты и попадают в поисковые системы. Так что же такого делают плохие боты? Ну, поскольку наш проект будет ориентирован на безопасность, то начнём мы с лёгкого, но объёмного материала - это СПАМ. Да, в спаме без ботов дело не обходится. Именно благодаря спам-ботам в вашем уютном блоге появляются, зачастую лишённые смысла, комментарии. чаще всего в них присутствует ссылка на ресурс заказчика. Так вот, уважаемые владельцы сайтов. Ниже приведённая инфорамация именно для вас. Так как безопасность в интернете, это очень широкое понятие. И обезопасить свой проект от нехороших ботов, ваша непоследняя задача. Поскольку это поможет снизить нагрузку на сервер, а также уменьшит значительно поток спама в ваши комментарии. Ниже предлагаем пример файла robots.txt который находится в корне вашего сайта. Смотрите, применяйте. Будут вопросы - пишите в комментариях, обязательно ответим.

# robots.txt Thanks for spidering
# optimized by CYBWELL GmbH, Switzerland

User-agent: *
Disallow: /bin
Disallow: /redir.asp

User-agent:Mediapartners-Google
Disallow:/

User-agent:Teoma
Disallow:/

User-agent:Aqua_Products
Disallow:/

User-agent:atSpider
Disallow:/

User-agent:b2w/0.1
Disallow:/

User-agent:BecomeBot
Disallow:/

User-agent:CheeseBot
Disallow:/

User-agent:CherryPicker
Disallow:/

User-agent:CopyRightCheck
Disallow:/

User-agent:Copernic
Disallow:/

User-agent:Crescent
Disallow:/

User-agent:DSurf
Disallow:/

User-agent:dumbot
Disallow:/

User-agent:EliteSysEntry
Disallow:/

User-agent:EmailCollector
Disallow:/

User-agent:EmailSiphon
Disallow:/

User-agent:EmailWolf
Disallow:/

User-agent:Enterprise_Search/1.0
Disallow:/

User-agent:Enterprise_Search
Disallow:/

User-agent:es
Disallow:/

User-agent:ExtractorPro
Disallow:/

User-agent:FlamingAttackBot
Disallow:/

User-agent:FreeFind
Disallow:/

User-agent:grub
Disallow:/

User-agent:grub-client
Disallow:/

User-agent:HatenaAntenna
Disallow:/

User-agent:Jetbot
Disallow:/

User-agent:Jetbot/1.0
Disallow:/

User-agent:larbin
Disallow:/

User-agent:MailSweeper
Disallow:/

User-agent:munky
Disallow:/

User-agent:naver
Disallow:/

User-agent:NetMechanic
Disallow:/

User-agent:Nutch
Disallow:/

User-agent:OmniExplorer_Bot
Disallow:/

User-agent:OracleUltraSearch
Disallow:/

User-agent:PerMan
Disallow:/

User-agent:ProWebWalker
Disallow:/

User-agent:psbot
Disallow:/

User-agent:Python-urllib
Disallow:/

User-agent:RadiationRetriever1.1
Disallow:/

User-agent:Roverbot
Disallow:/

User-agent:searchpreview
Disallow:/

User-agent:SiteSnagger
Disallow:/

User-agent:sootle
Disallow:/

User-agent:Stanford
Disallow:/

User-agent:URL_Spider_Pro
Disallow:/

User-agent:WebBandit
Disallow:/

User-agent:WebEmailExtrac
Disallow:/

User-agent:WebVac
Disallow:/

User-agent:WebZip
Disallow:/

User-agent:xGet
Disallow:/

User-agent:wGet
Disallow:/

User-agent:WebWalk
Disallow:/

User-agent:webvac
Disallow:/

User-agent:WebReaper
Disallow:/

User-agent:WebMirror
Disallow:/

User-agent:WebFetcher
Disallow:/

User-agent:WebCopy
Disallow:/

User-agent:webcopier
Disallow:/

User-agent:WebCatcher
Disallow:/

User-agent:w3mir
Disallow:/

User-agent:vobsub
Disallow:/

User-agent:Templeton
Disallow:/

User-agent:ssearcher100
Disallow:/

User-agent:SpiderBot
Disallow:/

User-agent:Shai'Hulud
Disallow:/

User-agent:PBWF
Disallow:/

User-agent:LightningDownload
Disallow:/

User-agent:KDDExploror
Disallow:/

User-agent:Jeeves
Disallow:/

User-agent:InternetExplore
Disallow:/

User-agent:InfoSpiders
Disallow:/

User-agent:httrack
Disallow:/

User-agent:HavIndex
Disallow:/

User-agent:GetUrl
Disallow:/

User-agent:GetBot
Disallow:/

User-agent:ESIRover
Disallow:/

User-agent:DownloadWonder
Disallow:/

User-agent:Collage
Disallow:/

User-agent:Mozilla/2.0(compatible;MSFrontPage4.0)
Disallow:/

User-agent:LNSpiderguy
Disallow:/

User-agent:Alexibot
Disallow:/

User-agent:Teleport
Disallow:/

User-agent:TeleportPro
Disallow:/

User-agent:StanfordCompSci
Disallow:/

User-agent:MIIxpc
Disallow:/

User-agent:Telesoft
Disallow:/

User-agent:WebsiteQuester
Disallow:/

User-agent:moget/2.1
Disallow:/

User-agent:WebZip/4.0
Disallow:/

User-agent:WebStripper
Disallow:/

User-agent:WebSauger
Disallow:/

User-agent:WebCopier
Disallow:/

User-agent:NetAnts
Disallow:/

User-agent:MisterPiX
Disallow:/

User-agent:WebAuto
Disallow:/

User-agent:TheNomad
Disallow:/

User-agent:WWW-Collector-E
Disallow:/

User-agent:RMA
Disallow:/

User-agent:libWeb/clsHTTP
Disallow:/

User-agent:asterias
Disallow:/

User-agent:httplib
Disallow:/

User-agent:turingos
Disallow:/

User-agent:spanner
Disallow:/

User-agent:InfoNaviRobot
Disallow:/

User-agent:Harvest/1.5
Disallow:/

User-agent:Bullseye/1.0
Disallow:/

User-agent:CrescentInternetToolPakHTTPOLEControlv.1.0
Disallow:/

User-agent:CherryPickerSE/1.0
Disallow:/

User-agent:CherryPickerElite/1.0
Disallow:/

User-agent:WebBandit/3.50
Disallow:/

User-agent:NICErsPRO
Disallow:/

User-agent:MicrosoftURLControl-5.01.4511
Disallow:/

User-agent:DittoSpyder
Disallow:/

User-agent:Foobot
Disallow:/

User-agent:SpankBot
Disallow:/

User-agent:BotALot
Disallow:/

User-agent:lwp-trivial/1.34
Disallow:/

User-agent:lwp-trivial
Disallow:/

User-agent:BunnySlippers
Disallow:/

User-agent:MicrosoftURLControl-6.00.8169
Disallow:/

User-agent:URLyWarning
Disallow:/

User-agent:Wget/1.6
Disallow:/

User-agent:Wget/1.5.3
Disallow:/

User-agent:Wget
Disallow:/

User-agent:LinkWalker
Disallow:/

User-agent:cosmos
Disallow:/

User-agent:moget
Disallow:/

User-agent:hloader
Disallow:/

User-agent:URLControl
Disallow:/

User-agent:ZeusLinkScout
Disallow:/

User-agent:Zeus32297WebsterProV2.9Win32
Disallow:/

User-agent:WebsterPro
Disallow:/

User-agent:EroCrawler
Disallow:/

User-agent:LinkScan/8.1aUnix
Disallow:/

User-agent:KeywordDensity/0.9
Disallow:/

User-agent:KenjinSpider
Disallow:/

User-agent:Iron33/1.0.2
Disallow:/

User-agent:Bookmarksearchtool
Disallow:/

User-agent:GetRight/4.2
Disallow:/

User-agent:FairAdClient
Disallow:/

User-agent:Gaisbot
Disallow:/

User-agent:humanlinks
Disallow:/

User-agent:LinkextractorPro
Disallow:/

User-agent:OfflineExplorer
Disallow:/

User-agent:MataHari
Disallow:/

User-agent:LexiBot
Disallow:/

User-agent:WebImageCollector
Disallow:/

User-agent:TheIntraformant
Disallow:/

User-agent:True_Robot/1.0
Disallow:/

User-agent:True_Robot
Disallow:/

User-agent:BlowFish/1.0
Disallow:/

User-agent:JennyBot
Disallow:/

User-agent:MIIxpc/4.2
Disallow:/

User-agent:BuiltBotTough
Disallow:/

User-agent:ProPowerBot/2.14
Disallow:/

User-agent:BackDoorBot/1.0
Disallow:/

User-agent:toCrawl/UrlDispatcher
Disallow:/

User-agent:WebEnhancer
Disallow:/

User-agent:suzuran
Disallow:/

User-agent:VCIWebViewerVCIWebViewerWin32
Disallow:/

User-agent:VCI
Disallow:/

User-agent:Szukacz/1.4
Disallow:/

User-agent:QueryNMetasearch
Disallow:/

User-agent:Openfinddatagathere
Disallow:/

User-agent:Openfind
Disallow:/

User-agent:Xenu'sLinkSleuth1.1c
Disallow:/

User-agent:Xenu's
Disallow:/

User-agent:Zeus
Disallow:/

User-agent:RepoMonkeyBait&Tackle/v1.01
Disallow:/

User-agent:RepoMonkey
Disallow:/

User-agent:MicrosoftURLControl
Disallow:/

User-agent:Openbot
Disallow:/