久综合色-久综合网-玖草影视-玖草资源在线-亚洲黄色片子-亚洲黄色片在线观看

Hello! 歡迎來到小浪云!


云服務器Apache利用USER_AGENT屏蔽惡意蜘蛛


avatar
小浪云 2024-07-15 155

 

最近發現日志里有很多沒見過的蜘蛛UA,基本上都是國外的一些搜索引擎,或者很本不是搜索引擎,有的抓取頻率很高,剛開始設置了下robots.txt,因為他們首先都抓取了robots.txt,應該是遵守規則的,沒想到人家只是走個過場,并沒有把robot.txt放在眼里。

 

apache可以用.htaccess文件來通過useragent來屏蔽一些訪問,搜了一下,大概可以這么做:

 

 

 

 

.htaccess

SetEnvifNoCase?User-Agent?^.*Scrapy.*?bad_bot

SetEnvifNoCase?User-Agent?^.*SemrushBot.*?bad_bot

SetEnvifNoCase?User-Agent?^.*ExtLinksBot.*?bad_bot

SetEnvifNoCase?User-Agent?^.*YandexBot.*?bad_bot

SetEnvifNoCase?User-Agent?^.*MauiBot.*?bad_bot

SetEnvifNoCase?User-Agent?^.*Python.*?bad_bot

SetEnvifNoCase?User-Agent?^.*NetcraftSurveyAgent.*?bad_bot

Deny?from?env=bad_bot

這樣當這些匹配的useragent就會被返回403禁止訪問。

 

可是第二天發現有幾個useragent瘋狂的訪問robot.txt,反正都不遵守規則,那么執著的訪問robots.txt干什么。。。。。

 

于是我換了一種方法,打算用302(301也一樣啦,對這些惡意蜘蛛沒那么講究)把他們轉走。

 

.htaccess

云服務器Apache利用USER_AGENT屏蔽惡意蜘蛛

這樣,就都被302到www.xlyVPS.com了,現在再看那些未知的蜘蛛基本不會在主站亂爬了。

 

另:.htaccess的正則:”^”代表字符串的開始,”.*”代表任意字符。

 

NC代表不區分大小寫,OR代表或者,L的意思是一旦有符合條件的規則就不再執行下面的規則,所以這些語句要放在wordpress等程序默認偽靜態規則的前面。

相關閱讀

主站蜘蛛池模板: 亚洲日韩精品欧美一区二区一 | 亚洲国产精品综合久久网络 | 午夜久久久久久久 | 国产高清精品在线 | 欧美一级毛片免费看 | 99爱精品视频 | 国产美女视频网站 | 中文字幕日韩精品有码视频 | 日韩高清在线二区 | 亚洲九九夜夜 | 操哭美女 | 中文字幕在线一区二区三区 | 亚洲精品永久一区 | 国产手机精品视频 | 97久久国语露脸精品对白 | 99在线视频精品费观看视 | 久久精品国产欧美 | 香港三级日本三级人妇三级四 | 最新主播福利视频在线观看 | 国产一级久久久久久毛片 | 欧美一级录像 | 天堂精品高清1区2区3区 | 欧美成 人h版在线观看 | 国内精品久久久久久久影视麻豆 | 成年人视频网站免费 | 免费一级a毛片免费观看欧美大片 | 美女舒服好紧太爽了视频 | 欧美日韩黄色 | 性一级片| 美女黄色片免费 | 久久成人亚洲 | 亚洲区一区 | 亚洲国产日韩欧美高清片a 亚洲国产日韩欧美在线 | 国内精品九一在线播放 | 国产综合精品久久亚洲 | chinese性老妇中国 | 手机在线播放av | 中国女人毛茸茸免费视频 | 亚洲经典在线 | chineseoldman色老头videos | 精品久久久久久中文字幕网 |