久综合色-久综合网-玖草影视-玖草资源在线-亚洲黄色片子-亚洲黄色片在线观看

Hello! 歡迎來到小浪云!


云服務器Apache利用USER_AGENT屏蔽惡意蜘蛛


avatar
小浪云 2024-07-15 155

 

最近發現日志里有很多沒見過的蜘蛛UA,基本上都是國外的一些搜索引擎,或者很本不是搜索引擎,有的抓取頻率很高,剛開始設置了下robots.txt,因為他們首先都抓取了robots.txt,應該是遵守規則的,沒想到人家只是走個過場,并沒有把robot.txt放在眼里。

 

apache可以用.htaccess文件來通過useragent來屏蔽一些訪問,搜了一下,大概可以這么做:

 

 

 

 

.htaccess

SetEnvifNoCase?User-Agent?^.*Scrapy.*?bad_bot

SetEnvifNoCase?User-Agent?^.*SemrushBot.*?bad_bot

SetEnvifNoCase?User-Agent?^.*ExtLinksBot.*?bad_bot

SetEnvifNoCase?User-Agent?^.*YandexBot.*?bad_bot

SetEnvifNoCase?User-Agent?^.*MauiBot.*?bad_bot

SetEnvifNoCase?User-Agent?^.*Python.*?bad_bot

SetEnvifNoCase?User-Agent?^.*NetcraftSurveyAgent.*?bad_bot

Deny?from?env=bad_bot

這樣當這些匹配的useragent就會被返回403禁止訪問。

 

可是第二天發現有幾個useragent瘋狂的訪問robot.txt,反正都不遵守規則,那么執著的訪問robots.txt干什么。。。。。

 

于是我換了一種方法,打算用302(301也一樣啦,對這些惡意蜘蛛沒那么講究)把他們轉走。

 

.htaccess

云服務器Apache利用USER_AGENT屏蔽惡意蜘蛛

這樣,就都被302到www.xlyVPS.com了,現在再看那些未知的蜘蛛基本不會在主站亂爬了。

 

另:.htaccess的正則:”^”代表字符串的開始,”.*”代表任意字符。

 

NC代表不區分大小寫,OR代表或者,L的意思是一旦有符合條件的規則就不再執行下面的規則,所以這些語句要放在wordpress等程序默認偽靜態規則的前面。

相關閱讀

主站蜘蛛池模板: 亚洲国产精品看片在线观看 | 99在线精品免费视频 | 成人精品一区二区激情 | 亚洲悠悠色综合中文字幕 | 成人做爰毛片免费视频 | 久9青青cao精品视频在线 | 中文字幕日本一区波多野不卡 | 国自产精品手机在线视频香蕉 | 国产亚洲精品一区二区三区 | 欧美亚洲免费久久久 | 亚洲 欧美 国产 日韩 制服 bt | 国产综合在线观看视频 | 最新国产区| 偷看各类wc女厕嘘在线观看 | 午夜爽爽爽男女免费观看hd | 拍真实国产伦偷精品 | 一级毛片在线 | 制服丝袜怡红院 | 欧美一区二区日韩一区二区 | 久草在线新免费 | 欧美日韩视频一区二区三区 | 久久久久久色 | 亚洲国产欧美日韩第一香蕉 | 亚洲第一成年免费网站 | 欧美成人精品免费播放 | 欧美色偷偷 | 中文字幕日韩精品有码视频 | 中文字幕亚洲精品日韩精品 | 欧美日韩免费做爰视频 | 亚洲成人美女 | 日韩三级在线免费观看 | 欧美一级毛片片aa视频 | 69性欧美高清影院 | chinese多姿势videos | 中国日本高清免费视频网 | 免费国产成人高清视频网站 | 精品久久久久久久久中文字幕 | 亚洲视频在线观 | 在线日韩国产 | 模特视频一二三区 | 亚洲欧美视频 |