久综合色-久综合网-玖草影视-玖草资源在线-亚洲黄色片子-亚洲黄色片在线观看

Hello! 歡迎來到小浪云!


云服務器Apache利用USER_AGENT屏蔽惡意蜘蛛


avatar
小浪云 2024-07-15 155

 

最近發現日志里有很多沒見過的蜘蛛UA,基本上都是國外的一些搜索引擎,或者很本不是搜索引擎,有的抓取頻率很高,剛開始設置了下robots.txt,因為他們首先都抓取了robots.txt,應該是遵守規則的,沒想到人家只是走個過場,并沒有把robot.txt放在眼里。

 

apache可以用.htaccess文件來通過useragent來屏蔽一些訪問,搜了一下,大概可以這么做:

 

 

 

 

.htaccess

SetEnvifNoCase?User-Agent?^.*Scrapy.*?bad_bot

SetEnvifNoCase?User-Agent?^.*SemrushBot.*?bad_bot

SetEnvifNoCase?User-Agent?^.*ExtLinksBot.*?bad_bot

SetEnvifNoCase?User-Agent?^.*YandexBot.*?bad_bot

SetEnvifNoCase?User-Agent?^.*MauiBot.*?bad_bot

SetEnvifNoCase?User-Agent?^.*Python.*?bad_bot

SetEnvifNoCase?User-Agent?^.*NetcraftSurveyAgent.*?bad_bot

Deny?from?env=bad_bot

這樣當這些匹配的useragent就會被返回403禁止訪問。

 

可是第二天發現有幾個useragent瘋狂的訪問robot.txt,反正都不遵守規則,那么執著的訪問robots.txt干什么。。。。。

 

于是我換了一種方法,打算用302(301也一樣啦,對這些惡意蜘蛛沒那么講究)把他們轉走。

 

.htaccess

云服務器Apache利用USER_AGENT屏蔽惡意蜘蛛

這樣,就都被302到www.xlyVPS.com了,現在再看那些未知的蜘蛛基本不會在主站亂爬了。

 

另:.htaccess的正則:”^”代表字符串的開始,”.*”代表任意字符。

 

NC代表不區分大小寫,OR代表或者,L的意思是一旦有符合條件的規則就不再執行下面的規則,所以這些語句要放在wordpress等程序默認偽靜態規則的前面。

相關閱讀

主站蜘蛛池模板: 欧美成人午夜影院 | 国产精品成人一区二区 | 免费观看情趣v视频网站 | 牛人盗摄一区二区三区视频 | 美国三级在线观看 | 国产一区二区三区毛片 | 成人区在线观看免费视频 | 亚洲欧美日韩在线一区二区三区 | 亚洲一级理论片 | 欧美综合视频在线观看 | 日本加勒比网站 | 一个人看的www日本视频 | 最近日本免费观看视频 | 亚洲国产精品久久综合 | 久久国内视频 | 亚洲国产成人久久一区二区三区 | 亚洲 自拍 另类 欧美 综合 | 国产欧美日韩在线观看精品 | 成人观看免费大片在线观看 | 国内成人免费视频 | 一级视频在线观看 | 亚洲欧美日韩国产综合高清 | 美女视频黄在线观看 | 香港aa三级久久三级老师 | 亚洲激情视频网站 | 国内精品99| 亚洲精品综合一区二区 | 91亚洲精品一区二区在线观看 | 精品玖玖玖视频在线观看 | 欧美一级片网站 | 5388国产亚洲欧美在线观看 | 草久在线观看视频 | 丁香五香天堂 | 欧美一级手机免费观看片 | 久久久久国产精品免费看 | 国产欧美久久久精品 | 欧美一区二区三区在线观看免费 | 久久久久国产一级毛片高清板 | 亚洲成a人片在线看 | 国产高清在线精品二区一 | 免费人成黄页网站在线观看国产 |