关闭
搜索历史

清除历史

热门搜索

网络工作室网站建设seo优化小程序

零基础干货

零基础干货

SERVICE CENTER

屏蔽垃圾蜘蛛:一、通过IP地址和域限制对网站的访问

网站建设 2021/10/26 3:08:48    管理员    阅读 183

垃圾蜘蛛对网站优化起不到半点作用,反而因过度抓取,还容易导致CPU、带宽占用过度,对于我们认可的蜘蛛反而会造成一定的影响,那么,我们在这里分一期栏目来讲述一下如何屏蔽掉这些垃圾蜘蛛。


垃圾蜘蛛留下的日志信息:

54.36.148.196 Mozilla/5.0+(compatible;+AhrefsBot/7.0;++http://ahrefs.com/robot/)

通过分析,我们不难看出此垃圾蜘蛛的IP段为 54.36.148.0


因此,我们只要将此IP段地址添加到IIS中的IP地址和域限制就可以了。





至此,我们已经通过IP地址和域限制的设置对垃圾蜘蛛 AhrefsBot 进行了限制访问。


TAG标签:屏蔽垃圾蜘蛛AhrefsBotIP地址和域限制IIS设置
链接地址:/html/tech/wzjs/2021-10-26/159.html
郑重声明:以上内容来源自玖捌网络工作室,转载请注明出处!
23.442ms