常用的搜索引擎就那么几个,每天有这么多蜘蛛访问我们的网站,肯定对网站的产生一些影响,比如流量的损失、占用服务器资源等,严重者甚至造成服务器宕机,只要在 robots.txt 文件里把常用的搜索引擎蜘蛛放进来就行,其它的可以统统屏蔽,通过 robots.txt 可以屏蔽无用的蜘蛛
关注微信公众号获取更多有用信息