疑问：网站是否需要制止一些不著名的蜘蛛？

答覆：不需要！不管是除百度以外的搜索引擎蜘蛛，还是其他非搜索引擎的蜘蛛，通常都不需要去制止！

为什么说网站不需要去制止这些蜘蛛呢？我们不妨来简朴解析下，通常蜘蛛分为真正的搜索引擎蜘蛛和非搜索引擎蜘蛛，根本上这些蜘蛛都不会给网站带来不好的阴碍。

百度以外的搜索引擎蜘蛛

有些朋友可能走了极端，就认定了百度搜索，所以干脆把其他搜索引擎的蜘蛛都给制止了。这种做法肯定是不合乎逻辑的，比如说沐风博客前端时间被降权，百度来的流量几乎为零了，但360和bing每日不乱要200+的流量。

大家不要轻视任何一个搜索引擎，只要你的网站内容和用户体会好，那些看似市场份额不大的搜索引擎，也可以带来不乱的流量。沐风博客的页面数目少，总计不过3000多点，即便如此，在360和bing也能牟取不乱搜索量。假如你的站点收录到达10万+，甚至百万+，那么是不是也能牟取上千、过万的流量呢？

所以，不要随意去制止任何一个搜索引擎的蜘蛛，制止它们就等于抛却部门流量！

假的搜索引擎蜘蛛

除了真正的搜索引擎蜘蛛，其他所谓的蜘蛛就都是假的了！

这些假的蜘蛛是否需要制止呢？沐风SEO以为也没有必须，原因有两个：

1、站长工具的蜘蛛

我们在采用站长工具查询的时候，站长工具往往会设置假装的蜘蛛去爬行，这些蜘蛛看着像是搜索引擎蜘蛛，其实是假的。假如我们都统计制止这些蜘蛛的话，在采用站长工具的时候就会显露疑问。

2、纯假蜘蛛

比如那些采集工具，他们在采集的时候也会采用假装的蜘蛛，想要真正制止这些蜘蛛根本是不可能的，由于它们可以每次都差异！对于这样的假蜘蛛，是制止不过来的。

总之而言，我们对于蜘蛛不需要那么苛刻，只要不给服务器造成包袱就没疑问。通常搜索引擎会去考核服务器的承载，会自己管理爬行抓取的量。而其他假的蜘蛛也不可能频繁的来抓取，由于我们的站点不可能有那么多信息值得别人这么做。而那些大站，有着高配置的服务器，这点蜘蛛抓取量阴碍不了他们。