这个疑问是搜外问答上有朋友提到的，大意是：SEO优化中如何解决蜘蛛的疑问，就是蜘蛛反复爬取页面，多数都是重复的，这样抓取没有什么作用，有什么好的设法可以率领蜘蛛，让蜘蛛正常抓取页面？

沐风SEO以为这里存在着两个疑问，大家想要正确懂得：

1、为什么蜘蛛要重复抓取这些页面

相对而言，蜘蛛更喜欢去抓取那些权重高的、更新频率大的页面。蜘蛛重复抓取某个页面，这肯定有它的原因，我们要做的不是去看，还是应该去想，为什么蜘蛛不断重复的抓取这些页面！找到这个疑问的内在原因，不仅可以辅助我们解决疑问，同时也能以此为根据，去优化其他页面的抓取疑问。

2、如何率领蜘蛛去抓取其他目的页面

我们要知道蜘蛛抓取的过程，它会提取sitemap及页面上的链接，然后依据具体的手段去抓取。

所以，想要让蜘蛛去抓取目的页面，首先得把目的页面的地址提交到搜索引擎。另外要留心，搜索引擎对于每个网站都有额定的抓取上限，为了更好的节省蜘蛛抓取份额，对于那些已经被收录的页面，以及蜘蛛重复抓取的页面，可以恰当的设置nofollo标签。

3、蜘蛛抓取页面重复率太高怎么处置

通过上面两个方面的解说，大家应该知道怎么处置了！这里沐风SEO也简朴说下：

首先，假如你觉得这些被重复抓取的页面没有用，可以设置nofollo；

其次，及时提交想要被抓取的目的页面（写进sitemap，主动提交等等都行）；

最后，留心目的页面的链接进口，通过内链和外链等优化，来促进搜索引擎蜘蛛抓取。

关于蜘蛛抓取的疑问，沐风SEO辩白了抓取的大致原理和留心事项，差异网站的蜘蛛抓取有差异的特色，大家需要依据具体场合解析和处置。总之要铭记，蜘蛛不是胡乱抓取的，它会依据既定的手段去抓取。我们需要了解它的手段，并且通过合乎逻辑的优化方式，率领蜘蛛抓取目的页面。