疑问:怎么让百度蜘蛛不抓取页面中的某个链接?
答覆:可以给具体的链接加上nofollo属性,这个属性会通知百度蜘蛛不要去追踪这个页面,也就是制止抓取了。
nofollo属性的作用就是制止抓取,同时不会给这个页面传递权重。假如你想要百度蜘蛛不抓取页面上的某个链接,就可以通过这种方式去实现。
但是,百度搜索是否会严格遵循这个条例也得另说。
理论上,百度蜘蛛在抓取某个页面内容的时候,会提掏出页面里面的链接,假如某个链接带了nofollo属性,那就会剔除这个链接。剩下的链接会返回到待抓取链接库,蜘蛛会依据具体条例对这些链接进行抓取。
这里还有两种场合需要斟酌:1,百度蜘蛛是否会严格遵守nofollo协议,固然链接加上了nofollo属性,但不保证蜘蛛一定不抓取;2,目的页面在其他场所是否还存在链接进口,比如页面A在页面B上制止了百度蜘蛛抓取,但在页面C上有链接而没有做限制,这种场合下百度蜘蛛大概率还是会抓。
所以,我们不能百分百确保百度蜘蛛不抓取某个页面。事实上,对绝大部门站点来说,没有必要制止蜘蛛抓取站内的某些页面,由于抓取频次通常都是够的。假如是站外页面链接,添加nofollo属性就可以了,更深层次的抓取场合不需要去深究。
除了在页面链接上添加nofollo属性,还可以在robots文件里面制止百度蜘蛛抓取。但同样,假如目的页面在其他场所有链接进口,百度蜘蛛也大概率会抓取甚至收录。
站長聲明:以上關於【怎么让百度蜘蛛不抓取页面中的某个链接-华通云服务器备案】的內容是由各互聯網用戶貢獻並自行上傳的,我們新聞網站並不擁有所有權的故也不會承擔相關法律責任。如您發現具有涉嫌版權及其它版權的內容,歡迎發送至:1@qq.com 進行相關的舉報,本站人員會在2~3個工作日內親自聯繫您,一經查實我們將立刻刪除相關的涉嫌侵權內容。