1 神马Sper

神马Sper是神马拜访互联网，自动化抓取网页的程序。Sper抓取下网页，建立索引，采用户可通过搜索引擎搜索到互联网上的资源。

2 神马Sper的user-agent及ip地址

user-agent，是协议中的一个属性，典型了终端的地位。神马Sper的user-agent为：Yisousper，由于历史原因此user-agent名称将会继续采用。

神马Sper的ip地址是一组ip池，会动态变，因此不在此列举。

3 神马Sper的网站拜访频率

神马会依据网站的规模、服务才干、页面质量、更新速度等因素来决择对网站的拜访频率。通常质量高、网页更新快的网站神马sper拜访的频率相对会高，以保证高质、时效的能够显现给用户。

4 神马sper如何发明新网页

神马sper发明新网页的方式有多种，最代表的是在已发明的网页中解析超链关系，选取url并抓取，如此不断拓展，尽可能多的抓取到有价值的网页。另外，神马会从dns服务商处获取新网站域名，能够及时抓取到新建网站。

5 关于robots协议

robotstxt是搜索引擎拜访网站是要拜访的第一个文件，以确认哪些网页是许可或制止抓取的。神马搜索遵守互联网robots协议，如您但愿彻底制止神马拜访或对部门目录制止拜访，您可以通过robotstxt文件来设置内容，限定神马Sper的拜访权限。

robotstxt必要放在网站根目录下，且文件名要小写。

具体的写法：

1) 彻底制止神马Sper抓取：

User-agentYisousper

Disallo

2) 制止神马sper抓取指定目录

User-agent Yisousper

Disallo update

Disallo history

制止抓取update、history目录下网页

6 神马Sper是否会造成带宽累赘

神马Sper有规范的抓取流程，同时也会斟酌网站的忙闲时段来抓取，因此不会给网站造成带宽累赘。如您发明名为Yisousper的user-agent抓取严重阴碍到了网站的正常拜访，您可将该时段的拜访日志信息反馈至zhanzhangpingtaiservicealibaba，神马同窗会将解析结论发送给您。