有没有担心过自己的隐私会在强盛的搜索引擎眼前无所遁形？想象一下，假如要向世界上所有的人公然你的私家日记，你能承受吗？的确是很矛盾的疑问，站长们大都忧虑“如何让搜索引擎收录的我的网站？”，而我们还是要研究一下“如何让搜索引擎不收录我们的网站”，也许我们同样也用的到。

一、搜索引擎如何任务的？

简朴的说，搜索引擎实际上依赖的巨大的网页数据库。按搜索方式可以分为全文搜索和目录搜索两种。

所谓全文搜索，是搜索引擎通过从网页自动提取信息来建立数据库的过程。至于提取的原理，就是SEO狂热者们所研究的算法，在他们的梦想场合下，网页应该是针对搜索引擎设计的，具有最好的收录功效。当然，不是本文的话题。搜索引擎的自动信息搜集性能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范畴内的互联网站进行检索，一旦发明新的网站，它会自动提取网站的信息和网址参加自己的数据库。另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信 息存入数据库，以备用户查询。

与全文搜索引擎比拟，目录索引有很多差异之处。目录索引彻底是手工操纵的。

首先，搜索引擎属于自动网站检索，而目录索引则彻底依靠手工操纵。用户提交网站后，目录编制人员会亲身阅读你的网站，然后依据一套自定的评判尺度甚至编制人员的主观印象，决择是否接纳你的网站。

其次，搜索引擎收录网站时，只要网站本身没有违背有关的条例，一般都能登录胜利。而目录索引对网站的要求则高得多，有时即使登录多次也不一定胜利。尤其象Yahoo!这样的超级索引，登录更是艰难。

最后，搜索引擎中各网站的有关信息都是从用户网页中自动提取的，所以用户的角度看，我们拥有更多的自主权；而目录索引则要求必要手工另外填写网站信息，而 且还有各种各样的限制。更有甚者，假如任务人员以为你提交网站的目录、网站信息不适合，他可以随时对其进行调换，当然事先是不会和你讨论的。

目录索引，顾名思义就是将网站分门别类地寄存在相应的目录中，因此用户在查询信息时，可抉择关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结局跟搜索引擎一样，也是依据信息关联水平排列网站，只不过其中人为因素要多一些。

二、如何谢绝搜索引擎？

其实很简朴的，只需要在网站的根目录中放一个名称为Robotstxt的文件，该文件的写法很有讲究的哦，务必按要求写，写法如下：

1、什么是Robotstxt？Robotstxt是一个文本文件，关键是这个文件所在的位置：在网站的根目录下。弄错了，就不起作用了！

2、Robotstxt如何起作用?

前面提到过搜索引擎的自动提取信息会遵循一定的算法，但是，无论算法如何，第一步都是在寻找这个文件。其含义是，“贵站对我们这些Robots有什么限制？”所谓的Robots就是搜索引擎派出的蜘蛛或者机器人。假如没有得到回应（没有找到这个文件），典型没有什么限制，尽管来抓取吧。假如真的有这个文件，机器人会读来看看，假如自己被谢绝就会停止抓取过程了。

3、怎么写Robotstxt文件？

遵循语法的Robotstxt才可能被机器人辨别，至于语法，介绍起来很繁琐，现简朴举例如下：

1）制止所有搜索引擎拜访网站的任何部门（也就是网站完全的谢绝所有搜索引擎收录）

User-agent*
Disallo
2）许可所有的robot拜访（也就是网站许可所有搜索引擎收录）
User-agent*
Disallo
3）制止某个搜索引擎的拜访（比如制止百度收录，按如下的方式写）
User-agentbausper
Disallo
4）许可某个搜索引擎的拜访（比如许可百度收录，按如下的方式写）
User-agentbausper
Disallo
User-agent*
Disallo
5）制止搜索引擎拜访某些目录
User-agent*
Disallocgi-bin
Disallotmp
Disalloimages
采用想法：很简朴，将代码存为一个文本文件，命名为Robotstxt ，放在网页根目录即可。
留心：所有语句都是单条例的，即每行仅宣示一条条例，比如例五中三个目录必要分三行列出来。