robot.txt ss跟目录没有这个？

robot.txt  ss跟目录没有这个？
虽然我不知道这个是什么东西，但似乎很重要，跟收录和优化都有关系，请问哪里有这个的相关说明，或者这个如何写？有模版或者教程吗？

robot.txt
　　搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。
　　您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
　　一、 什么是robots.txt文件
　　搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot 访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜 索引擎只收录指定的内容。

http://baike.baidu.com/view/933207.htm

谢谢 呵呵  我去看看