咱们做优化的人，许多看的就是看的是他人网站的收录情形，向来不关心他人网站的避免情形！呵呵，徐州网络公司本网编辑也很少关心这个情形，可以咱们在不雅察一个网站的质量时，咱们更多的看的是他人站的收录情形，和外链情形！咱们也没需求去体味太多的有关他人避免的情形！不外，在建站的初期咱们的应当更多的关心咱们哪些工具能给人看，哪些工具避免人看！这时分，咱们就要思索咱们的网站的Robots文件的使用！

重点相对Robots文件的建设，之前徐州网络公司本网编辑有说过，明天之故此再次拿出来讲讲，第一是给自身一次再次熟谙和学习，第二是希望对发觉这篇美文的朋侪对熟谙Robots文件有所协助！

咱们也都晓得，在和他人换链接时，最怕的就是他人用JS，flash链接，使用nofollow等案例，何等和你链接对你没有多大熏染！但若是你想限制你的不想要被搜索引擎收录的网站网页，也使用这类案例时，生怕会达不到你要的效果！robots文件，便可以抵达你要限制被搜索引擎收录的效果！

搜索引擎蜘蛛拜候网站时一般会反省一下网站的根目录下是不是有一个以“robots.txt”命名的纯文本文件，robots.txt的熏染是用于指令搜索 引擎避免抓取网站的某些内容或允许抓取某些制定的内容。由于有的服务器设置有点效果，robots文件不存在时会前往202状况码及一些偏差信息，而不 是404状况码，这有可以招致搜索引擎偏差分析robots文件信息，故此就算你要允许蜘蛛抓取一切信息，也要建一个空的 ！
下面咱们把有关robots文件的侧重事项说上几点！
robots.txt文件放在根目录下，侧重以下几点：
1.必须命名为：robots.txt，而且字母都是小写，robot前面加”s”。
2.robots.txt必须放置在一个网站的根目录下。如：经由历程http://www.eoeu.net/robots.txt 可以成功拜候到，则声明设置成功。
3.Robots文件由记实组成，记实验之间必须以空行脱离。
普通情形下，robots.txt里只写着两个函数：User-agent和 Disallow。普通名堂以下：
User-agent:* Disallow:/
上述表现robots文件避免一切搜索引擎抓取任何信息。虽然如何设置你避免的内容，还要瞧你的详细网站，本网编辑这里只是点到为止！希望对你在以后建robots文件时，有所协助！