robots协议也称爬虫协议、爬虫规则等,是指网站可建立一个robots.txt文件来告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,而搜索引擎则通过读取robots.txt文件来识别这个页面是否允许被抓取。

robots.txt 文件的这个作用相当于百度站长平台的“闭站保护”，有些小白站长可能意想不到。

站长朋友们在上线网站的时候，为了追求良好的SEO效果，可以利用robots.txt 文件屏蔽所有搜索引擎蜘蛛的抓取，然后给网站输入大量的文章内容，数量达到一定量级之后，再删除robots.txt 文件，有利于实现各大搜索引擎快速收录你网站的网页，促使SEO最优化。