网站优化中robots.txt文件的运用常识——附robots.txt使用技巧

首先简单解释一下robots.txt文件的概念，这是网站和搜索引擎之间的协议。通过网站的robots文件告诉搜索引擎蜘蛛网站内部哪些内容允许抓取，哪些内容不允许抓取。蜘蛛在抓取网站内容之前会先抓取网站中的这个文件，根据这个文件判断哪些内容需要抓取，哪些内容不需要抓取。所以这个文档对于网站有很多作用，

综合教程2年前185