当前位置:首页 » SEO基础 » 正文

什么是robots.txt

作者:盖 继东 时间:2015-06-19 标签:
文章摘要:       在网站缔造过程中我们会有一部分内容不希望被搜索引擎抓取到或许不希望其在互联网中出现,那么要如何办呢?我要如何跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场了。 Robots.txt是存放于网站根目录下用于规矩搜索引擎对网站内容抓取规划的文本文件,就这么一句话可以说明robots.txt…

 

 

 

兰州SEO

在网站缔造过程中我们会有一部分内容不希望被搜索引擎抓取到或许不希望其在互联网中出现,那么要如何办呢?我要如何跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场了。

Robots.txt是存放于网站根目录下用于规矩搜索引擎对网站内容抓取规划的文本文件,就这么一句话可以说明robots.txt是啥,但是我们需要留心的几点:

1.robots.txt有必要存放在网站的根目录下。

2.其命名有必要为robots.txt

3.Robots.txt是搜索引擎访问网站的第一个页面

4.Robots.txt中有必要指明user-agent

以上是关于啥是robots的说明。

更多
没有评论
发表评论

你需要先 登录 才能回复


网站地图