禁止所有搜索引擎访问的robots文件的写法为（网站收录后被屏蔽的解决方法）

巧用网站禁止收录机制屏蔽蜘蛛抓取页面

基于网站安全与盈利的因素，站长并不希望某些目录或页面被抓取和收录，比如付费内容、测试阶段的页面及复制内容页面等。

SEO

尽管在网站建设的过程中，使用 JavaScript、Flash 链接及Nofollow属性等都能让搜索引擎蜘蛛望而却步，而导致页面不被收录。

但在某些情况下搜索引擎是能够读取他们的，基于网站排名考虑，我们建议慎用 JavaScript、Flash 链接及Nofollow属性屏蔽收录。

强调一下，建站使用 JavaScript、Flash 链接其实是在给网站制造蜘蛛陷阱，致使搜索引擎不能正确判断与抓取页面的主题与文字。

要确保网站某些目录或页面不被收录，需要正确使用 robots 文件或Meta Robots 标签来实现网站的禁止收录机制。

1、robots 文件

搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为 robots.txt 的纯文本文件，它的主要作用是制定搜索引擎抓取或者禁止网站的某些内容。

user-agent：* 适用于所有蜘蛛

Disallow:/upload/

Disallow: .jpg$ 禁止抓取所有.jpg文件

Disallow: *.html 禁止抓取所有html文件

Disallow:/upload/index.html

Disallow 禁止抓取哪些文件或目录，Allow 告诉搜索引擎应该抓取哪些页面，由于不指定就是允许抓取，所以allow单独写没有意义。

2、meta robots标签

Meta robots 标签是页面 head 部分 meta 标签的一种，用于指令搜索引擎禁止索引本页内容。

最简单的 meta robots 标签格式为：

<meta name=”robots” content=”noindex,nofollow”>

效果是禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接。

<meta name=”robots” content=”noindex”>

效果是禁止索引本页面，但允许蜘蛛跟踪页面上的链接，也可以传递权重。

Google、必应、雅虎支持的标签如下：

Noindex:不要索引本页面

Nofollow:不要跟踪本页面上的链接

Nosnippet:不要在搜索结果中显示摘要文字

Noarchive:不要显示快照

Noodp:不要使用开放目录中的标题和描述

百度支持：Nofollow和Noarchive

只有禁止索引时，使用meta robots才有意义。

使用了 noindex meat robots 标签的页面会被抓取，但不会被索引，页面URL也不会出现在搜索结果中，这一点与 robots 文件不同。

网站禁止收录机制，robots文件的写法，不懂得赶紧点进来

网站去可以不被搜索引擎收录的，而且是我们自己可以设置的，比如robots文件，就可以实现

蜘蛛抓取一个网站的时候首先会访问根目录下面的robots文件，如果文件允许百度蜘蛛抓取网站内容，那么蜘蛛遵守robots规则，抓取网站可以访问的数据；如果不允许蜘蛛抓取文件，那么蜘蛛只能收录网站首页，其余内页面均不能访问抓取数据。常见的淘宝，就把robots文件写死了，不让百度抓取内容！

淘宝robots文件

那么robots文件怎么写的呢？我们一起来看看

最简答的robots文件写法

User-agent：*

Disallow:/

上面这个文件代表，禁止所有搜索引擎到网站里面抓取数据。*代表所有搜索引擎，Disallow:/代表不允许抓取内容

那么允许所有搜索引擎抓取内容怎么写呢？

User-agent：*

Disallow:

去掉/就可以了

很多时候我们还可以让蜘蛛不抓取某些文件夹里面的内容，这个时候我们需要指定哪些文件夹不能抓取了。比如：

User-agent：*

Disallow:/ab/

allow:/ab/cd/

这个指令代表允许所有搜索引擎抓取cd目录下的文件，不允许抓取ab目录下的文件

网站优化

robots文件的写法有很多种，大家可以自己去拓展一下，比如不允许抓取flash文件，图片文件，JS脚本文件等。值得注意的是robots文件区分大小写，字母的错误写法会对网站带来灾难性的后果，比如网站不收录。还要robots文件是写在txt文件里面的，直接命名好了放在网站根目录下面。

转载请注明来自专注SEO技术,教程,推广 - 8848SEO，本文标题：《禁止所有搜索引擎访问的robots文件的写法为（网站收录后被屏蔽的解决方法）》

标签：