蜘蛛爬取网站内容但是不收录的原因(蜘蛛抓取网站有哪些收录机制)
三石哥
2022-08-25 11:05:18
280
基于网站安全与盈利的因素,站长并不希望某些目录或页面被抓取和收录,比如付费内容、测试阶段的页面及复制内容页面等。
SEO
尽管在网站建设的过程中,使用 JavaScript、Flash 链接及Nofollow属性等都能让搜索引擎蜘蛛望而却步,而导致页面不被收录。
但在某些情况下搜索引擎是能够读取他们的,基于网站排名考虑,我们建议慎用 JavaScript、Flash 链接及Nofollow属性屏蔽收录。
强调一下,建站使用 JavaScript、Flash 链接其实是在给网站制造蜘蛛陷阱,致使搜索引擎不能正确判断与抓取页面的主题与文字。
要确保网站某些目录或页面不被收录,需要正确使用 robots 文件或Meta Robots 标签来实现网站的禁止收录机制。
1、robots 文件
搜索引擎蜘蛛访问网站时,会先查看网站根目录下有没有一个命名为 robots.txt 的纯文本文件,它的主要作用是制定搜索引擎抓取或者禁止网站的某些内容。
user-agent:* 适用于所有蜘蛛
Disallow:/upload/
Disallow: .jpg$ 禁止抓取所有.jpg文件
Disallow: *.html 禁止抓取所有html文件
Disallow:/upload/index.html
Disallow 禁止抓取哪些文件或目录,Allow 告诉搜索引擎应该抓取哪些页面,由于不指定就是允许抓取,所以allow单独写没有意义。
2、meta robots标签
Meta robots 标签是页面 head 部分 meta 标签的一种,用于指令搜索引擎禁止索引本页内容。
最简单的 meta robots 标签格式为:
<meta name=”robots” content=”noindex,nofollow”>
效果是禁止所有搜索引擎索引本页面,禁止跟踪本页面上的链接。
<meta name=”robots” content=”noindex”>
效果是禁止索引本页面,但允许蜘蛛跟踪页面上的链接,也可以传递权重。
Google、必应、雅虎支持的标签如下:
Noindex:不要索引本页面
Nofollow:不要跟踪本页面上的链接
Nosnippet:不要在搜索结果中显示摘要文字
Noarchive:不要显示快照
Noodp:不要使用开放目录中的标题和描述
百度支持:Nofollow和Noarchive
只有禁止索引时,使用meta robots才有意义。
使用了 noindex meat robots 标签的页面会被抓取,但不会被索引,页面URL也不会出现在搜索结果中,这一点与 robots 文件不同。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 3561739510@qq.com 举报,一经查实,本站将立刻删除。
转载请注明来自专注SEO技术,教程,推广 - 8848SEO,本文标题:《蜘蛛爬取网站内容但是不收录的原因(蜘蛛抓取网站有哪些收录机制)》
标签:蜘蛛爬取
- 搜索
- 最新文章
- 热门文章
-
- SEO核心基础要素是什么?如何正确应用它们优化网站?
- 网站高质量内容更新技巧有哪些?如何保持内容的高质量更新?
- 搜索引擎的排名规则及算法是什么?如何优化以提高网站排名?
- 亲测seo优化实践推广方法汇总?如何有效提升网站排名?
- 中小企业如何通过SEO优化提升在线可见性?SEO优化对中小企业有哪些具体好处?
- 网络SEO优化外链建设的10个技巧(从内部和外部两个方面提升网站的链接品质)
- 停止SEO优化工作|停止SEO优化的理由与方法|SEO优化
- 网站优化实践步骤全解析(从0到1的实战指南)
- 如何做好百度seo排名优化?基础步骤有哪些?
- 怎么才能把网站做出排名?SEO优化有哪些关键步骤?
- 如何提升网站的用户体验?提升网站用户体验的五个关键步骤是什么?
- 内部链优化(如何利用内部链接来增强网站主题和提升SEO排名)
- 如何利用百度索引分析关键词的真实热度?分析方法有哪些?
- 核心关键词如何优化?SEO优化的常见问题有哪些?
- 四个设计要点提高网站即时搜索可见性(打造高效可靠的即时搜索功能)
- SEO网站引擎优化基础是什么?如何有效实施?
- 哪些负面的行为在影响你的网站?如何识别和解决这些问题?
- 标准的SEO文章是怎样的?如何撰写才能提高搜索引擎排名?
- 网站SEO优化多久才能见效?如何加速优化效果?
- SEO怎么做才能有效提升网站排名?常见问题有哪些?
- 热门tag