常用搜索引擎工作方式有哪些（搜索引擎工作原理包括）

搜索引擎工作原理

通过《SEO新手入门系列2022（二）：SEO 101》这篇文章已经简单的介绍了什么是SEO，和搜索引擎，这一篇文章来详细的介绍下搜索引擎的工作原理，搜索引擎的工作顺序大致是：抓取网页（Crawing），建立索引（Indexing），排名显示（Ranking）。

就像在前一篇文章提到的，搜索引擎就是一个问答机器，他们去挖掘，理解，组织网上能发现的任何信息，然后把他们以相关的方式组织起来，再返回给使用者，为了能把你的网站展现给用户之前，最重要的一件事就是你的网站能够被搜索引擎发现 ，否则在SEPRs（搜索引擎结果页）是不会有你网站信息的。

搜索引擎是怎么工作的？

就如SEO小也开头说的，搜索引擎想把网站信息提供给用户，需要完成三个主要任务：

• 爬取网站（Crawing）会有很多蜘蛛程序，顺着URL一个网站一个网站的爬取网站内容。
• 创建索引（Indexing）对蜘蛛爬取的内容进行分类，创建相关索引，并储存在数据库中。
• 建立排名（Ranking）为可能的问题建立相关性排名，相关性最高的内容排在靠前的位置。

当然其中的技术实现是非常复杂的，作一名SEO新人，可能占时不需要深究这些问题，SEO小也在大学毕业的时候，作的毕业设计就是搜索引擎，当然那时候是使用第三方的索引分词库，我们大部分时间只要配置规则就可以，更深入的内容我会另写些篇文章来分享。

搜索引擎抓取（Crawing）

搜索引擎要想把相关内容展示给用户，第一步做的就是派出他的小弟——搜索引擎爬虫（蜘蛛），他们会不停的抓取互联网上新的内容，或者更新数据库中旧的内容，内容的形式多种多样，有可能是网页，PDF文件，MP3音频文件，什么形式都有，但是他们都是通过URL去找到这些内容的。

搜索引擎一开始会有一些种子URL，这些URL都是一些质量比较高的链接地址，而且蜘蛛们就会顺着这些地址不断的往下抓取，在这个过程中，新发现的链接又会被作为新一轮爬取任务的种子URL，直到没有新的链接可以爬取。

搜索引擎索引（Indexing）

建立索引是一个非常复杂的过程，这个过程涉及的内容比较多的是计算机方面的内容，有算法，有地理环境，有社会学研究等等因素，搜索引擎会根据很多参数去控制这些内容的分类，但是最重要的一点，就是这些内容的相关性，相关性越高，被分在同一个分类的可能性就越高，建立索引是为了后期能快速展现给用户作准备，也是为排名提供数据基础。

搜索引擎排名（Ranking)

用户在搜索引擎输入框输入他的关键词，搜索引擎会用惊人的效率在他庞大的索引数据库中找到相关的内容，并按内容的相关性和一些其它的参数来对内容进行排序，这个过程就是搜索引擎排名，靠前的内容，在搜索引擎看来就是和用户的问题相关性越高的回答。

如果我们不想让搜索引擎把一些内容展示给用户，这也是可以办到的，但是大多数情况下我们不会这么做，搜索引擎优化的目的就是为了让用户看到我们，并能让搜索引擎优先展示我们想给用户看的内容。

搜索引擎能找到你么？

就像前面说的，如果要让自己的网站出现在SERPs中，那前提就是让网站被搜索引擎蜘蛛爬取和索引，如果你已经有了网站，你可以使用site命令来查看自己网站被收录的情况，就拿SEO小也为例，在谷歌搜索框输入site:www.51yuwa.com

能看到一个大概的数据，并不是特别的精准，还有很多没有显示的网页，用一些关键词也是能搜索到。如果想看更精准的结果，可以使用Google Search Console在收录功能中查看，这就相当于我们百度的站长平台，但是SEO小也个人觉得比百度站长的作用要大的多，所以SEO小也一般只会看GSC的数据，很少去看百度站长平台的数据，以后也会专门写几篇文章来介绍。

如果你使用site命令找不到网站的收录，那有可能是下面几种原因：

• 网站是新站，搜索引擎还没有收录。
• 网站没有外部导入链接，可以到一些平台发一些外链。
• 网站目录结构太深，太复杂，让搜索引擎爬虫抓取的效率太低。
• 网站可能包含一些阻止搜索引擎爬虫的代码，如noindex，nofollow
• 网站可能被搜索引擎处罚，因为一些作弊或者垃圾广告等。

我们有时候把精力太多的放在如何让搜索引擎抓取内容，却忽略如何不让搜索引擎不要爬取一些内容，比如说一些重复的页面，一些搜索参数，还有比如说公司的联系方式，留言等，这些内容被收录意义并不大，而且还会让搜索引擎不知道具体哪个界面是你最想展示给用户的，所以这时候我们就要告诉搜索引擎，哪些资源他不要花时间去爬取，这就要robots.txt文件出场了，这篇SEO教程先到这。

搜索引擎是如何工作的？

前言

我们每天都在用 Google, 百度这些搜索引擎，那大家有没想过搜索引擎是如何实现的呢，看似简单的搜索其实技术细节非常复杂，说搜索引擎是 IT 皇冠上的明珠也不为过，今天我们来就来简单过一下搜索引擎的原理，看看它是如何工作的，当然搜索引擎博大精深，一篇文章不可能完全介绍完，我们只会介绍它最重要的几个步骤，不过万变不离其宗，搜索引擎都离不开这些重要步骤，剩下的无非是在其上添砖加瓦，所以掌握这些「关键路径」，能很好地达到观一斑而窥全貎的目的。

本文将会从以下几个部分来介绍搜索引擎，会深度剖析搜索引擎的工作原理及其中用到的一些经典数据结构和算法，相信大家看了肯定有收获。

1. 搜索引擎系统架构图

2. 搜索引擎工作原理详细剖析

搜索引擎系统架构图

搜索引擎整体架构图如下图所示，大致可以分为搜集，预处理，索引，查询这四步，每一步的技术细节都很多，我们将在下文中详细分析每一步的工作原理。

搜索引擎工作原理详细剖析

一、搜集

爬虫一开始是不知道该从哪里开始爬起的，所以我们可以给它一组优质种子网页的链接，比如新浪主页，腾讯主页等，这些主页比较知名，在 Alexa 排名上也非常靠前，拿到这些优质种子网页后，就对这些网页通过广度优先遍历不断遍历这些网页，爬取网页内容，提取出其中的链接，不断将其将入到待爬取队列，然后爬虫不断地从 url 的待爬取队列里提取出 url 进行爬取，重复以上过程...

当然了，只用一个爬虫是不够的，可以启动多个爬虫并行爬取，这样速度会快很多。

1、待爬取的 url 实现

待爬取 url 我们可以把它放到 Redis 里，保证了高性能，需要注意的是，Redis 要开启持久化功能，这样支持断点续爬，如果 Redis 挂掉了，重启之后由于有持续久功能，可以从上一个待爬的 url 开始重新爬。

2、如何判重

如何避免网页的重复爬取呢，我们需要对 url 进行去重操作，去重怎么实现？可能有人说用散列表，将每个待抓取 url 存在散列表里，每次要加入待爬取 url 时都通过这个散列表来判断一下是否爬取过了，这样做确实没有问题，但我们需要注意到的是这样需要会出巨大的空间代价，有多大，我们简单算一下，假设有 10 亿 url （不要觉得 10 亿很大，像 Google, 百度这样的搜索引擎，它们要爬取的网页量级比 10 亿大得多），放在散列表里，需要多大存储空间呢？

我们假设每个网页 url 平均长度 64 字节，则 10 亿个 url 大约需要 60 G 内存，如果用散列表实现的话，由于散列表为了避免过多的冲突，需要较小的装载因子（假设哈希表要装载 10 个元素，实际可能要分配 20 个元素的空间，以避免哈希冲突），同时不管是用链式存储还是用红黑树来处理冲突，都要存储指针，各种这些加起来所需内存可能会超过 100 G，再加上冲突时需要在链表中比较字符串，性能上也是一个损耗，当然 100 G 对大型搜索引擎来说不是什么大问题，但其实还有一种方案可以实现远小于 100 G 的内存：布隆过滤器。

针对 10 亿个 url，我们分配 100 亿个 bit，大约 1.2 G, 相比 100 G 内存，提升了近百倍！可见技术方案的合理选择能很好地达到降本增效的效果。

当然有人可能会提出疑问，布隆过滤器可能会存在误判的情况，即某个值经过布隆过滤器判断不存在，那这个值肯定不存在，但如果经布隆过滤器判断存在，那这个值不一定存在,针对这种情况我们可以通过调整布隆过滤器的哈希函数或其底层的位图大小来尽可能地降低误判的概率，但如果误判还是发生了呢，此时针对这种 url 就不爬好了，毕竟互联网上这么多网页，少爬几个也无妨。

3、网页的存储文件: doc_raw.bin

爬完网页，网页该如何存储呢，有人说一个网页存一个文件不就行了，如果是这样，10 亿个网页就要存 10 亿个文件，一般的文件系统是不支持的，所以一般是把网页内容存储在一个文件（假设为 doc_raw.bin）中，如下

当然一般的文件系统对单个文件的大小也是有限制的，比如 1 G，那在文件超过 1 G 后再新建一个好了。

图中网页 id 是怎么生成的，显然一个 url 对应一个网页 id，所以我们可以增加一个发号器，每爬取完一个网页，发号器给它分配一个 id，将网页 id 与 url 存储在一个文件里，假设命名为 doc_id.bin,如下

二、预处理

爬取完一个网页后我们需要对其进行预处理，我们拿到的是网页的 html 代码，需要把 <script>,<style>,<option> 这些无用的标签及标签包含的内容给去掉，怎么查找是个学问，可能有人会说用 BF ，KMP 等算法，这些算法确实可以，不过这些算法属于单模式串匹配算法，查询单个字段串效率确实不错，但我们想要一次性查出<script>,<style>,<option>这些字段串，有啥好的方法不，答案是用AC 自动机多模式串匹配算法，可以高效一次性找出几个待查找的字段串，有多高效，时间复杂度接近 0(n)！关于 AC 自动机多模式匹配算法的原理不展开介绍，大家可以去网上搜搜看， 这里只是给大家介绍一下思路。

找到这些标签的起始位置后，剩下的就简单了，接下来对每个这些标签都查找其截止标签 </script>,</style>,</option>，找到之后，把起始终止标签及其中的内容全部去掉即可。

做完以上步骤后，我们也要把其它的 html 标签去掉（标签里的内容保留），因为我们最终要处理的是纯内容（内容里面包含用户要搜索的关键词）

三、分词并创建倒排索引

拿到上述步骤处理过的内容后，我们需要将这些内容进行分词，啥叫分词呢，就是将一段文本切分成一个个的词。比如 「I am a chinese」分词后，就有 「I」,「am」,「a」,「chinese」这四个词,从中也可以看到，英文分词相对比较简单，每个单词基本是用空格隔开的，只要以空格为分隔符切割字符串基本可达到分词效果，但是中文不一样，词与词之类没有空格等字符串分割，比较难以分割。以「我来到北京清华大学」为例，不同的模式产生的分词结果不一样，以 github 上有名的 jieba 分词开源库为例，它有如下几种分词模式

分词一般是根据现成的词库来进行匹配，比如词库中有「中国」这个词，用处理过的网页文本进行匹配即可。当然在分词之前我们要把一些无意义的停止词如「的」,「地」,「得」先给去掉。

经过分词之后我们得到了每个分词与其文本的关系，如下

细心的你一定发现了，不同的网页内容有可能出现同样的分词，所以我们把具有相同分词的网页归在一起，如下所示

这样我们在搜「大学」的时候找到「大学」对应的行，就能找到所有包含有「大学」的文档 id 了。

看到以上「分词」+「倒排索引」的处理流程，大家想到了什么？没错，这不就是 ElasticSearch 搜索引擎干的事吗，也是 ES 能达到毫秒级响应的关键！

这里还有一个问题，根据某个词语获取得了一组网页的 id 之后，在结果展示上，哪些网页应该排在最前面呢，为啥我们在 Google 上搜索一般在第一页的前几条就能找到我们想要的答案。这就涉及到搜索引擎涉及到的另一个重要的算法: PageRank，它是 Google 对网页排名进行排名的一种算法，它以网页之间的超链接个数和质量作为主要因素粗略地分析网页重要性以便对其进行打分。我们一般在搜问题的时候，前面一两个基本上都是 stackoverflow 网页，说明 Google 认为这个网页的权重很高，因为这个网页被全世界几乎所有的程序员使用着，也就是说有无数个网页指向此网站的链接，根据 PageRank 算法，自然此网站权重就啦，恩，可以简单地这么认为，实际上 PageRank 的计算需要用到大量的数学知识，毕竟此算法是 Google 的立身之本，大家如果有兴趣，可以去网上多多了解一下。

完成以上步骤，搜索引擎对网页的处理就完了，那么用户输入关键词搜索引擎又是怎么给我们展示出结果的呢。

四、查询

用户输入关键词后，首先肯定是要经过分词器的处理。比如我输入「中国人民」，假设分词器分将其分为「中国」,「人民」两个词，接下来就用这个两词去倒排索引里查相应的文档

得到网页 id 后，我们分别去 doc_id.bin，doc_raw.bin 里提取出网页的链接和内容，按权重从大到小排列即可。

如图示：输入 chin 这四个字母后，底下会出现一列提示词。

如何实现的，这就不得不提到一种树形结构：Trie 树。Trie 树又叫字典树、前缀树（Prefix Tree）、单词查找树，是一种多叉树结构，如下图所示：

这颗多叉树表示了关键字集合 ["to"，"tea"，"ted"，"ten"，"a"，"i"，"in", "inn"]。从中可以看出 Trie 树具有以下性质：

1. 根节点不包含字符，除根节点外的每一个子节点都包含一个字符

2. 从根节点到某一个节点，路径上经过的字符连接起来，为该节点对应的字符串

3. 每个节点的所有子节点包含的字符互不相同

通常在实现的时候，会在节点结构中设置一个标志，用来标记该结点处是否构成一个单词（关键字）。

另外我们不难发现一个规律，具有公共前缀的关键字（单词），它们前缀部分在 Trie 树中是相同的，这也是 Trie 树被称为前缀树的原因，有了这个思路，我们不难设计出上文所述搜索时展示一串搜索提示词的思路：

一般搜索引擎会维护一个词库，假设这个词库由所有搜索次数大于某个阈值（如 1000）的字符串组成，我们就可以用这个词库构建一颗 Trie 树，这样当用户输入字母的时候，就可以以这个字母作为前缀去 Trie 树中查找，以上文中提到的 Trie 树为例，则我们输入「te」时，由于以「te」为前缀的单词有 ["tea"，"ted"，"ted"，"ten"]，则在搜索引擎的搜索提示框中就可以展示这几个字符串以供用户选择。

五、寻找热门搜索字符串

Trie 树除了作为前缀树来实现搜索提示词的功能外，还可以用来辅助寻找热门搜索字符串，只要对 Trie 树稍加改造即可。假设我们要寻找最热门的 10 个搜索字符串，则具体实现思路如下:

一般搜索引擎都会有专门的日志来记录用户的搜索词，我们用用户的这些搜索词来构建一颗 Trie 树，但要稍微对 Trie 树进行一下改造，上文提到，Trie 树实现的时候，可以在节点中设置一个标志，用来标记该结点处是否构成一个单词，也可以把这个标志改成以节点为终止字符的搜索字符串个数，每个搜索字符串在 Trie 树遍历，在遍历的最后一个结点上把字符串个数加 1，即可统计出每个字符串被搜索了多少次（根节点到结点经过的路径即为搜索字符串），然后我们再维护一个有 10 个节点的小顶堆（堆顶元素比所有其他元素值都小，如下图示）

如图示：小顶堆中堆顶元素比其他任何元素都小

依次遍历 Trie 树的节点，将节点（字符串+次数）传给小顶堆，根据搜索次数不断调整小顶堆，这样遍历完 Trie 树的节点后，小顶堆里的 10 个节点即是最热门的搜索字符串。

总结

本文简述了搜索引擎的工作原理，相信大家看完后对其工作原理应该有了比较清醒的认识，我们可以看到，搜索引擎中用到了很多经典的数据结构和算法，所以现在大家应该能明白为啥 Google, 百度这些公司对候选人的算法要求这么高了。

本文只是介绍了搜索引擎的基本工作原理。

转载请注明来自专注SEO技术,教程,推广 - 8848SEO，本文标题：《常用搜索引擎工作方式有哪些（搜索引擎工作原理包括）》

标签：搜索引擎原理