第一阶段：爬行和抓取
爬行和抓取是搜索引擎工作的第一步，完成数据收集的任务。
搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器。蜘蛛程序发出页面的访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库。搜索引擎为了提高爬行和抓取速度，都使用多个蜘蛛并发分布爬行。
蜘蛛访问任何一个网站时，都会先访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取被禁止的网址。
整个互联网是由相互链接的网站和页面组成的。从理论上说，蜘蛛从任何一个页面出发，顺着链接都可以爬行到网站上的所有页面。其中，最简单的爬行遍历策略分为两种，一种是深度优先，一种是广度优先。无论是深度优先还是广度优先策略，只要给蜘蛛足够的时间，都能爬完整个互联网。在实际工作中，蜘蛛的带宽资源、时间都不是无限的，也不可能爬完多有页面。
搜索引擎蜘蛛抓取的数据存入原始页面数据库。其中的页面数据与用户浏览器得到的HTML是完全一样的。每个URL都有一个独特的文件编号。
第二阶段：预处理
“预处理“也被简称为”索引“，因为索引是预处理最主要的步骤。
搜索引擎蜘蛛抓取的原始页面，并不能直接用于查询排名处理。必须经过预处理阶段，从HTML文件中去除标签、程序，提取出可以用于排名处理的网页文字内容。蜘蛛会将提取出来的文字进行中文分词、去除停止词、消除噪声、去重等处理，提取出页面中重要的文字，建立关键词与页面的索引，形成索引词库表。建立索引的过程中有正向索引和倒排索引两种排序方式，使得排序更加准确。
另外，链接关系计算也是预处理中很重要的一部分。现在所有的主流搜索引擎排名因素中都包含网页之间的链接流动信息。搜索引擎在抓取页面内容后，必须事前计算出：页面上有哪些链接指向哪些其他页面，每个页面有哪些导入链接，链接使用了什么描文字，这些复杂的链接指向关系形成了网站和页面的链接权重。
第三阶段：排名
经过搜索引擎蜘蛛抓取页面，索引程序计算得到倒排索引后，搜索引擎就准备随时处理用户的搜索需求了。搜索引擎主要对用户的搜索词进行中文分词处理，去停止词处理、指令处理、拼写错误矫正、整合搜索处罚等处理进行用户搜索词有搜索引擎索引词库的匹配，建立排名。
联系我们 021-51093095
更多精彩来源：http://www.seoteacher.com.cn
QQ:3540497366 联系我时，请说是在易分网看到的，谢谢！
