搜索引擎工作原理之排名篇

文章贡献方：暖子孕育网 http://www.nuanzi.com

一、从搜索引擎原理看如何让其频繁“光顾” 
　　搜索引擎实际上就属于一种自动运行的机器人程序，它的任务就是和网站服务器建立连接之后，抓取网站的内容页面，事实上是下载网站的内容数据到百度的服务器之中。通俗些说，百度spider就是为百度广泛搜罗各种互联网中存在的信息，存储起来经过筛选向用户提供相关的搜索结果。明白了它的工作职责，要想让其更加频繁，保持至少一天一次的频率来光顾网站，需要的就是不断丰富和填充网站的内容，用不断更新的新鲜内容来吸引它，使网站成为为百度提供信息来源的一个“供应商”。 

二、从搜索引擎原理抓取页面的优先度看如何获得更佳收录 
　　搜索引擎在抓取互联网中数量“多如牛毛”的网站内容时，会遵循“深度优先”和“广度优先”的原则，它会首先从一些“起始站点”，往往就是那些质量高、权重高的大型门户资讯网站开始抓取，把抓取来的内容存储到百度服务器之中，再进行进一步的筛选，最终决定最后放出来的收录页面。因此，你的网站注定要被拿来与一些“大站”的内容进行对比，同样的内容如果出现在大型站点和个人站点上，自然会优先放出大站点的收录。这就告诉我们要想使内容更好地被收录并放出来，创造低重复率、高质量的原创内容是关键! 

三、从搜索引擎原理抓取内容的筛选机制看如何提高权重和排名 
　　在搜索引擎抓取完网站内容之后，这些被抓取的内容会被存储到百度不同的服务器之中，分为“检索区”和“补充数据区”。“检索区”是指已经根据百度那套复杂的算法进行过计算之后，筛选出来的内容，就是用来响应用户的搜索，匹配之后提供给用户的。而“补充数据区”就用来存放新抓取的内容，等待经过算法计算和检验筛选的内容。因而，对于一般的中小网站来说，被抓取的内容往往是被放入到“补充数据区”，要想从中快速提升权重，在更短的时间内顺利进入到“检索区”，需要按照百度的算法规则，利用更多数量、更高质量的反向链接来提升网站的权重和排名，这也是我们常说的单向、高质量外链的作用!一旦提升了权重，那么就意味着被收录的内容会更快地进入“检索区”，提供给搜索用户了。 

…… …… 余下全文

搜索引擎的工作原理及使用技巧

互联网的发展和普及给人们的生活带来了很大的便捷，由此带来的信息革命正在不断的改变着人们的生活，现在的人们已经习惯了在碰到信息方面的困难时求助于互联网络。在浩若烟海的互联网上查找有用信息的有效途径就是使用搜索引擎，搜索引擎能在数秒之内把使用者需要的信息经过搜索过滤后呈现出来，用户可以在过滤后的结果中甄别自己需要的内容。搜索引擎非常有用，我们有必要对它进行了解，掌握使用技巧，以便在互联网的使用上掌握更大的主动。

1．搜索引擎的发展里程

19xx年以前，是互联网发展的早期，网络信息量较少，互联网用户多为专业人士，还没有搜索引擎出现。之后，随着互联网的发展，网络上的信息量越来越多，这时为满足大众信息检索需求的搜索引擎便应运而生了。

19xx年由蒙特利尔大学的学生AlanEmtage等人发明的Archie是最早的搜索引擎。当时3w网还未出现，网络的主要用途是传输文件，大量的文件散布在各个分散的FTP主机中，查询起来非常不便，于是AlanEmtage等人开发一个可以用文件名查找文件的系统，这便是最早的搜索引擎Archie。19xx年4月，斯坦福大学的两名博士生DavidFilo和美籍华人杨致远共同创办了超级目录索引Yahoo，并成功地使搜索引擎的概念深入人心。19xx年，斯坦福大学的两位博士生LarryPage和SergeyBrin开发出了现在世界上最大的搜索引擎Google。通过对20多亿网页进行整理，Google可为世界各地的用户提供需要的搜索结果，搜索时间通常不到半秒。20xx年1月，两位北大校友李彦宏与徐勇在北京中关村创立了百度公司，经过几年的高速发展后，百度已经成为全球十大网站之一。20xx年，中国搜索正式进入中文搜索引擎市场。在此后几年的时间里，已经发展为全球闻名的中文搜索引擎服务商，为新浪、搜狐、网易、TOM等知名门户网站提供搜索引擎技术。

…… …… 余下全文

搜索引擎工作原理

在浩如烟海的Internet上，特别是其上的Web（World Wide Web万维网）上，不会搜索，就不会上网。网虫朋友们，你了解搜索引擎吗？它们是怎么工作的？你都使用哪些搜索引擎？今天我就和大家聊聊搜索引擎的话题。

一、搜索引擎的分类

获得网站网页资料，能够建立数据库并提供查询的系统，我们都可以把它叫做搜索引擎。按照工作原理的不同，可以把它们分为两个基本类别：全文搜索引擎（FullText Search Engine）和分类目录Directory）。

全文搜索引擎的数据库是依靠一个叫“网络机器人（Spider）”或叫“网络蜘蛛（crawlers）”的软件，通过网络上的各种链接自动获取大量网页信息内容，并按以定的规则分析整理形成的。Google、百度都是比较典型的全文搜索引擎系统。

分类目录则是通过人工的方式收集整理网站资料形成数据库的，比如雅虎中国以及国内的搜狐、新浪、网易分类目录。另外，在网上的一些导航站点，也可以归属为原始的分类目录，比如“网址之家”

（[url]/[/url]）。

全文搜索引擎和分类目录在使用上各有长短。全文搜索引擎因为依靠软件进行，所以数据库的容量非常庞大，但是，它的查询结果往往不够准确；分类目录依靠人工收集和整理网站，能够提供更为准确的查询结果，但收集的内容却非常有限。为了取长补短，现在的很多搜索引擎，都同时提供这两类查询，一般对全文搜索引擎的查询称为搜索“所有网站”或“全部网站”，比如Google的全文搜索（[url]/intl/zh-CN/[/url]）；把对分类目录的查询称为搜索“分类目录”或搜索“分类网站”，比如新浪搜索

（[url].cn/[/url]）和雅虎中国搜索

（[url]http://cn./dirsrch/[/url]）。

在网上，对这两类搜索引擎进行整合，还产生了其它的搜索服务，在这里，我们权且也把它们称作搜索引擎，主要有这两类：

…… …… 余下全文

搜索引擎工作原理

一.网页搜集。      

网页搜集，其实就是大家常说的蜘蛛抓取网页。那么对于蜘蛛（google称之为机器人）来说，他们感兴趣的页面分为三类：

1.蜘蛛从未抓去过的新页面。

2.蜘蛛抓去过，但页面内容有改动的页面。

3.蜘蛛抓取过，但现在已删除了的页面。

那么如何行之有效的发现这三类页面并进行抓取，就是spider程序设计的初衷与目的。那么这里就涉及到一个问题，蜘蛛抓取的起始点。

每一位站长只要你的网站没有被严重降权，那么通过网站后台的服务器，你都可以发现勤劳的蜘蛛光顾你的站点，但是你们有没有想过从编写程序的角度上来说，蜘蛛是怎么来的呢？针对于此，各方有各方的观点。有一种说法，说蜘蛛的抓取是从种子站（或叫高权重站），依照权重由高至低逐层出发的。另一种说法蜘蛛爬在URL集合中是没有明显先后顺序的，搜索引擎会根据你网站内容更新的规律，自动计算出何时是爬取你网站的最佳时机，然后进行抓取。

其实对于不同的搜索引擎，其抓取出发点定然会有所区别，针对于百度，Mr.Zhao较为倾向于后者。在百度官方博客发布的《索引页链接补全机制的一种办法》(地址：http://stblog.baidu-tech.com/?p=2057)一文中，其明确指出“spider会尽量探测网页的发布周期，以合理的频率来检查网页”，由此我们可以推断，在百度的索引库中，针对每个URL集合，其都计算出适合其的抓取时间以及一系列参数，然后对相应站点进行抓取。

在这里，我要说明一下，就是针对百度来说，site的数值并非是蜘蛛已抓取你页面的数值。比如site:www.seozhao.com，所得出的数值并不是大家常说的百度收录数值，想查询具体的百度收录量应该在百度提供的站长工具里查询索引数量。那么site是什么？这个我会在今后的文章中为大家讲解。

…… …… 余下全文

深度剖析SEO搜索引擎工作原理

搜索引擎工作原理一共包括三个过程：网页搜索，预处理信息，建立索引。

细化分为：爬行—抓取—处理抓取信息—建立索引—呈现排名

一：爬行

爬行的目的：建立待抓取列表

谷歌爬虫：ddos 百度爬虫：spider

1、发现：

新的网站

被动等待：设置好Robots.txt文件，放在服务器等待爬虫自己过来爬取。（谷歌几周，百度一个月至几个月不等。）

主动引爬虫：写带有链接的软文花钱放在高质量高权重的网站中、利用权重高的博客、在质量高的论坛里发外链。

新的内容

能放首页放首页，否则尽量争取放在顶级栏目（总结：争取权重高的位置放）

Banner图片不如幻灯片，幻灯片不如文字。（总结：文字优先，图片写alt属性）2、爬虫分析：

查看：网站日志分析。Log文件里可查看站长工具：查看抓取频次。太高时会造成服务器崩溃问题及解决：网站访问突然为

先site下网站收录看看有没有被惩罚

分析日志爬虫，记录IP（蜘蛛、用户）

统计代码出现问题

磊哥网络推广工作室

3、爬行策略：

深度优先：一层栏目走到底（1百万-1千万个页面）广度优先：同行栏目分别收集（1百万个页面）混合：两者的混合使用（5千万-1亿个页面）

4、爬虫抓取障碍：

txt文件设置错误服务器本身的问题（动态IP频繁出现、服务器不稳定）URL超长，搜索引擎爬虫懒得直接不抓。爬虫陷阱

二：抓取

网页本身需符合W3C标准

页头信息：状态码：200（正常访问）、404（死链）、301（永久性重定向）、302（临时重定向慎用）、403（禁止访问）、5xx（数据库的问题）编码：建议使用utf-8. gb2312在国外打开是乱码TDK关键词：Title：尽量靠前，我们想让爬虫进入到某个页面就看到我们的主旨内容。

长度：33个汉字 文章的话25个汉字足矣 英文两个字符算一个字

…… …… 余下全文

搜索引擎spider工作原理

做网络优化的SEOER都明白搜索引擎主要是通过一种网络爬虫软件，我们称之为spider的程序来不间断的爬取站点的内容，放回数据库，建立索引。蜘蛛程序利用超文本链接遍历网页，从一个HTML文档爬到另一个HTML文档。所有的网页程序都必须要经历如下的的步骤：

1.从文档中提取指向其他文档的URL，并参加到URL列表中

2.从每一个文档中提取某些信息(如关键字)并放入索引数据库中；

3.进入起始的页面，经过URL列表爬向另外的URL页面。

4.不断反复以上的步骤，直到不在呈现新的URL或是超出了一些限制（磁盘空间已满或者没有权限进入）。

5.把抓取的信息放进数据库在加上索引借口，发布到网上从而给用户搜索之用。

所谓的养蜘蛛就是多弄一些好的文章，包括原创性高的、有吸收力的、不缺乏价值的，这样蜘蛛发现你的站和他人的与众不同，就会经常过来匍匐，同时做好站内和站外的链接，网站的收录和排名很快就会提升，而且会越来越稳定。

…… …… 余下全文

这周看了李晓明的那本书，也就是你发给我的那本电子稿的。后来我在图书馆也借到了。只是书本有点破不敢看，后来直接看你发给我的电子稿。我原本开始看过的那基本的比较简单的有关搜索引擎或是信息检索的书籍上面都有好多章节基本上都是引用这本书的，由此可见这本书还是很好的，从我自己看书的情况来讲，我感觉这本书难度上面还可以，作为入门的书籍蛮好的。本书系统地介绍了搜索引擎的基本工作原理、实现技术及其系统构建方案。里面涉及到的算法还是比较多的，不仅仅是理论部分的阐述，更多的是原理部分的介绍，和一般的书籍不太一样，就我看过的几本书来看，这本书很经典。全书分三篇共13章，从一开始的基本工作原理概述开始，到一个小型简单搜索引擎实现的具体细节，进而详细讨论了大规模分布式搜索引擎系统的设计要点及其关键技术；最后面向主题和个性化的Web信息服务，阐述了中文网页自动分类等技术及其应用。感觉里面的层次分明，由浅入深；既有深入的理论分析，也有大量的实验数据，对于现在的我来说具有学习和实用双重意义。

现在网上的信息量在爆炸性增长，目前我们从网上获得信息的主要工具是浏览器，而通过浏览器得到信息通常有三种方式。第一，直接向浏览器输入一个关心的网址（URL），浏览器返回所请求的网页，根据该网页内容及其包含的超链文字（anchor text）的引导，获得自己需要的内容；第二，登录到某个网站，根据该网站提供的分类目录和相关链接，逐步浏览，寻找自己感兴趣的东西；第三，登录到某个搜索引擎网站，输入代表自己所关心信息的关键词或者短语，依据返回的相关信息列表、摘要和超链接引导，试探寻找自己需要的内容。这三种方式各有特点，各有自己最适合的应用场合。没有什么好与不好的说法。第一种方式的应用是最有针对性的，第二种方式的应用类似于读报，用户不一定有明确的目的，只是想看看网上有什么有意思的消息；当然这其中也可能是关心某种主题。第三种方式适用于用户大致上知道自己要关心的内容。在这种场合，搜索引擎能够为用户提供一个相关内容的网址及其摘要的列表，由用户一个个试探看是否为自己需要的。以上的三种方法也是我们日常生活中采用的主要方法。下面简单的讲述或是总结一下自己的所看所获。

…… …… 余下全文