[农学]搜索引擎技术基础

[农学]搜索引擎技术基础

搜索引擎原理\n目录一、搜索引擎总体介绍二、爬虫技术介绍三、中文分词和排序算法介绍四、查询/存储技术、CacheServer介绍\n一、搜索引擎总体介绍(一)搜索引擎定义“搜索引擎”技术，完全来源于历史悠久的全文检索技术。“搜索引擎”从字面上可拆分为“搜”、“索”、“引擎”三个含义。“搜”就是大量信息的抓取，抓取回来后的信息进行智能提取、排重、质量分析等处理。“索”就是大量处理后信息的存储、信息排序、快速查询等。“引擎”就是指系统不但能存储亿级的数据，而且还能有巨大的并发处理能力，这样的系统才有资格被叫着“引擎”。\n一、搜索引擎总体介绍(二)搜索引擎主要核心技术：搜索引擎主要核心技术为:(1)中英文分词语言处理；(2)排序算法；(3)网络爬虫；(4)查询/存储技术\n（三）搜索引擎的组成部分搜索引擎一般包括四个组成部分：搜索器、索引器、检索器、用户接口搜索器（爬虫SPIDER）的功能是在Internet中漫游，发现和搜集信息。索引器(INDEXER)的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于描述文档以及生成文档集的索引表。检索器(SEARCHER)的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。用户接口(USERINTERFACE)的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。\n一、搜索引擎总体介绍(四)系统图：\n二、爬虫技术介绍(一)爬虫技术总体介绍：网络爬虫是一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。网络爬虫使用多线程技术，让爬虫具备更强大的抓取能力。网络爬虫还要完成信息提取任务，对于抓取回来的网页提取出来:新闻、电子图书、行业信息等。对于MP3、图片、Flash等各种不同内容，要实现自动识别、自动分类及相关属性测试（例如：MP3文件要包含的文件大小，下载速度等属性）。\n二、爬虫技术介绍(二)抓取对象：1.静态网页：爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。2.动态网页:分析动态网页参数，按照一定规章，“拼”出所有要被抓取内容URL，只抓取这些特定范围内动态网页。3.特殊内容：比如RSS、XML数据，情况特殊需特殊处理。如新闻的滚动新闻页面，需要爬虫不停地监控扫描，发现新内容马上就进行抓取。4.文件对象：图片，MP3、Flash、视频等文件的抓取，都要特殊处理。比如说：图片抓取出来后，要知道图片文件类型、图片文件的大小、图片的像素大小，还要转换出来缩略图。\n二、爬虫技术介绍(三)抓取策略：1.深度优先策略：对于一些大网站及静态网页为主的抓取内容，采取深度策略抓取，便于在最短时间内获得最大量内容。2.广度优先策略:对于一些动态网页或小网站，采取广度策略抓取，同时对多个网站进行抓取，减小对各个小网站的压力，避免造成恶意攻击。3.合作抓取策略:由被抓取网站，提供可被抓取内容的sitemap网站地图，双方协议好，只抓取这些特定内容，在抓取速度及时间上双方前期进行协商。另外还可以完全由被抓取方，提供详细内容，抓取过程都可以省略一些步骤。\n三、中文分词和排序算法介绍(一)中文分词：中文本身存在着很大的歧义性，同样一句话，不同的断句，表达的意思就不一样。这对于计算机去做机器分析，就带来了巨大的困难。下面的中文断句，来自百度广告宣传片:「我知道你不知道我知道你不知道我知道你不知道」\n三、中文分词和排序算法介绍(一)中文分词：另外中文的具体含义，还必须放在具体的前后语言环境中去分析。比如说：「乒乓球拍卖完了」我去学校商店，发现「乒乓球拍卖完了」在今天的慈善拍卖会上，世界冠军们夺冠时的「乒乓球拍卖完了」中文分词，在具体的算法实现上分为三种：1.字符串匹配(正序、逆序、最少切分、最大切分等)2.基于理解（词法，句法等方式处理）3.基于统计在中文搜索引擎中，目前基本上是这三种算法混合使用。第二种的算法实现起来过于复杂，所以以第一种和第三种算法为主。\n三、中文分词和排序算法介绍(一)中文分词：语言本身也是在不停的进化和发展的，新的词语层出不穷，一些老的词语渐渐被弃用。作为中文分词的基础----词库，其新词补充和老词删除就是非常重要的工作。“超级女声”、“超女”、“李宇春”、“八荣八耻”、“非典”，当这些新词的出现时，搜索引擎需要快速捕捉到，并且马上把其添加到分词系统中去。如何判断那些词是新词，这就全部倚靠算法来实现。新词捕捉主要来源于新闻和网络BBS论坛，主要机制是依靠统计程序，统计上升速度最高的词。另外作为搜索引擎公司，对众多用户的搜索词进行“用户行为”分析，也能提高其“新词补充”效果。\n三、中文分词和排序算法介绍(二)排序算法：搜索引擎的排序算法（rankingalgorithm），决定了各个网页、图片、MP3等数据的重要性排列顺序，也决定了最终用户查询到的数据排序。搜索引擎的排序算法是人工智能的完满体现，它是对百亿级数据进行重要性分析的数学实现。“PageRank”是Google公司在排序算法上的专利技术，也是Google能从众多搜索引擎公司中脱颖而出的最核心技术，作为其搜索服务能够超过其他竞争对手最有力的武器。不同搜索引擎公司排序算法的优劣，直接决定了广大搜索引擎用户对搜索服务的选择，在互联网上，一个普通用户更换搜索服务只需要5秒钟，所以排序算法就成为了各个搜索引擎公司最核心机密。另外，每个搜索引擎公司也必须不停地改进其排序算法。\n三、中文分词和排序算法介绍(二)排序算法：排序算法部分参考指标：指标加分减分网站硬件指标网站网络好，系统稳定网站系统不稳定，网络不好网站包含网页数总网页数目多总网页数目少网页大小网页大小适中网页多大或过小其他网页链到本网页数目多数目少网页内URL数数目适中过多或过少网页相关性URL连接网页是相关内容URL连接网页不是相关内容网页更新/生成日期日期近的日期远的网页类型静态网页动态网页网页内样式网页设计样式中等网页设计样式过于复杂或简单网页具体内容分词后，各个词权重总和高分词后，各个词权重总和低用户访问行为点击多的网页点击少的网页\n三、中文分词和排序算法介绍(二)排序算法：排序算法虽然解决了网页排序的问题，但是有时候有些搜索结果还是很难让用户满意。为此，搜索引擎排序算法一项重要改进：“聚类”，就被引进来提高排序效果。“聚类”方法，是把网页分类成各种不同类型，比如说：分类为“体育”、“娱乐”、“军事”、“旅游”、“金融”、“政治”、“汽车”、“房产”等。针对每一种分类，各自有一套专用的排序算法。当查询词为“高尔夫”时，查询结果为“体育”+“汽车”，排序算法为通用算法；但当查询词为“高尔夫伍兹”时，其分类就能确定为“体育”，其排序算法就采用“体育”类别的算法。\n三、中文分词和排序算法介绍(二)排序算法：排序算法是决定了各个网页的排序，但是对于一些特殊情况，也需要“人工干预”，毕竟一个通用算法并不能解决所有问题。比如说：查询词为“北理”，其实含义是“北京理工大学”。在Google的搜索结果中，第一个就是“北京理工大学”，但在“北京理工大学”网页中根本找不到“北理”两个字。以下是搜索结果：北京理工大学以工为主，包含理工、管理、法律、外语的多科性全国重点大学。www.bit.edu.cn/-42k-类似网页“人工干预”是排序算法，非常重要的一个补充，大大改进了搜索结果。搜索引擎公司的竞价排名和滚动排名，也都是“人工干预”的范畴。\n(二)排序算法：GOOGLE的PageRank技术PageRank技术是Google检索结果的一种排序算法,中文通常译为页面级别或页面等级,根据这个算法,Google认为每个网页都有一个反映其重要性的值,值越高表明其页面级别越高,即网页越重要;网页的质量和重要性也可以通过其它网页对其超文本链接的数量来衡量,具体来说,假如网页A有一个指向网页B的链接,则意味着网页A认为网页B是重要的。Google根据网页被链接的数量来评定其重要性。假如有10个网页指向网页A,而指向网页B的链接却只有2个,则说明网页A比网页B更加重要。\n(二)排序算法：GOOGLE的PageRank技术事实上,在实际计算网页的PageRank值时,Google还考虑到网页A的所有链入网页(链接到某网页的其它网页称为该网页的链入网页)对它的推荐能力(即由于它们对网页A的链接,使人们认为网页A的重要程度)和推荐程度(即它们认为网页A的重要程度)。一个网页本身的PageRank值越高,则它对其链出网页(从某个网页链出的网页称为该网页的链出网页)的推荐能力就越大;一个网页的链出网页越少,那么它对其中一个链出网页的推荐程度就越高。\n我们可以用以下公式来简要表达Google关于网页PageRank值的计算:PR(A)=(1-d)+d[(PR(T1)/C(T1)+..+PR(Tn)/C(Tn)]其中,PR(A)是指网页A的PageRank值;T1,T2,.,Tn是网页A的链入网页;PR(Ti)是指网页Ti的PageRank值(i=1,2,.n);C(Ti)是指网页Ti的链出网页的数量(i=1,2,.n);d是一个衰减因子,0

查看更多