基于hbase搜索引擎的设计与实现

[硕士论文] 垂直搜索引擎的设计与实现

西北工业大学

硕士学位论文

垂直搜索引擎的设计与实现

姓名：吴欣茹

申请学位级别：硕士

专业：软件工程

指导教师：王庆

20061201

[硕士论文] 垂直搜索引擎的设计与实现

摘要

随着Ｉｎｔｅｒｎｅｔ的迅速发展，Ｗｅｂ己经发展成为包含多种信息资源、站点分

布全球的海量信息服务网络。搜索引擎是一种用于帮助Ｗｅｂ用户查询信息的搜索工具，它以一定的策略在Ｉｎｔｅｒｎｅｔ中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务和信息导航。通用搜索引擎的特点是：索引数据库的规模大；检索结果数据量特大。

随着信息多元化的发展，通用搜索引擎己经不能满足主题用户的需求。用户

迫切需要一个数据分类细致、精确、全面、更新及时的面向特定主题的搜索技术和方法来获得主题资源信息。在这种需求的推动下，垂直搜索引擎应运而生。

论文研究了搜索引擎的相关技术，通过分析基于查询串方式的搜索引擎和分

类目录式搜索引擎的整体结构，设计了垂直搜索引擎的系统结构，并对其中涉及的关键技术：Ｗｅｂ搜集器、信息抽取技术、中文分词和检索技术进行了深入研究，期望对推进本领域的技术发展作一点贡献。

在总体设计方面采用的是模块化思想，垂直搜索引擎被分为搜集子系统、索

引子系统

[硕士论文] 垂直搜索引擎的设计与实现

西北工业大学

硕士学位论文

垂直搜索引擎的设计与实现

姓名：吴欣茹

申请学位级别：硕士

专业：软件工程

指导教师：王庆

20061201

[硕士论文] 垂直搜索引擎的设计与实现

摘要

随着Ｉｎｔｅｒｎｅｔ的迅速发展，Ｗｅｂ己经发展成为包含多种信息资源、站点分

布全球的海量信息服务网络。搜索引擎是一种用于帮助Ｗｅｂ用户查询信息的搜索工具，它以一定的策略在Ｉｎｔｅｒｎｅｔ中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务和信息导航。通用搜索引擎的特点是：索引数据库的规模大；检索结果数据量特大。

随着信息多元化的发展，通用搜索引擎己经不能满足主题用户的需求。用户

迫切需要一个数据分类细致、精确、全面、更新及时的面向特定主题的搜索技术和方法来获得主题资源信息。在这种需求的推动下，垂直搜索引擎应运而生。

论文研究了搜索引擎的相关技术，通过分析基于查询串方式的搜索引擎和分

类目录式搜索引擎的整体结构，设计了垂直搜索引擎的系统结构，并对其中涉及的关键技术：Ｗｅｂ搜集器、信息抽取技术、中文分词和检索技术进行了深入研究，期望对推进本领域的技术发展作一点贡献。

在总体设计方面采用的是模块化思想，垂直搜索引擎被分为搜集子系统、索

引子系统

学号200532580261 密级________________

武汉大学本科毕业论文

web搜索引擎的设计与实现

院（系）名 称：国际软件学院 专 业 名 称 ：软件工程 学 生 姓 名 ：胡书山 指 导 教 师 ：冯晶 讲师

王飞

项目经理

二○○九年五月

BACHELOR'S DEGREE THESIS OF WUHAN UNIVERSITY

The design and implementation of web

search engineer

College ：Wuhan university Subject ：Software engineering Name ： Hushushan

Directed by ： Fengjing Lecturer

Wangfei Project manager

May 2009

郑 重 声 明

（宋体粗体2号居中）

本人呈交的学位论文，是在导师的指导下，独立进行研究工作所取得

目录

摘要....................................................................................................................... I ABSTRACT ............................................................................................................. II 第1章绪论. (1)

1.1 商品搜索引擎搜索简介 (1)

1.2 商品搜索国内外研究现状 (1)

1.3 本文组织结构 (5)

第2章需求分析与总体设计 (6)

2.1 需求分析 (6)

2.1.1 产品需求背景 (6)

2.1.2 产品目标 (7)

2.1.3 产品用户群体 (7)

2.1.4 产品功能需求 (8)

2.1.5 产品非功能需求 (9)

2.2 总体设计 (10)

2.2.1 引擎基本原理 (10)

2.2.2 引擎功能结构 (11)

2.2.3 引擎数据分配机制 (12)

2.2.4 引擎检索机制 (13)

2.2.5 引擎数据流机制 (13)

2.2.6 分布式索引

目录

摘要....................................................................................................................... I ABSTRACT ............................................................................................................. II 第1章绪论. (1)

1.1 商品搜索引擎搜索简介 (1)

1.2 商品搜索国内外研究现状 (1)

1.3 本文组织结构 (5)

第2章需求分析与总体设计 (6)

2.1 需求分析 (6)

2.1.1 产品需求背景 (6)

2.1.2 产品目标 (7)

2.1.3 产品用户群体 (7)

2.1.4 产品功能需求 (8)

2.1.5 产品非功能需求 (9)

2.2 总体设计 (10)

2.2.1 引擎基本原理 (10)

2.2.2 引擎功能结构 (11)

2.2.3 引擎数据分配机制 (12)

2.2.4 引擎检索机制 (13)

2.2.5 引擎数据流机制 (13)

2.2.6 分布式索引

基于web的百万级ftp搜索引擎的设计与实现

第!"卷第%期!"""年%月

文章编号：（!"""）)""),%"+)"%,""*+,"’

计算机应用

6=>IJ:/;5IIEFC?:F=9KL=E-!"M7=-%G/I-M!"""

基于./0的百万级123搜索引擎的设计与实现

陈华，罗昶，王建勇，段晖，薛明

（北京大学计算机系网络与分布式系统研究室，北京)""+&)）

介绍了百万级123搜索引擎的设计与摘要：本文以“天网”123搜索引擎为例，

实现，并重点分析了系统所采用的关键技术和方法。

搜索引擎；关键词：123；...

中图分类号：23’%’-4文献标识码：5

)引言

根据中国互联网络信息中心（67786）有关中国

（截止到)%%%年底），中国89:/;9/:发展状况统计报告

上网用户数是+%"万。每年网民的增长率超过’""<。而搜索引擎则是除电子邮件以外网民使用最多的服务。与相对众多的...搜索引擎相比，

由此限制了人们功

一种基于DNS的分层式网页搜索引擎研究

王亮1+, 郭一平2 1

?

(华中科技大学 控制系，湖北 武汉 430074) (华中科技大学 图书馆，湖北 武汉 430074)

2

Study of a layered Web search engine based on DNS

1+

2

Wang Liang, Guo Yiping

1

(Department of Control Science and Control Engineer, Huazhong University of Science and Technology, WuHan, 430074 ，China)

2

(Library of Huazhong University of Science and Technology, WuHan 430074, China)

+ Corresponding author:Phn:+86-27-87553494, Fax +86-27-87544415, E-mail: guoypm@hust.edu.cn, http://dris.hust.edu.cn

Abstract: Web search engine based on DNS, the

I

本科毕业论文

题 目 姓 名 专 业 指导教师

个性化搜索引擎的设计与实现

学 号

计算机科学与技术

职 称

讲师 中国·武汉 二○一○ 年 三 月

华中农业大学毕业论文（设计）

华中农业大学本科毕业论文

个性化搜索引擎的设计与实现

Design and Implementation of Personal Search Engine

学生姓名： 学生学号： 学生专业： 指导教师：

华中农业大学理学院

二○一○ 年 三 月

II

华中农业大学毕业论文（设计）

目 录

摘 要············································································································································································· IV 关键词 ···············································································

实验三 搜索引擎及SEO实验

一、实验目的

研究并学习几种常见的搜索引擎算法，包括网络蜘蛛爬行策略、中文分词算法、网页正文提取算法、网页去重算法、PageRank和MapReduce算法，了解它们的基本实现原理；运用所学SEO技术对网页进行优化。

二、实验内容

1. 研究常用的网络蜘蛛爬行策略，如深度优先策略、广度优先策略、网页选择策略、重访策略和并行策略等，了解其实现原理；

2. 研究至少两种中文分词算法，了解其实现原理； 3. 研究至少两种网页正文提取算法，了解其实现原理； 4. 研究至少两种网页去重算法，了解其实现原理；

5. 研究Google的PageRank和MapReduce算法，了解它们的实现原理；

6. 使用所学的SEO技术，对实验二所设计的网站静态首页实施SEO，在实施过程中需采用如下技术：

(1) 网页标题(title)的优化；

(2) 选取合适的关键词并对关键词进行优化； (3) 元标签的优化；

(4) 网站结构和URL的优化；

(5) 创建robots.txt文件，禁止蜘蛛抓取网站后台页面； (6) 网页内部链接的优化； (7) Heading标签的优化； (8) 图片优化； (9) 网页减肥技术。

7. 使用C++

全文搜索引擎是名副其实的搜索引擎，国外具代表性的有Google、Fast/AllTheWeb、AltaVista、Inktomi、Teoma、WiseNut等，国内著名的有百度（Baidu）。它们都是通过从互联网上提取的各个网站的信息（以网页文字为主）而建立的数据库中，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户，因此他们是真正的搜索引擎。

从搜索结果来源的角度，全文搜索引擎又可细分为两种，一种是拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，并自建网页数据库，搜索结果直接从自身的数据库中调用，如上面提到的7家引擎；另一种则是租用其他引擎的数据库，并按自定的格式排列搜索结果，如Lycos引擎。

■ 目录索引

目录索引虽然有搜索功能，但在严格意义上算不上是真正的搜索引擎，仅仅是按目录分类的网站链接列表而已。用户完全可以不用进行关键词（Keywords）查询，仅靠分类目录也可找到需要的信息。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo雅虎。其他著名的还有Open Directory Project（DMOZ）、LookSmart、About等。国内的搜狐、新浪、网易搜索