lucene segment

1. 基本概念

信息检索(IR)是指文档搜索、 文档内信息搜索或者文档相关的元数据搜索等操作。 文档：用于搜索的内容部件。

文档过滤器:将文本格式信息从原始内容中提取出来，便于后期建立搜索引擎文档。如Tika，与数据库的内容连接，DBSight、Hibernate Search、LuSQL、Compass和Oracle/Lucene集成项目。

词汇单元：即分词。词干提取器，如Snowball。

搜索质量主要由查准率(Precision)和查全率(Recall)来衡量。[1]P13 语法检查器: Lucene的 contrib目录提供了两个模块完成此功能。

查询对象: Lucene提供了一个称之为查询解析器(QueryParser),用它可以根据通用查询语法将用户输入的文本处理成查询对象。

查询搜索：査询检索索引并返回与査询语句匹配的文档，结果返回时 按照査询请求来排序。搜索查询组件涵盖了搜索引擎内部复杂的工作机制，Lucene正是 如此，它为你完成这一切。 倒排索引：inverted index

常见的搜索理论模型有如下3种。

■ 纯布尔模型（Pure Boolean model) 文档不管是否匹配查询请求，都不会被评分.在该模型下，匹配

1. 基本概念

信息检索(IR)是指文档搜索、 文档内信息搜索或者文档相关的元数据搜索等操作。 文档：用于搜索的内容部件。

文档过滤器:将文本格式信息从原始内容中提取出来，便于后期建立搜索引擎文档。如Tika，与数据库的内容连接，DBSight、Hibernate Search、LuSQL、Compass和Oracle/Lucene集成项目。

词汇单元：即分词。词干提取器，如Snowball。

搜索质量主要由查准率(Precision)和查全率(Recall)来衡量。[1]P13 语法检查器: Lucene的 contrib目录提供了两个模块完成此功能。

查询对象: Lucene提供了一个称之为查询解析器(QueryParser),用它可以根据通用查询语法将用户输入的文本处理成查询对象。

查询搜索：査询检索索引并返回与査询语句匹配的文档，结果返回时 按照査询请求来排序。搜索查询组件涵盖了搜索引擎内部复杂的工作机制，Lucene正是 如此，它为你完成这一切。 倒排索引：inverted index

常见的搜索理论模型有如下3种。

■ 纯布尔模型（Pure Boolean model) 文档不管是否匹配查询请求，都不会被评分.在该模型下，匹配

lucene全文检索

1 概念

全文检索（Full-Text Retrieval）是计算机程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置。当用户查询时根据建立的索引查找，类似于通过字典的检索字表查字的过程.

1.1 lucene全文检索的特性

全文检索（Full-Text Retrieval）是指以文本作为检索对象，找出含有指定词汇的文本。全面、准确和快速是衡量全文检索系统的关键指标。

关于全文检索的特性，我们要知道：1，只处理文本。2，不处理语义。3，搜索时英文不区分大小写。4，结果列表有相关度排序。

下图就是显示“1+1等于几”这个搜索要求对应的结果。可以看到，是没有“2”这个结果的，结果页面都是出现了这些词的网页 .

1.2 全文检索的应用场景

我们使用Lucene，主要是做站内搜索，即对一个系统内的资源进行搜索。如BBS、BLOG中的文章搜索，网上商店中的商品搜索等。使用Lucene的项目有Eclipse、Jira等。一般不做互联网中资源的搜索，因为不易获取与管理海量资源（专业搜索方向的公司除外）。

2 第一个lunece程序

2.1 准备lucene的开发环境

搭建Lucene的开发环境只需要

计算机技术与发展第21卷 第2期.2Vo.l21 No

基于Lucene的分布式并行索引

唐华姣,何友全,徐小乐,徐 澄

2.重庆交通大学管理学院,重庆400074)

摘 要:索引技术是搜索引擎的核心技术之一,索引技术的好坏直接影响到搜索引擎的查准率以及对用户的响应速度。Lucene是一个优秀的全文检索引擎架构,采用高度优化的倒排索引结构并支持增量索引。但在实际应用Lucene时存在一个值得关注的问题:随着被索引文件的增多,索引时间成线性增长,导致建索引的过程会影响搜索体验;在搜索引擎应用中,当索引文件量达到一定等级时,搜索引擎就遇到性能瓶颈。在深入分析和研究Lucene索引机制的基础上,采用以内存为缓冲区建索引文件的分布式并行索引技术形成了一个可扩展的搜索引擎解决方案,极大地缓解了建索引给搜索带来的瓶颈问题。

关键词:索引技术;Lucene;搜索引擎;分布式并行索引

中图分类号:TP311 文献标识码:A 文章编号:1673-629X(2011)02-0123-04

1

1

1

2

(1.重庆交通大学信息科学与工程学院,重庆400074;

DistributedParallelIndexBasedonLucene

IKAnalyzer版本 Jar包下载

IKAnalyzer3.2.8_bin 下载地址：

http://code.google.com/p/ik-analyzer/downloads/detail?name=IKAnalyzer3.2.8 bin.zip&can=2&q=

下载后包含说明及API文档（在目录doc3.2.8中）。

源码下载

http://code.google.com/p/ik-analyzer/downloads/detail?name=IKAnalyzer3.2.8 source.zip&can=2&q=

IKSegmentation浅析（纯IK分词）

IKSegmentation是IK中独立的分词器，和lucene没有关系。不继承，不扩展，不使用lucene相关的类。

IK主分词器构造函数

/**

* IK主分词器构造函数 * @param input

* @param isMaxWordLength 当为true时，分词器进行最大词长切分 */ public IKSegmentation(Reader input , boolean isMaxWordLength){ this.input =

申明：原文来自http://xiewei906.blog.sohu.com/98440293.html

1 lucene简介 1.1 什么是lucene

Lucene是一个全文搜索框架，而不是应用产品。因此它并不像www.http://www.wodefanwen.com/ 或者google Desktop那么拿来就能用，它只是提供了一种工具让你能实现这些产品。

1.2 lucene能做什么

要 回答这个问题，先要了解lucene的本质。实际上lucene的功能很单一，说到底，就是你给它若干个字符串，然后它为你提供一个全文搜索服务，告诉你 你要搜索的关键词出现在哪里。知道了这个本质，你就可以发挥想象做任何符合这个条件的事情了。你可以把站内新闻都索引了，做个资料库；你可以把一个数据库 表的若干个字段索引起来，那就不用再担心因为“%like%”而锁表了；你也可以写个自己的搜索引擎……

1.3 你该不该选择lucene

下面给出一些测试数据，如果你觉得可以接受，那么可以选择。 测试一：250万记录，300M左右文本，生成索引380M左右，800线程下平均处理时间300ms。 测试二：37000记录，索引数据库中的两个varchar

华中科技大学

硕士学位论文

一个改进的中文分词算法及其在Lucene中的应用

姓名：付敏

申请学位级别：硕士

专业：软件工程

指导教师：陈传波

2010-01-14

华 中 科 技 大 学 硕 士 学 位 论 文

摘 要

中文分词是中文信息处理的核心问题之一。采用基于字符串匹配与统计相结合

的算法能够较好的实现中文分词。该算法首先将中文文本以标点符号为切分断点，

把待切分的文本切分成含有完整意义的短句，以提高字符串匹配算法的正确率。然

后将每个短句分别按照正向最大匹配和逆向最小匹配进行扫描、切分，同时在每次

扫描时，根据语义和语言规则对结果进行优化，将汉字、英文字母、数字分别进行

划分，增强算法对不同类型文本的处理能力。最后，根据最小切分原则和统计的方

法进行歧义消解处理。

通常中文分词的算法分为三种，基于字符串匹配、基于统计方法和基于理解的。

三者各有优缺点，改进的分词算法集成了基于字符串匹配算法在实现方式简单，效

率高的优点，并辅以基于语言的基本规则提高了初切分阶段的正确率。在具体实现

上，两次扫描分别采用了正向最大匹配与逆向最小匹配的算法。算法的选用分别利

用了正向最大匹配切分片段数较少的优点和逆向最小匹配对多义型歧义解决较好的

优点。利用语言规则优化则是在扫描的同时将汉字、字