lucene原理

1. 基本概念

信息检索(IR)是指文档搜索、 文档内信息搜索或者文档相关的元数据搜索等操作。 文档：用于搜索的内容部件。

文档过滤器:将文本格式信息从原始内容中提取出来，便于后期建立搜索引擎文档。如Tika，与数据库的内容连接，DBSight、Hibernate Search、LuSQL、Compass和Oracle/Lucene集成项目。

词汇单元：即分词。词干提取器，如Snowball。

搜索质量主要由查准率(Precision)和查全率(Recall)来衡量。[1]P13 语法检查器: Lucene的 contrib目录提供了两个模块完成此功能。

查询对象: Lucene提供了一个称之为查询解析器(QueryParser),用它可以根据通用查询语法将用户输入的文本处理成查询对象。

查询搜索：査询检索索引并返回与査询语句匹配的文档，结果返回时 按照査询请求来排序。搜索查询组件涵盖了搜索引擎内部复杂的工作机制，Lucene正是 如此，它为你完成这一切。 倒排索引：inverted index

常见的搜索理论模型有如下3种。

■ 纯布尔模型（Pure Boolean model) 文档不管是否匹配查询请求，都不会被评分.在该模型下，匹配

1. 基本概念

信息检索(IR)是指文档搜索、 文档内信息搜索或者文档相关的元数据搜索等操作。 文档：用于搜索的内容部件。

文档过滤器:将文本格式信息从原始内容中提取出来，便于后期建立搜索引擎文档。如Tika，与数据库的内容连接，DBSight、Hibernate Search、LuSQL、Compass和Oracle/Lucene集成项目。

词汇单元：即分词。词干提取器，如Snowball。

搜索质量主要由查准率(Precision)和查全率(Recall)来衡量。[1]P13 语法检查器: Lucene的 contrib目录提供了两个模块完成此功能。

查询对象: Lucene提供了一个称之为查询解析器(QueryParser),用它可以根据通用查询语法将用户输入的文本处理成查询对象。

查询搜索：査询检索索引并返回与査询语句匹配的文档，结果返回时 按照査询请求来排序。搜索查询组件涵盖了搜索引擎内部复杂的工作机制，Lucene正是 如此，它为你完成这一切。 倒排索引：inverted index

常见的搜索理论模型有如下3种。

■ 纯布尔模型（Pure Boolean model) 文档不管是否匹配查询请求，都不会被评分.在该模型下，匹配

lucene全文检索

1 概念

全文检索（Full-Text Retrieval）是计算机程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置。当用户查询时根据建立的索引查找，类似于通过字典的检索字表查字的过程.

1.1 lucene全文检索的特性

全文检索（Full-Text Retrieval）是指以文本作为检索对象，找出含有指定词汇的文本。全面、准确和快速是衡量全文检索系统的关键指标。

关于全文检索的特性，我们要知道：1，只处理文本。2，不处理语义。3，搜索时英文不区分大小写。4，结果列表有相关度排序。

下图就是显示“1+1等于几”这个搜索要求对应的结果。可以看到，是没有“2”这个结果的，结果页面都是出现了这些词的网页 .

1.2 全文检索的应用场景

我们使用Lucene，主要是做站内搜索，即对一个系统内的资源进行搜索。如BBS、BLOG中的文章搜索，网上商店中的商品搜索等。使用Lucene的项目有Eclipse、Jira等。一般不做互联网中资源的搜索，因为不易获取与管理海量资源（专业搜索方向的公司除外）。

2 第一个lunece程序

2.1 准备lucene的开发环境

搭建Lucene的开发环境只需要

计算机技术与发展第21卷 第2期.2Vo.l21 No

基于Lucene的分布式并行索引

唐华姣,何友全,徐小乐,徐 澄

2.重庆交通大学管理学院,重庆400074)

摘 要:索引技术是搜索引擎的核心技术之一,索引技术的好坏直接影响到搜索引擎的查准率以及对用户的响应速度。Lucene是一个优秀的全文检索引擎架构,采用高度优化的倒排索引结构并支持增量索引。但在实际应用Lucene时存在一个值得关注的问题:随着被索引文件的增多,索引时间成线性增长,导致建索引的过程会影响搜索体验;在搜索引擎应用中,当索引文件量达到一定等级时,搜索引擎就遇到性能瓶颈。在深入分析和研究Lucene索引机制的基础上,采用以内存为缓冲区建索引文件的分布式并行索引技术形成了一个可扩展的搜索引擎解决方案,极大地缓解了建索引给搜索带来的瓶颈问题。

关键词:索引技术;Lucene;搜索引擎;分布式并行索引

中图分类号:TP311 文献标识码:A 文章编号:1673-629X(2011)02-0123-04

1

1

1

2

(1.重庆交通大学信息科学与工程学院,重庆400074;

DistributedParallelIndexBasedonLucene

IKAnalyzer版本 Jar包下载

IKAnalyzer3.2.8_bin 下载地址：

http://code.google.com/p/ik-analyzer/downloads/detail?name=IKAnalyzer3.2.8 bin.zip&can=2&q=

下载后包含说明及API文档（在目录doc3.2.8中）。

源码下载

http://code.google.com/p/ik-analyzer/downloads/detail?name=IKAnalyzer3.2.8 source.zip&can=2&q=

IKSegmentation浅析（纯IK分词）

IKSegmentation是IK中独立的分词器，和lucene没有关系。不继承，不扩展，不使用lucene相关的类。

IK主分词器构造函数

/**

* IK主分词器构造函数 * @param input

* @param isMaxWordLength 当为true时，分词器进行最大词长切分 */ public IKSegmentation(Reader input , boolean isMaxWordLength){ this.input =

申明：原文来自http://xiewei906.blog.sohu.com/98440293.html

1 lucene简介 1.1 什么是lucene

Lucene是一个全文搜索框架，而不是应用产品。因此它并不像www.http://www.wodefanwen.com/ 或者google Desktop那么拿来就能用，它只是提供了一种工具让你能实现这些产品。

1.2 lucene能做什么

要 回答这个问题，先要了解lucene的本质。实际上lucene的功能很单一，说到底，就是你给它若干个字符串，然后它为你提供一个全文搜索服务，告诉你 你要搜索的关键词出现在哪里。知道了这个本质，你就可以发挥想象做任何符合这个条件的事情了。你可以把站内新闻都索引了，做个资料库；你可以把一个数据库 表的若干个字段索引起来，那就不用再担心因为“%like%”而锁表了；你也可以写个自己的搜索引擎……

1.3 你该不该选择lucene

下面给出一些测试数据，如果你觉得可以接受，那么可以选择。 测试一：250万记录，300M左右文本，生成索引380M左右，800线程下平均处理时间300ms。 测试二：37000记录，索引数据库中的两个varchar

华中科技大学

硕士学位论文

一个改进的中文分词算法及其在Lucene中的应用

姓名：付敏

申请学位级别：硕士

专业：软件工程

指导教师：陈传波

2010-01-14

华 中 科 技 大 学 硕 士 学 位 论 文

摘 要

中文分词是中文信息处理的核心问题之一。采用基于字符串匹配与统计相结合

的算法能够较好的实现中文分词。该算法首先将中文文本以标点符号为切分断点，

把待切分的文本切分成含有完整意义的短句，以提高字符串匹配算法的正确率。然

后将每个短句分别按照正向最大匹配和逆向最小匹配进行扫描、切分，同时在每次

扫描时，根据语义和语言规则对结果进行优化，将汉字、英文字母、数字分别进行

划分，增强算法对不同类型文本的处理能力。最后，根据最小切分原则和统计的方

法进行歧义消解处理。

通常中文分词的算法分为三种，基于字符串匹配、基于统计方法和基于理解的。

三者各有优缺点，改进的分词算法集成了基于字符串匹配算法在实现方式简单，效

率高的优点，并辅以基于语言的基本规则提高了初切分阶段的正确率。在具体实现

上，两次扫描分别采用了正向最大匹配与逆向最小匹配的算法。算法的选用分别利

用了正向最大匹配切分片段数较少的优点和逆向最小匹配对多义型歧义解决较好的

优点。利用语言规则优化则是在扫描的同时将汉字、字

分类计数原理（加法原理）

1. 张叔叔要从南京到杭州去开产品推广会，现在知道每天从南京到杭州有3趟

不同的火车，5趟不同的汽车，还有2班不同的飞机。那么张叔叔在一天中从南京去杭州一共有多少种不同的走法？

2. 学校组织读书活动，要求每个同学读一本书，小明到图书馆借书时，图书馆

有不同的外语书150本，不同的科技书200本，不同的小说100本，那么小明借一本书可以有多少种不同的选法？

3. 一条直线上标有ABCDE共5个点，问：用这5个点中的任意两个点作端点，

能数出多少条不同的线段？

4. 现有7个苹果，分给3个人，每人至少一个，问有多少种不同的分法？

5. 把12枝铅笔分给三个人，每个人都得偶数支且每人至少得2支的分法有多少

种？

6. 从1至9这九个数字中，每次取两个数字，这两个数字的和必须大于10，那

么共有几种取法？ 7. 体育锻炼时，一个同学跳台阶，他每次最多能跳两级台阶，问：跳上第8级

台阶共有多少种不同的跳法？

8. 有16个桃子，如果规定每次只能拿2个或3个，那么拿完这堆桃子，共有多

少种不同的拿法？

9. 小明要登15级台阶，每步登1级或2级台阶，共有多少种不同

VLAN工作原理(VLAN通信原理)详解

1、vlan基本通信原理为了提高处理效率，交换机内部的数据帧一律都带有VLAN Tag，以统一方式处理。当一个数据帧进入交换机接口时，如果没有带VLAN Tag，且该接口上配置了PVID （Port Default VLAN ID），那么，该数据帧就会被标记上接口的PVID。如果数据帧已经带有VLAN Tag，那么，即使接口已经配置了PVID，交换机不会再给数据帧标记VLAN Tag。由于接口类型不同，交换机对数据帧的处理过程也不同。下面根据不同的接口类型分别介

绍。

各类型接口对数据帧的处理方式接口类型对接收不带Tag 的报文处理对接收带Tag的报文处理发送帧处理过程Access接口接收该报文，并打上缺省的VLAN ID。当VLAN ID与缺省VLAN ID 相同时，接收该报文；当VLAN ID与缺省VLAN ID不同时，丢弃该报文。先剥离帧的PVID Tag，然后再发送。Trunk接口打上缺省的VLAN ID，当缺省VLAN ID在允许通过的VLAN ID列表里时，接收该报文；当缺省VLAN ID不在允许通过的VLAN ID列表里时，丢弃该报文。当VLAN ID在接口允许通过的VLAN ID列表里时，接

目 录

第1章 SDH概述 ......................................................................................................................... 3

1.1 SDH产生的技术背景——为什么会产生SDH传输体制 ....................................................... 3 1.2 与PDH相比SDH有哪些优势 ............................................................................................. 6 1.3 SDH的缺陷所在 ................................................................................................................... 9 小结 ...................................................