Lucene

Lucene

搜索引擎工具包
Lucene是apache軟件基金會4 jakarta項目組的一個子項目,是一個開放源代碼的全文檢索引擎工具包,即它不是一個完整的全文檢索引擎,而是一個全文檢索引擎的架構,提供了完整的查詢引擎和索引引擎,部分文本分析引擎(英文與德文兩種西方語言)。Lucene的目的是為軟件開發人員提供一個簡單易用的工具包,以方便的在目标系統中實現全文檢索的功能,或者是以此為基礎建立起完整的全文檢索引擎。Lucene是一套用于全文檢索和搜尋的開源程式庫,由Apache軟件基金會支持和提供。Lucene提供了一個簡單卻強大的應用程式接口,能夠做全文索引和搜尋。在Java開發環境裡Lucene是一個成熟的免費開源工具。就其本身而言,Lucene是當前以及最近幾年最受歡迎的免費Java信息檢索程序庫。人們經常提到信息檢索程序庫,雖然與搜索引擎有關,但不應該将信息檢索程序庫與搜索引擎相混淆。
    中文名:全文搜索引擎 外文名:Lucene 别名: 類屬:搜索引擎 開發人:Doug Cutting 開發時間:2000年

曆史

Lucene最初是由Doug Cutting開發的,在SourceForge的網站上提供下載。在2001年9月做為高質量的開源Java産品加入到Apache軟件基金會的Jakarta家族中。随着每個版本的發布,這個項目得到明顯的增強,也吸引了更多的用戶和開發人員。2004年7月,Lucene1.4版正式發布,10月的1.4.2版本做了一次bug修正。表1.1顯示了Lucene的發布曆史。

版本 發布日期 裡程碑

0.01 2000年3月 第一個開源版本(SourceForge)

1.0 2000年10月

1.01b 2001年7月 最後的SourceForge版本

1.2 2002年6月 第一個Apache Jakarta版本

1.3 2003年12月 複合索引格式,查詢分析器增加,遠程搜索,token定位,可擴展的API

1.4 2004年7月 Sorting, span queries, term vectors

1.4.1 2004年8月 排序性能的bug修正

1.4.2 2004年10月 IndexSearcher optimization and misc. fixes

1.4.3 2004年冬 Misc. fixes2.4.1 2009年3月8日發布新版本

2.3.0 2008年1月 更新為2.3.0

2.4.0 2008年10月 更新為2.4.0

2.4.1 2009年 5月 更新為 2.4.1

2.9.0 2009年9月25号 更新為2.9.0

2.9.1 2009年11月6号 更新為2.9.1

3.0.0 2009年11月25号 更新為3.0.0

3.0.1 2010年2月26号 更新為3.0.1

3.0.2 2010年6月18号 更新為3.0.2

3.0.3 2010年12月3号 更新為3.0.3

3.3.0 2011年7月初 更新為3.3.0

3.4.0 2011年9月14日 更新為3.4.0

3.5.0 2011年11月26日 更新為3.5.0

3.6.0 2012年4月12日 更新為3.6.0

3.6.1 2012年7月23日 更新為3.6.1

4.0 2012年10月12日 更新為4.0

4.2 2013年3月11日 更新為4.2

4.3.1 2013-06-18發布

4.4 2013年7月23日 更新到4.4

4.5 2013年10月5日 更新到4.5

5.0.0 2015年2月20日 更新到5.0.0

創始人

Lucene['lusen]的原作者是Doug Cutting,他是一位資深全文索引/檢索專家,曾經是V-Twin搜索引擎的主要開發者,後在Excite擔任高級系統架構設計師,目前從事于一些Internet底層架構的研究。早先發布在作者自己的,他貢獻出Lucene的目标是為各種中小型應用程式加入全文檢索功能。後來發布在SourceForge,2001年年底成為apache軟件基金會jakarta的一個子項目。

特點優勢

作為一個開放源代碼項目,Lucene從問世之後,引發了開放源代碼社群的巨大反響,程序員們不僅使用它構建具體的全文檢索應用,而且将之集成到各種系統軟件中去,以及構建Web應用,甚至某些商業軟件也采用了Lucene作為其内部全文檢索子系統的核心。apache軟件基金會的網站使用了Lucene作為全文檢索的引擎,IBM的開源軟件eclipse的2.1版本中也采用了Lucene作為幫助子系統的全文索引引擎,相應的IBM的商業軟件Web Sphere中也采用了Lucene。Lucene以其開放源代碼的特性、優異的索引結構、良好的系統架構獲得了越來越多的應用。

Lucene是一個高性能、可伸縮的信息搜索(IR)庫。它可以為你的應用程序添加索引和搜索能力。Lucene是用java實現的、成熟的開源項目,是著名的Apache Jakarta大家庭的一員,并且基于Apache軟件許可[ASF, License]。同樣,Lucene是當前非常流行的、免費的Java信息搜索(IR)庫。

突出的優點

Lucene作為一個全文檢索引擎,其具有如下突出的優點:

(1)索引文件格式獨立于應用平台。Lucene定義了一套以8位字節為基礎的索引文件格式,使得兼容系統或者不同平台的應用能夠共享建立的索引文件。

(2)在傳統全文檢索引擎的倒排索引的基礎上,實現了分塊索引,能夠針對新的文件建立小文件索引,提升索引速度。然後通過與原有索引的合并,達到優化的目的。

(3)優秀的面向對象的系統架構,使得對于Lucene擴展的學習難度降低,方便擴充新功能。

(4)設計了獨立于語言和文件格式的文本分析接口,索引器通過接受Token流完成索引文件的創立,用戶擴展新的語言和文件格式,隻需要實現文本分析的接口。

(5)已經默認實現了一套強大的查詢引擎,用戶無需自己編寫代碼即可使系統可獲得強大的查詢能力,Lucene的查詢實現中默認實現了布爾操作、模糊查詢(Fuzzy Search)、分組查詢等等。

面對已經存在的商業全文檢索引擎,Lucene也具有相當的優勢。

首先,它的開發源代碼發行方式(遵守Apache Software License),在此基礎上程序員不僅僅可以充分的利用Lucene所提供的強大功能,而且可以深入細緻的學習到全文檢索引擎制作技術和面向對象編程的實踐,進而在此基礎上根據應用的實際情況編寫出更好的更适合當前應用的全文檢索引擎。在這一點上,商業軟件的靈活性遠遠不及Lucene。

其次,Lucene秉承了開放源代碼一貫的架構優良的優勢,設計了一個合理而極具擴充能力的面向對象架構,程序員可以在Lucene的基礎上擴充各種功能,比如擴充中文處理能力,從文本擴充到HTML、PDF等等文本格式的處理,編寫這些擴展的功能不僅僅不複雜,而且由于Lucene恰當合理的對系統設備做了程序上的抽象,擴展的功能也能輕易的達到跨平台的能力。

最後,轉移到apache軟件基金會後,借助于apache軟件基金會的網絡平台,程序員可以方便的和開發者、其它程序員交流,促成資源的共享,甚至直接獲得已經編寫完備的擴充功能。最後,雖然Lucene使用Java語言寫成,但是開放源代碼社區的程序員正在不懈的将之使用各種傳統語言實現(例如.net framework),在遵守Lucene索引文件格式的基礎上,使得Lucene能夠運行在各種各樣的平台上,系統管理員可以根據當前的平台适合的語言來合理的選擇。

前提

lucene有7個包需要導入:analysis、document、index、queryParser、search、store、util

搜索

IndexSearcher searcher= new IndexSearcher("E:/index");

Query query = new TermQuery(new Term("title", "lucene"));//單個字節查詢

//Query query = new FuzzyQuery(new Term("title", "lucene"));//模糊查詢

//Query query = new WildcardQuery(new Term("title", "lu*"));//通配符查詢?代表一個字符,*代表0到多個字符

//BooleanQuery query = new BooleanQuery();//條件查詢

//BooleanQuery qson1 = new BooleanQuery();

//Query q1 = new TermQuery(new Term("title", "lucene"));

//qson1.add(q1, Occur.MUST);//MUST是必須滿足的

//BooleanQuery qson2 = new BooleanQuery();

//Query q2= new TermQuery(new Term("sex", "woman"));

//qson2 .add(q2, Occur.MUST_NOT);//MUST_NOT是必須不滿足

//query.add(qson1, Occur.SHOULD);

//query.add(qson2, Occur.SHOULD);//SHOULD代表滿足qson1或者滿足qson2都可以

//PhraseQuery query = new PhraseQuery();//近距離查詢

//query.setSlop(5);//距離設置為5

//query.add(new Term("title", "lucene"));

//query.add(new Term("title", "introduction"));//查詢出title中lucene和introduction距離不超過5個字符的結果

//Query query = new PrefixQuery(new Term("title", "lu"));//WildcardQuery的lu*一樣

//RangeQuery query = new RangeQuery(new Term("time", "50"),new Term("time", "60"), true);

//true代表[50,60],false代表(50,60)

Hits hits = searcher.search(query);

for (int i = 0; i < hits.length(); i++) {

Document d = hits.doc(i);

String title= d.get("title");

System.out.print(title+ " ");

}

這樣,基本上就可以使用了

注:以上代碼為lucene早些版本的寫法。lucene3.02的寫法有所改變。

建立索引

IndexWriter writer = new IndexWriter("E:/index", new StandardAnalyze(),true,MaxFieldLength.UNLIMITED); //true代表複蓋原先數據,maxFieldLength用來限制Field的大小

Document doc = new Document();

doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.ANALYZED,

Field.TermVector.WITH_POSITIONS_OFFSETS));

doc.add(new Field("time", "60", Field.Store.YES, Field.Index.ANALYZED,

Field.TermVector.WITH_POSITIONS_OFFSETS));

writer.addDocument(doc);

writer.optimize(); //優化

writer.close();

軟件包分析

Lucene軟件包的發布形式是一個JAR文件,下面我們分析一下這個JAR文件裡面的主要的JAVA包,使讀者對之有個初步的了解。

Package:org.apache.lucene.document

這個包提供了一些為封裝要索引的文檔所需要的類,比如Document、Field。這樣,每一個文檔最終被封裝成了一個Document對象。

Package:org.apache.lucene.analysis

這個包主要功能是對文檔進行分詞,因為文檔在建立索引之前必須要進行分詞,所以這個包的作用可以看成是為建立索引做準備工作。

Package:org.apache.lucene.index

這個包提供了一些類來協助創建索引以及對創建好的索引進行更新。這裡面有兩個基礎的類:IndexWriter和IndexReader,其中IndexWriter是用來創建索引并添加文檔到索引中的,IndexReader是用來删除索引中的文檔的。

Package:org.apache.lucene.search

這個包提供了對在建立好的索引上進行搜索所需要的類。比如IndexSearcher和Hits,IndexSearcher定義了在指定的索引上進行搜索的方法,Hits用來保存搜索得到的結果。

最新版本及下載地址

Lucene的版本更新的比較頻繁,每個版本都經曆過大量的測試,性能也得到了非常多的優化。到今天為止Lucene最新的版本為3.0,3.0是Lucene的一個新的開始,許多舊的API不再支持,下載地址是http://apache.etoak.com/lucene/java/

Apache軟件基金會

這個Apache軟件基金會為Apache社區的開放源碼軟件項目提供支持。Apache項目的定義是基于協作協商一緻的過程、開放的、務實的軟件許可證以及創建高質量軟件的願望,這些軟件在其領域處于領先地位。ApacheLucene、ApacheSolr、ApachePyLucene、ApacheOpenRelationrelatedProject及其各自的标識都是Apache軟件基金會的商标。所有其他商标可能是其各自所有者的商标或注冊商标。

The Apache Software Foundation provides support for the Apache community of open-source software projects. The Apache projects are defined by collaborative consensus based processes, an open, pragmatic software license and a desire to create high quality software that leads the way in its field. Apache Lucene, Apache Solr, Apache PyLucene, Apache Open Relevance Project and their respective logos are trademarks of The Apache Software Foundation. All other marks mentioned may be trademarks or registered trademarks of their respective owners.

相關詞條

相關搜索

其它詞條