[發明專利]一種Lucene優化索引段合并處理方法

在審

• 申請號: 202011309192.6
• 申請日: 2020-11-20
• 公開（公告）號: CN112231435A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 母延年
• 申請（專利權）人: 南京好魚科技有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31
• 代理公司: 南京中軟知識產權代理事務所(特殊普通合伙) 32466
• 代理人: 鄭燕飛

本發明涉及優化索引段合并處理方法，包括實時更新采集檢索引擎生成的索引數據，并根據索引段大小進行分類并分別執行索引文件合并處理；一級索引段合并處理具體包括篩選索引段數值不低于十六個的獨立索引文件，且合并后新索引文件的索引段總數值均不超過一百八十個；二級索引段合并處理具體包括篩選索引段數值不低于十六個的獨立索引文件，且合并后新索引文件的索引段總數值均不超過二十四個；三級索引段合并處理具體包括篩選索引段數值不低于兩個的獨立索引文件，按每兩個索引段執行一次索引合并處理；其它不滿足條件不合并入庫處理，本發明能夠提供一種可靈活動態調整、入庫效率高且處理性能高的Lucene優化索引段合并處理方法。

技術領域

本發明涉及大數據索引技術領域，尤其涉及一種Lucene優化索引段合并處理方法。

背景技術

索引是大數據時代搜索引擎的核心，Lucene是一款業內開源的高性能、可擴展的信息檢索引擎。近年來，隨著物聯網、社交網絡、云計算等技術不斷融入我們的生活以及現有的計算能力、存儲空間、網絡帶寬的高速發展，人類積累的數據在互聯網、通信、金融、商業、醫療等諸多領域不斷地增長和累積。

一如起初開源Hadoop，可以存儲TB級的數據，亦可以進行TB級數據的分析。但是當hadoop存儲文件數量增多時，同樣的，Lucene生成的索引文件數量也在增加，數據體量亦在不斷增長。當物理資源不能隨之提升，而索引文件數量與大小不斷增長的過程中，Lucene索引段合并的性能缺陷也就暴露出來了。從而，我們一直在思考，是否可以優化索引段合并的方法，通過自定義索引合并來提高Lucene索引段合并入庫的效率和性能。現有技術存在問題：Lucene原生索引，索引段過大，索引文件數量多，入庫快，查詢慢；Lucene原生索引，索引段小，文件數量少，入庫慢，查詢快；Lucene更傾向于大索引合并，性能劃分不夠均衡。

發明內容

本發明目的是為了克服現有技術的不足而提供一種可靈活動態調整、入庫效率高且處理性能高的Lucene優化索引段合并處理方法。

下面關于后續技術方案表述中涉及的專業名詞解釋如下:

Lucene是指開源的高性能、可擴展的信息檢索引擎。

索引(Index)在Lucene中一個索引是放在一個文件夾中的，同一文件夾中的所有的文件構成一個Lucene索引。

段(Segment)：一個索引可以包含多個段，段與段之間是獨立的，添加新文檔可以生成新的段，不同的段可以合并。

文檔(Document)：建索引的基本單位，不同的文檔是保存在不同的段中的，一個段可以包含多篇文檔。新添加的文檔是單獨保存在一個新生成的段中，隨著段的合并，不同的文檔合并到同一個段中。

域(Field)：一篇文檔包含不同類型的信息，可以分開索引，比如標題，時間，正文，作者等，都可以保存在不同的域里。不同域的索引方式可以不同，在真正解析域的存儲的時候，我們會詳細解讀。

詞(Term)是索引的最小單位，是經過詞法分析和語言處理后的字符串。

為達到上述目的，本發明采用了如下技術方案。

一種Lucene優化索引段合并處理方法，具體包括如下：

步驟S1：首先實時更新采集Lucene檢索引擎生成的所有索引文件數據，并根據各文件的索引段體積大小進行分類并分別執行索引文件合并處理，包括一級索引段合并處理、二級索引段合并處理、三級索引段合并處理和不滿足條件不合并入庫處理；

步驟S2：一級索引段合并處理具體包括篩選索引段數值不低于十六個的獨立索引文件，按每十六個索引段執行一次索引合并處理，且合并后新索引文件的索引段總數值均不超過一百八十個；