[發明專利]一種基于HBase的更新增量索引的方法

有效

• 申請號: 201410025773.5
• 申請日: 2014-01-20
• 公開（公告）號: CN103778219A
• 公開（公告）日: 2014-05-07
• 發明（設計）人: 鄭慶華;賀歡;李冰;董博;李慶喻
• 申請（專利權）人: 西安交通大學;上海網達軟件股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 朱海臨

1.一種基于HBase的更新增量索引的方法，其特征在于，包括下述步驟：

（1）從HBase索引庫中獲取待更新文檔D的歷史內容C₀

待更新文檔D的歷史內容在HBase索引庫中已經存在，包括其內容文本與內容文本的索引，通過待更新文檔D的標識符，從HBase索引庫中讀取其歷史內容；

（2）解析待更新文檔D的歷史內容C₀，獲取C₀的前置表FT₀；

（3）解析待更新文檔D的當前內容C₁，獲取C₁的前置表FT₁；

（4）遍歷C₁的前置表FT₁，對FT₁中每個術語t，結合FT₀進行判斷，修改前置表FT₁和FT₀的內容，具體方法如下：

判斷FT₀中是否存在術語t，分別進行如下處理：

a、如果不存在，則繼續判斷FT₁的下一個術語；

b、如果存在，則判斷該術語t的出現頻率出現位置與FT₀中術語t的出現頻率出現位置是否都相同，分別進行如下處理：

i、如果都相同，則將該術語t以及t的出現頻率出現位置從FT₀和FT₁中刪除；

ii、如果任一不相同，則將該術語t以及出現頻率出現位置從FT₀中刪除；

（5）將FT₀中的所有術語t從HBase索引庫中刪除

步驟（4）執行完畢后，FT₀中的全部術語都是待更新文檔D的當前內容C₁中不再存在的術語，所以更新時應從HBase索引庫中刪除這些術語對應的索引信息，在HBase索引庫中，以FT₀中的術語t作為主鍵，以待索引文檔D的標識符作為列字段，在HBase索引庫中進行查詢，將對應位置的索引信息刪除；

（6）將FT₁中的所有術語提交到HBase索引庫進行更新

步驟（4）執行完畢后，FT₁中的全部術語都是待更新文檔D的當前內容C₁對比歷史內容C₀發生變化的術語，所以更新時應將這些術語的信息提交給HBase索引庫，更新對應術語的索引信息，更新索引時，在HBase索引庫中，以FT₁中的術語t作為主鍵，以待索引文檔D作為列字段在HBase索引庫中進行查詢，將對應位置的索引信息替換為FT₁中術語t的出現頻率與出現位置；

（7）將待更新文檔D的內容替換為C₁。

2.如權利要求1所述的基于HBase的更新增量索引的方法，其特征在于，步驟（2）、（3）中所述的前置表FT₀、FT₁是一種實現倒排索引的列表數據結構，其每行有3列，其內容格式為：

術語出現頻率出現位置

通過對文檔內容進行解析，得到文檔中每個術語的出現頻率和出現位置，將這些信息綜合在一起，即為該文檔內容的前置表。