[發明專利]基于Hadoop的海量空間數據索引更新系統及方法

有效

• 申請號: 201210255699.7
• 申請日: 2012-07-24
• 公開（公告）號: CN102799679A
• 公開（公告）日: 2012-11-28
• 發明（設計）人: 馮鈞;韋冕;唐志賢;徐黎明;顧忠國;朱忠華
• 申請（專利權）人: 河海大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 許方

1.基于Hadoop的海量空間數據索引更新系統，其特征在于包括：數據更新模塊、索引操作緩存模塊、、索引文件更新模塊、索引文件創建模塊、索引文件讀取模塊；其中：所述數據更新模塊的輸入端接收空間數據更新信息，輸出端與索引操作緩存模塊的輸入端連接；所述索引文件更新模塊的第一輸入端與所述索引讀取文件的輸出端連接，第二輸入端與索引操作緩存模塊的輸出端連接，輸出端與所述索引文件創建模塊的輸入端連接；所述索引文件創建模塊的輸出端輸出新建的索引文件；

所述數據更新模塊用于獲取空間數據的更新信息，并將與空間數據更新信息相應的索引更新信息寫入索引操作緩存模塊；

所述索引操作緩存模塊用于緩存與空間數據更新信息相應的索引更新信息；

所述索引文件讀取模塊用于讀取原索引文件；

所述索引更新模塊用于獲取原索引節點，再與索引操作緩存模塊中的索引更新信息對比，得到待創建新索引文件的內部節點信息、葉節點信息；

所述索引文件創建模塊用于創建新索引文件。

2.基于Hadoop的海量空間數據索引更新方法，其特征在于包括如下步驟：

步驟A，數據更新模塊獲取空間數據的更新信息；

步驟B，索引操作緩存模塊將與空間數據更新信息相應的索引更新信息緩存于內存中，并判斷索引操作緩存容量；

步驟C，重復步驟A至步驟B，直至索引操作緩存容量已滿，進入步驟D；

步驟D，索引文件創建模塊創建新索引文件，所述新索引文件僅包含頭文件信息；

步驟E，創建新索引節點的根節點：索引更新模塊將原始索引文件中的根節點信息寫入步驟D所創建的新索引文件中；

步驟F，創建新索引文件的內部節點，具體包含如下步驟：

步驟F-1，索引文件讀取模塊逐個讀取原索引文件內部節點：

若索引操作緩存模塊存儲有所述原索引文件內部節點的ID，將與索引操作緩存模塊中存儲的ID相對應的內部節點信息寫入所述新索引文件；

否則，將從原索引文件中讀取的內部節點信息寫入所述新索引文件；

步驟F-2，遍歷索引操作緩存模塊中所有新增加的內部節點，依次寫入新增加的內部節點至新索引文件中；?

步驟G，創建新索引文件的葉節點，具體包含如下步驟：

步驟G-1，索引更新模塊逐個讀取原索引文件葉節點：

若索引操作緩存模塊存儲有所述元索引文件葉節點的ID，將與索引操作緩存模塊中存儲的ID相對應的葉節點信息寫入所述新索引文件；

否則，將從原索引文件中讀取的葉節點信息寫入所述新索引文件；

步驟G-2，遍歷索引操作緩存模塊中所有新增加的葉節點，依次寫入新增加的葉節點至新索引文件中；?

步驟H，索引更新模塊用新索引文件替換原索引文件，并刪除原索引文件。

3.如權利要求2所述基于Hadoop的海量空間數據索引更新方法，其特征在于所述步驟B中，索引操作緩存模塊將與空間數據更新信息相應的索引更新信息緩存于內存的具體實施如下：

步驟?B-1，判斷更新的空間數據對應的索引節點更新類型：若為葉節點分裂，則進入步驟B-2：若為葉節點合并，則進入步驟B-3；

步驟?B-2，更新待分裂葉節點L₀對應的索引信息，具體包含如下步驟：

步驟B-2-1，新增4個葉節點的磁盤頁，依次給4個葉節點磁盤頁編號，刪除分裂葉節點L₀的磁盤頁；

步驟B-2-2，新建一個內部節點I₀的磁盤頁，并將內部節點I₀中4個子節點的指針指向步驟B-2-1新增的4個葉節點；

步驟B-2-3，將分裂葉節點L₀父節點中指向分裂葉節點L₀的指針，指向步驟B-2-2新建的內部節點I₀；

步驟B-2-4，將分裂后得到的各節點的信息寫入索引操作緩存模塊；

步驟?B-3，更新待合并葉節點對應的索引信息，具體包含如下步驟：

步驟B-3-1，新建一個葉節點磁盤頁，所述磁盤頁包含所述待合并葉節點的空間點；

步驟B-3-2，刪除所述待合并葉節點的磁盤頁，刪除所述待合并葉節點的父節點（NP）的磁盤頁；

步驟B-3-3，將指向待合并葉節點的父節點（NP）的指針，指向步驟B-3-1中新建的葉節點；

步驟B-3-4，將步驟B-3-3中所述的葉節點信息寫入索引操作緩存模塊。