[發明專利]基于統一索引的海量數據聯合存儲方法及檢索方法

有效

• 申請號: 201310015426.X
• 申請日: 2013-01-16
• 公開（公告）號: CN103390015A
• 公開（公告）日: 2013-11-13
• 發明（設計）人: 安思成;吳克河;崔文超;張彤
• 申請（專利權）人: 華北電力大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 趙建剛

1.一種基于統一索引的海量數據聯合存儲方法，其特征在于，包括以下步驟：

讀取待存儲數據，并判斷所述待存儲數據的數據類型；其中，所述數據類型包括非關系型數據和關系型數據；

如果所述待存儲數據為非關系型數據，則將所述非關系型數據存儲到存儲設備，然后將所述非關系型數據的數據信息增加到預先建立的數據統一索引中；

如果所述待存儲數據為關系型數據，則將所述關系型數據存儲到所述存儲設備，然后將所述關系型數據的數據信息增加到預先建立的所述數據統一索引中。

2.根據權利要求1所述的基于統一索引的海量數據聯合存儲方法，其特征在于，所述非關系型數據包括文件型數據和文本型數據。

3.根據權利要求1所述的基于統一索引的海量數據聯合存儲方法，其特征在于，所述數據統一索引包括三層節點，自上而下分別為第一層節點、第二層節點和第三層節點；

其中，所述第一層節點代表索引開始點；所述第二層節點用于存儲數據類型，具體包括兩個節點，即：非關系型數據節點和關系型數據節點；所述第三層節點包括兩個節點，即平衡查找樹形式的子索引和數據表形式的子索引；其中，所述平衡查找樹形式的子索引為所述非關系型數據節點的子節點，所述數據表形式的子索引為所述關系型數據節點的子節點。

4.根據權利要求3所述的基于統一索引的海量數據聯合存儲方法，其特征在于，所述將所述非關系型數據的數據信息增加到預先建立的數據統一索引中，具體為：將所述非關系型數據的數據信息增加到所述平衡查找樹形式的子索引中；

所述將所述關系型數據的數據信息增加到預先建立的所述數據統一索引中，具體為：將所述關系型數據的數據信息增加到所述數據表形式的子索引。

5.根據權利要求4所述的基于統一索引的海量數據聯合存儲方法，其特征在于，所述非關系型數據的數據信息包括主鍵值、索引鍵值和具體數據內容；其中，所述具體數據內容包括文件名、文件存儲時間、文件操作權限、文件存儲起始地址和文件長度；所述平衡查找樹形式的子索引包括：根節點、一級以上中間節點和葉子節點；其中，所述根節點用于存儲所述主鍵值的一級分類數組；各級所述中間節點用于存儲其子節點主鍵值范圍的二級分類數組；所述葉子節點用于存儲所述非關系型數據的數據信息；

將所述非關系型數據的數據信息增加到所述平衡查找樹形式的子索引中具體為：

當需要存儲所述非關系型數據時，獲取所述存儲設備的當前可用的文件存儲起始地址；然后以所述存儲起始地址為存儲起點將所述非關系型數據存入所述存儲設備；還獲取所述非關系型數據的索引鍵值、主鍵值；其中，所述主鍵值用于全局唯一標識所述非關系型數據；

將所述非關系型數據插入到所述平衡查找樹形式的子索引中。

6.根據權利要求5所述的基于統一索引的海量數據聯合存儲方法，其特征在于，將所述非關系型數據插入到所述平衡查找樹形式的子索引中具體為：

以所述非關系型數據的主鍵值為查找依據，查找所述根節點，獲得包含所述主鍵值的指定一級分類數組；繼續向下查找所述指定一級分類數組的子節點，獲得包含所述主鍵值的指定二級分類數組；繼續向下查找所述指定二級分類數組的子節點，獲得指定葉子節點；所述指定葉子節點包含多條非關系型數據的數據信息，各條非關系型數據的數據信息按主鍵值從小到大順序排列；

按主鍵值從小到大順序，將所述非關系型數據插入到所述指定葉子節點；然后判斷得到的所述指定葉子節點的數據個數是否達到分裂閥值m，如果未達到，則直接結束插入過程；如果達到，則分裂得到的所述指定葉子節點。

7.根據權利要求5所述的基于統一索引的海量數據聯合存儲方法，其特征在于，所述主鍵值為“文件名+全局唯一的鍵值”形式。

8.根據權利要求4所述的基于統一索引的海量數據聯合存儲方法，其特征在于，所述數據表形式的子索引為三級索引結構，具體包括第一級索引、第二級索引和第三級索引；

其中，所述第一級索引為數據表級索引，用于存儲數據表名、數據存儲所在的數據庫名、數據存儲的連接方法和屬性數的對應關系；

所述第二級索引為屬性級索引，用于存儲與每個數據表名對應的屬性名、數據類型和數據檢索方式的對應關系；

所述第三級索引為屬性值級索引，用于存儲各個屬性對應的屬性值表，每一個所述屬性值表用于存儲屬性的檢索方法。