[發明專利]基于集群存儲的空間元數據分組方法

有效

• 申請號: 201110436011.0
• 申請日: 2011-12-22
• 公開（公告）號: CN102521386A
• 公開（公告）日: 2012-06-27
• 發明（設計）人: 崔紀鋒;張勇;李超;邢春曉
• 申請（專利權）人: 清華大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩

技術領域

本發明涉及存儲系統技術領域，特別涉及一種基于集群存儲的空間元數據分組方法。

背景技術

傳統的空間數據管理都是基于關系型數據庫系統，數據的記錄存放在數據庫的表中，這種方式非常適合于關系查詢和事務處理，滿足短事務頻繁的應用場景。缺點是可索引數據項有限，復雜查詢緩慢，索引開銷較大，系統維護復雜，需要不斷進行系統優化。而目前WebGIS的應用環境為基于集群存儲的分布式文件系統，具有海量的大小文件類型，文件之間具有空間和屬性等多種程度的相關性。基于網絡存儲的分布式文件系統(簡稱文件系統)的特點是將數據文件和文件檢索描述的元數據記錄分開存儲，通過元數據記錄檢索定位數據存儲塊，然后利用連接數據來獲取數據文件。文件系統的設計帶來很多優點，比如可以在線擴展存儲設備，這種方式極大地擴展了系統的存儲能力，滿足信息數據日益增長的應用場景，系統維護簡單。缺點是空間關系查詢和一致性維護較為復雜，復雜的事務處理的性能較弱。

中國專利申請CN101038590提出了一種空間數據集群存儲系統及其數據查詢方法，該專利申請基于集群存儲系統提出了一種新的空間數據查詢方法，提供的空間數據集群存儲系統，包括空間應用客戶端、空間對象管理器、空間對象存儲設備集群，所述空間對象存儲設備集群由多個空間對象存儲設備組成，用于TB級或TB級以上海量空間數據的存儲，實現具有數據庫意識的存儲，提供空間數據對象粒度存取訪問，提供并行的空間數據傳輸和并行的查詢處理能力。這種方法有三個問題，第一個問題是集群存儲的架構是基于集中式對象存儲設備，盡管能管理TB級的數據量，但可索引數據記錄的個數有限；第二個問題是存儲的數據對象頻繁更新，影響了讀操作的性能，由于只存儲了值數據對象的序列號，在查詢數據對象體的時候還需要進行二分查找；第三個問題是沒有考慮表數據文件的分區與分布處理，影響了系統的并行查詢能力和可擴展性。

發明內容

(一)要解決的技術問題

本發明要解決的技術問題是：如何對基于集群存儲的空間元數據進行分組，以提高檢索效率。

(二)技術方案

為解決上述技術問題，本發明提供了一種基于集群存儲的空間元數據分組方法，包括以下步驟：

S1：從地理數據文件的元數據表中獲取具有待劃分屬性項的元數據記錄；

S2：將選取的元數據記錄按所述待劃分屬性項劃分為不同的數據集，將各數據集分布在元數據服務器集群節點上，同一個服務器集群節點上的元數據記錄的待劃分屬性項的值相同；

S3：對每個服務器集群節點上的元數據記錄逐步進行聚類，得到若干組元數據記錄組；

S4：對每個服務器集群節點上的地理數據文件的元數據記錄進行分類，分入不同的元數據記錄組，并建立每個節點的元數據目錄樹；

S5：對分組后的數據文件進行排序，將排序后的索引文件存放在相應節點上。

其中，所述步驟S2中還包括根據建立基于元數據記錄的待劃分屬性項的索引。

其中，所述步驟S3具體包括：

對于每一個服務器集群節點，在其中選取預定數量的元數據記錄為樣本數據；

基于樣本數據的屬性相似度構建分類樹：

d(p,q)=Σk=1tWkdkΣk=1tWk]]>