[發明專利]一種基于GPU優化富元數據管理的方法和系統

在審

• 申請號: 201810238040.8
• 申請日: 2018-03-21
• 公開（公告）號: CN108596824A
• 公開（公告）日: 2018-09-28
• 發明（設計）人: 石宣化;金海;李文柯;楊瑩;劉偉
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T1/20
• 分類號: G06T1/20;G06F17/30;G06F9/50
• 代理公司: 北京海虹嘉誠知識產權代理有限公司 11129
• 代理人: 張濤

本發明涉及一種基于GPU優化富元數據管理的系統及方法。本發明的系統至少包括：查詢引擎：將富元數據信息轉換為屬性圖的遍歷信息和/或查詢信息，并且基于遍歷過程和/或查詢過程提供至少一個API；映射模塊：以映射的方式設置所述屬性圖中實體節點之間的關系；管理模塊：啟動GPU線程組并分配顯存塊，將屬性圖以混合圖表示方式存儲在GPU；遍歷模塊：啟動遍歷程序并對存儲的屬性數組進行迭代的判斷和聚集，將迭代結果反饋至所述查詢引擎。本發明通過CPU與GPU的混合架構，具有富元數據查詢效率高、使用方便、可擴展和兼容性好的優勢。

技術領域

本發明屬于HPC存儲系統技術領域，尤其涉及一種基于GPU優化富元數據管理的方法和系統。

背景技術

圖結構被應用在很多領域以解決實際問題，如社交網絡可以把個人作為實體頂點，個人之間的關系作為邊，通過對圖的管理來進行社群探測，朋友推薦等。屬性圖在一般圖結構的基礎上增加了一定數量的屬性，可以表達圖結構更豐富的關系，被應用在更廣泛的領域。

富元數據是傳統元數據的擴展，表示元數據、元數據之間的關系，環境變量和參數等。HPC系統中很多用例場景可以轉換為富元數據的管理，如用戶審計(user audit)和來源查詢(provenance query)。富元數據管理一般是基于屬性圖的遍歷和查詢實現，用戶、job和數據文件被定義為屬性圖的頂點，其關系定義為屬性圖的邊，描述頂點和邊的信息定義為屬性圖的屬性，以這種方式富元數據的管理就轉化為屬性圖的遍歷和查詢。

上述HPC系統用例場景需要有效的富元數據管理，因此需要強大計算能力和較高的帶寬來支持，而這些對CPU來說都受到一定的限制。很多圖算法，如單源最短路徑(SSSP)和寬度優先遍歷(BFS)被證實在GPU上比在CPU上運行效果更好。把富元數據管理轉化為屬性圖的遍歷模式類似于BFS算法，遍歷過程伴隨著屬性值的篩選。

發明內容

針對現有技術之不足，本發明提供一種基于GPU優化富元數據管理的系統，其特征在于，所述系統至少包括：查詢引擎：將富元數據信息轉換為屬性圖的遍歷信息和/或查詢信息，并且基于遍歷過程和/或查詢過程提供至少一個API；映射模塊：以映射的方式設置所述屬性圖中實體節點之間的關系；管理模塊：啟動GPU線程組并分配顯存塊，將屬性圖以混合圖表示方式存儲在GPU；遍歷模塊：啟動遍歷程序并對存儲的屬性數組進行迭代的判斷和聚集，將迭代結果反饋至所述查詢引擎。

根據一個優選實施方式，所述系統還包括存儲模塊，所述存儲模塊以數組的形式存儲所述富元數據信息。

根據一個優選實施方式，所述屬性圖的實體節點至少包括用戶、job和/或數據文件，所述屬性圖的邊為至少兩個所述實體節點之間的關系，所述屬性圖的屬性包括所述實體節點的屬性和所述實體節點之間的關系的屬性。

根據一個優選實施方式，所述屬性圖的混合圖包括圖結構和SOA結構，所述圖結構以CSR格式存儲；所述SOA結構以屬性數組的方式存儲。

根據一個優選實施方式，所述遍歷模塊對屬性數組進行判斷的步驟包括：判斷屬性數組結構的屬性是否滿足篩選條件，其中以線性的方式篩選條件，或者以組合篩選方式篩選條件。

根據一個優選實施方式，所述遍歷模塊對屬性數組進行聚集的步驟包括：將滿足篩選條件的實體節點聚集為待迭代處理的數據集，將所述數據集經過迭代過程形成邊界隊列，所述數據集包括頂點集合和/或邊集合。

根據一個優選實施方式，在迭代完成的情況下，所述遍歷模塊將所述邊界隊列的數據集為下一次迭代的初始數據，在迭代完成的情況下，所述遍歷模塊將所述邊界隊列反饋至所述查詢引擎。

根據一個優選實施方式，所述映射模塊與所述管理模塊以配合的方式將所述富元數據的管理查詢操作步驟轉換為適用于所述遍歷模塊的至少一個數組，并且所述映射模塊與所述管理模塊以配合的方式基于所述屬性圖進行實際操作。