[發明專利]一種用于海洋時空數據的管理系統以及方法

在審

• 申請號: 202210703467.7
• 申請日: 2022-06-21
• 公開（公告）號: CN115168505A
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 李小勇;任開軍;鄧科峰;任小麗;邵成成;趙成武;何丹寧
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/22;G06F16/23;G06F16/25
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 王浩

本發明公開用于海洋時空數據的管理系統以及方法，包括客戶端、圖數據計算層和圖數據存儲層，客戶端獲取海洋時空數據，圖數據計算層從海洋時空數據中提取實體和關系，構建知識圖譜；圖數據存儲層包括多個鍵值存儲引擎，每個鍵值存儲引擎中存儲多個數據分片，多個鍵值存儲引擎之間通過Raft構建數據一致性，圖數據存儲層將知識圖譜中不同節點之間的邊分割成不同的數據分片并存儲于鍵值存儲引擎中。本發明便于構建復雜海洋時空數據關系圖譜，能針對不同數據集語義自定義抽象規則，抽取實體、關系和屬性，將結構化海洋時空數據轉化為知識圖譜，表征海洋數據內部聯系；使用Raft保證分布式存儲一致性，提供高性能高可靠的海洋數據存儲服務。

技術領域

本發明涉及海洋時空數據管理技術領域，特別涉及一種用于海洋時空數據的管理系統以及方法。

背景技術

各種傳感器和觀測平臺不斷獲取超大規模的海洋時空數據(隨時間空間變化的三維海洋地理信息數據)，對海洋時空數據的管理和利用帶來了巨大挑戰。為實現對海洋時空數據的快速檢索和高效查詢，需要探索新的海洋時空數據表達形式和存儲方法。

由于海洋時空數據來源多、規模大且結構極其復雜，現有的數據庫管理方式在數據匯聚靈活性、存儲擴展性、資源協同性方面都存在明顯不足，限制了多源海洋時空數據的綜合應用。同時，傳統方法使用XML作為數據結構存儲時空數據，缺乏對海洋時空數據的內在聯系探索。

發明內容

本發明旨在至少解決現有技術中存在的技術問題。為此，本發明提出一種用于海洋時空數據的管理系統以及方法，能針對不同數據集語義自定義抽象規則，抽取實體、關系和屬性，使用圖數據庫構建復雜海洋時空數據關系圖譜，使用鍵值對存儲信息，實現實體和關系的快速搜索，而且圖數據存儲層也支持多存儲節點部署，并使用Raft實現圖數據存儲層的一致性。

本發明的第一方面，提供了一種用于海洋時空數據的管理系統，包括：

客戶端，用于獲取海洋時空數據；

圖數據計算層，與所述客戶端連接，所述圖數據計算層用于根據自定義知識圖譜規則從所述海洋時空數據中提取實體和關系，并以有向圖存儲所述實體、所述關系和屬性，構建所述海洋時空數據的知識圖譜；其中，所述有向圖以節點表示所述實體和所述屬性，以有向邊表示所述關系；

圖數據存儲層，與所述圖數據計算層連接，所述圖數據存儲層包括多個鍵值存儲引擎，每個所述鍵值存儲引擎中用于存儲多個數據分片，所述多個鍵值存儲引擎之間通過Raft構建數據一致性；所述圖數據存儲層用于根據邊分割法將所述知識圖譜中不同節點之間的邊分割成不同的所述數據分片并存儲于對應的所述鍵值存儲引擎中，其中，將所述知識圖譜中同一個節點的所有標簽、出邊信息和入邊信息存儲于同一個所述數據分片中。

根據本發明的實施例，至少具有如下技術效果：

1)為了對大規模的海洋時空數據進行高效檢索和快速查詢，本系統創新地使用了知識圖譜表示海洋時空數據，能夠針對不同數據集語義自定義抽象規則，抽取實體、關系和屬性，將結構化海洋時空數據轉化為知識圖譜，表征海洋數據內部聯系；

2)考慮到海洋時空數據實體與實體之間的復雜關系，為了支持實體關系的快速搜索，本系統利用圖數據庫的圖數據存儲層來保存知識圖譜，圖數據存儲層使用鍵值對存儲信息，實現實體和關系的快速搜索。相較于傳統關系型數據庫等形式，圖數據庫存儲的靈活性更高、支持復雜的圖形算法，便于構建復雜海洋時空數據關系圖譜。本系統的圖數據存儲層支持多存儲節點部署，并使用Raft實現圖數據存儲層的一致性，在部分存儲節點故障系統依然能夠正常運行，同時支持故障存儲節點的自動修復；

3)本系統可定制為通用開源海洋時空數據轉換、分析、存儲平臺，為面向海洋時空數據研究的客戶和研究部門提供工具支撐。

根據本發明的一些實施例，所述客戶端包括如下獲取所述海洋時空數據的方式：