[發明專利]數據管理方法、設備、系統及存儲介質

有效

• 申請號: 202010783570.8
• 申請日: 2020-08-06
• 公開（公告）號: CN111881223B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 趙宗飛
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/22;G06F16/25
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 張娜;劉芳

1.一種數據管理系統，其特征在于，包括：

數據存儲層，內核處理層，功能模塊層，數據訪問驅動層；

所述數據存儲層包括用于存儲關系結構數據的關系結構數據庫以及用于存儲拓撲結構數據的圖數據庫；

所述功能模塊層包括：第一功能模塊，第二功能模塊，第三功能模塊，第四功能模塊，第五功能模塊；其中，所述第一功能模塊用于定義并處理不同屬性的鏈路拓撲結構查詢，所述第二功能模塊用于定義并處理數據關系的操作，所述第三功能模塊用于定義并封裝不同屬性的數據的元信息操作，所述第四功能模塊用于提供可擴展的不同屬性的數據作業發現功能，所述第五功能模塊用于提供可擴展的不同屬性的數據的訪問功能；

所述內核處理層設置在所述數據存儲層和所述功能模塊層之間，所述內核處理層包括：強一致性操作模型和不同屬性的數據的描述模型，所述強一致性操作模型用于在所述功能模塊層對數據進行更新后，維護所述關系結構數據庫和所述圖數據庫中數據的一致性；所述描述模型用于將不同屬性的數據使用統一的元信息進行描述；

所述數據訪問驅動層用于定義數據操作協議和驅動描述對象協議，并提供不同屬性的數據源的使用和接入接口。

2.根據權利要求1所述的系統，其特征在于，所述系統還包括：接口層，用于對外提供服務接口；

所述接口層包括：與所述第一功能模塊對應的鏈路拓撲查詢API；與所述第二功能模塊對應的數據關系管理API；與所述第三功能模塊對應的數據源管理API；與所述第四功能模塊對應的數據作業管理API；與所述第五功能模塊對應的數據集管理API。

3.根據權利要求1或2所述的系統，其特征在于，所述不同屬性的數據包括支持異構的數據源，數據集和數據作業。

4.根據權利要求1或2所述的系統，其特征在于，所述圖數據庫中存儲的拓撲結構數據由關系實體，每個實體的所屬邊，處理邊以及處理完成邊組成，所述關系結構數據庫中存儲的數據關系由上游數據集ID，下游數據集ID和數據處理作業ID組成。

5.根據權利要求1或2所述的系統，其特征在于，所述系統還包括：服務對象，所述服務對象通過所述數據訪問驅動層進行數據交互；所述服務對象包括數據源和數據作業。

6.一種數據管理方法，其特征在于，應用于權利要求1至5任一項所述的數據管理系統，所述方法包括：

通過鏈路拓撲查詢API接收鏈路拓撲結構查詢請求，所述鏈路拓撲結構查詢請求中包括待查詢的屬性字段，所述屬性字段包括URI，名字和類型中的至少一個字段；

根據所述待查詢的屬性字段，從所述圖數據庫中獲取完整的鏈路拓撲結構圖；

將所述鏈路拓撲結構圖通過鏈路拓撲查詢接口返回。

7.根據權利要求6所述的方法，其特征在于，所述方法還包括：

通過數據關系管理API接收數據關系更新操作，所述數據關系更新操作包括關系綁定，綁定解除，關系修改和關系查詢中的任一種；

根據所述數據關系更新操作對所述關系結構數據庫中的數據關系進行更新。

8.根據權利要求7所述的方法，其特征在于，所述方法還包括：

通過內核處理層中的強一致性操作模型，對所述關系結構數據庫和所述圖數據庫中的數據進行一致性操作。

9.根據權利要求6所述的方法，其特征在于，所述方法還包括：

通過數據作業管理API接收數據作業管理操作并執行對應的操作，所述數據作業管理操作用于對指定數據進行增加，刪減，修改和查詢中的任一種操作。

10.根據權利要求6所述的方法，其特征在于，所述方法還包括：

通過數據源管理API接收數據源管理操作，并執行對應的操作，所述數據源管理操作包括以下任一種操作：在所述數據管理系統中增加新的數據源，刪除所述數據管理系統中的指定數據源，對所述數據管理系統中的指定數據源進行修改，查詢所述數據管理系統中的數據源，獲取新的數據集。