[發(fā)明專利]面向AI應用的數(shù)據(jù)版本管理方法、裝置和計算機設備

在審

• 申請?zhí)枺?/td>: 202110548754.0
• 申請日: 2021-05-20
• 公開（公告）號: CN112988920A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設計）人: 余躍;張禹;周悅;常峰;曾煒;田永鴻
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/27;G06F16/23
• 代理公司: 長沙國科天河知識產(chǎn)權代理有限公司 43225
• 代理人: 彭小蘭

1.一種面向AI應用的數(shù)據(jù)版本管理方法，其特征在于，所述方法包括：

獲取面向AI應用的待管理數(shù)據(jù)，通過監(jiān)控組件將所述待管理數(shù)據(jù)與已知數(shù)據(jù)集進行比對，標識出重復數(shù)據(jù)和新增數(shù)據(jù)；

刪除所述重復數(shù)據(jù)，將所述待管理數(shù)據(jù)提交到本地倉庫，通過哈希圖結構建立所述新增數(shù)據(jù)和所述已知數(shù)據(jù)集的關聯(lián)信息，建立所述新增數(shù)據(jù)在所述本地倉庫中位置的索引信息，根據(jù)所述新增數(shù)據(jù)和所述關聯(lián)信息，得到新版本數(shù)據(jù)的版本信息；

將所述新增數(shù)據(jù)、所述關聯(lián)信息、所述索引信息和所述版本信息上傳到遠程倉庫，完成所述待管理數(shù)據(jù)的增量式數(shù)據(jù)存儲。

2.根據(jù)權利要求1所述的方法，其特征在于，所述獲取待管理數(shù)據(jù)，通過監(jiān)控組件將所述待管理數(shù)據(jù)與已知數(shù)據(jù)集進行比對，標識出重復數(shù)據(jù)和新增數(shù)據(jù)，包括：

獲取面向AI應用的待管理數(shù)據(jù)，將所述待管理數(shù)據(jù)從工作區(qū)加載到緩存區(qū)后，通過監(jiān)控組件將所述待管理數(shù)據(jù)與已知數(shù)據(jù)集進行比對，標識出重復數(shù)據(jù)和新增數(shù)據(jù)。

3.根據(jù)權利要求2所述的方法，其特征在于，所述獲取待管理數(shù)據(jù)，將所述待管理數(shù)據(jù)從工作區(qū)加載到緩存區(qū)后，通過監(jiān)控組件將所述待管理數(shù)據(jù)與已知數(shù)據(jù)集進行比對，標識出重復數(shù)據(jù)和新增數(shù)據(jù)，包括：

獲取面向AI應用的待管理數(shù)據(jù)，將所述待管理數(shù)據(jù)從工作區(qū)加載到緩存區(qū)后，通過監(jiān)控組件將所述待管理數(shù)據(jù)與已知數(shù)據(jù)集進行比對，標識出重復數(shù)據(jù)和新增數(shù)據(jù)；所述已知數(shù)據(jù)集為預設的共有數(shù)據(jù)集或用戶先前提交的數(shù)據(jù)集。

4.根據(jù)權利要求3所述的方法，其特征在于，刪除所述重復數(shù)據(jù)，將所述待管理數(shù)據(jù)提交到本地倉庫，通過哈希圖結構建立所述新增數(shù)據(jù)和所述已知數(shù)據(jù)集的關聯(lián)信息，建立所述新增數(shù)據(jù)在所述本地倉庫中位置的索引信息，根據(jù)所述新增數(shù)據(jù)和所述關聯(lián)信息，得到新版本數(shù)據(jù)的版本信息，包括：

刪除所述重復數(shù)據(jù)，將所述待管理數(shù)據(jù)提交到本地倉庫；

通過哈希圖結構建立所述新增數(shù)據(jù)和所述已知數(shù)據(jù)集的關聯(lián)信息，并將所述新增數(shù)據(jù)和所述關聯(lián)信息持久化存儲在所述本地倉庫中；

通過哈希圖結構建立所述新增數(shù)據(jù)在所述本地倉庫中位置的索引信息；

根據(jù)所述新增數(shù)據(jù)和所述關聯(lián)信息，得到新版本數(shù)據(jù)的版本信息。

5.根據(jù)權利要求4所述的方法，其特征在于，在根據(jù)所述新增數(shù)據(jù)和所述關聯(lián)信息，得到新版本數(shù)據(jù)的版本信息之前，還包括：

通過數(shù)據(jù)校驗算法，確保所述新增數(shù)據(jù)和所述關聯(lián)信息構成的新版本數(shù)據(jù)為完整數(shù)據(jù)。

6.根據(jù)權利要求5所述的方法，其特征在于，在將所述新增數(shù)據(jù)、所述關聯(lián)信息、所述索引信息和所述版本信息上傳到遠程倉庫，完成所述待管理數(shù)據(jù)的增量式數(shù)據(jù)存儲之后，還包括：

根據(jù)需要下載的數(shù)據(jù)的索引信息和版本信息，通過組裝式下載，將下載數(shù)據(jù)及其對應的關聯(lián)信息從所述遠程倉庫中下載到所述本地倉庫中；所述下載數(shù)據(jù)可以是其他用戶所提交的數(shù)據(jù)；

根據(jù)所述關聯(lián)信息，將所述下載數(shù)據(jù)與所述工作區(qū)當前的數(shù)據(jù)進行合并，得到協(xié)同開發(fā)數(shù)據(jù)。

7.根據(jù)權利要求1至6任意一項所述的方法，其特征在于，所述待管理數(shù)據(jù)的數(shù)據(jù)量為GB級。

8.一種面向AI應用的數(shù)據(jù)版本管理裝置，其特征在于，所述裝置包括：

數(shù)據(jù)掃描模塊，用于獲取面向AI應用的待管理數(shù)據(jù)，通過監(jiān)控組件將所述待管理數(shù)據(jù)與已知數(shù)據(jù)集進行比對，標識出重復數(shù)據(jù)和新增數(shù)據(jù)；

數(shù)據(jù)版本更新模塊，用于刪除所述重復數(shù)據(jù)，將所述待管理數(shù)據(jù)提交到本地倉庫，通過哈希圖結構建立所述新增數(shù)據(jù)和所述已知數(shù)據(jù)集的關聯(lián)信息，建立所述新增數(shù)據(jù)在所述本地倉庫中位置的索引信息，根據(jù)所述新增數(shù)據(jù)和所述關聯(lián)信息，得到新版本數(shù)據(jù)的版本信息；

數(shù)據(jù)上傳模塊，用于將所述新增數(shù)據(jù)、所述關聯(lián)信息、所述索引信息和所述版本信息上傳到遠程倉庫，完成所述待管理數(shù)據(jù)的增量式數(shù)據(jù)存儲。