[發明專利]一種科學數據共享平臺去中心化的數據收割方法和裝置

在審

• 申請號: 201911068686.7
• 申請日: 2019-11-04
• 公開（公告）號: CN112783822A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 南京云教數據科技有限公司
• 主分類號: G06F15/173
• 分類號: G06F15/173;G06F16/27;G06F21/60;G06F21/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種科學數據共享平臺去中心化的數據收割系統，其特征在于，包括多個服務器節點，所述服務器節點包括存儲裝置、管理裝置、監控裝置、收割裝置和訪問控制裝置，

所述任意服務器節點既可以作為數據提供方也可以作為數據收割方，作為數據提供方可基于OAI協議發布元數據到本地的存儲裝置中，并通過訪問控制裝置來控制元數據的安全訪問；作為數據收割方可利用收割裝置從其他數據提供方存儲裝置中獲取元數據。

其中，所述服務器節點作為數據提供方利用管理裝置對可被收割的數據進行管理維護，包括維護可收割目錄、設置數據更新計劃，可收割目錄表存儲在存儲裝置中；同時通過訪問控制裝置對安全請求身份標識范圍列表進行管理，安全請求身份標識列表存儲在存儲裝置中，

其中，所述服務器節點作為數據收割方利用收割裝置設置收割申請、收割計劃，對需要收割的數據向其他數據提供方發送數據收割請求，

其中，所述數據提供方監控裝置接收到數據收割方發送的數據收割請求時，啟動訪問控制裝置對收割請求進行解析，獲取發送收割請求的數據收割方的身份標識號，將獲取到的身份標識號與所述數據提供方存儲裝置中的安全請求身份標識列表進行比對，判斷獲取到的身份識別號是否屬于安全收割數據請求的范圍，

如果判斷為不屬于安全請求范圍，則禁止收割數據，并將提示信息，如“沒有收割權限，如需數據，請先進行申請”返回給數據收割方；

如果判斷屬于安全請求范圍，將所述數據提供方存儲裝置中的可收割數據總量返回給數據收割方，

所述數據收割方監控裝置接收到數據提供方返回的可收割數據總量時，所述數據收割方收割裝置根據數據收割方網絡資源大小生成可收割目錄表請求參數{每頁數據量pagesize、頁碼總數n}，并發送給數據提供方，

所述數據提供方監控裝置接收到數據收割方發送的可收割目錄表請求參數時，按照每頁數據量，將所述數據提供方存儲裝置中的可收割目錄表分批次返回給數據收割方，

所述數據收割方監控裝置接收到數據提供方返回的可收割目錄表時，根據所述數據收割方存儲裝置中的收割數據的元數據資源目錄，將可收割目錄表中需要收割的數據信息參數{收割數據id、每頁數據量pagesize、頁碼總數n}返回給數據提供方，

所述數據提供方監控裝置接收到數據收割方發送的收割數據信息參數時，檢索所述數據提供方存儲裝置中的元數據庫，將檢索結果元數據按照每頁數據量分批次返回給數據收割方。

2.根據權利要求1所述的去中心化的數據收割系統，其特征在于，預先在所述存儲設備中配置屬于安全收割請求的身份標識號列表。

3.根據權利要求1所述的去中心化的數據收割系統，其特征在于，所述可收割目錄表由{可收割數據名、設置操作類型、設置操作時間}等字段組成；其中，可收割數據名指可收割數據的id，設置操作類型包括{更新、刪除、新增、恢復}，設置操作時間為設置可收割數據為當前操作類型時的時間。

4.根據權利要求1所述的去中心化的數據收割系統，其特征在于，所述設置數據更新計劃是一種具有時間有效性的被收割數據更新頻率的控制機制，更新頻率包括{每日、每周}。

5.根據權利要求1所述的去中心化的數據收割系統，其特征在于，所述設置數據收割計劃是一種具有時間有效性的收割數據頻率的控制機制，更新頻率包括{每日、每周}，也可隨時手動開啟收割。