[發明專利]一種應用于數據交易的多數據源管理系統

在審

• 申請號: 201910834032.4
• 申請日: 2019-09-04
• 公開（公告）號: CN110716990A
• 公開（公告）日: 2020-01-21
• 發明（設計）人: 湯寒林
• 申請（專利權）人: 華東江蘇大數據交易中心股份有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/25
• 代理公司: 31272 上海申新律師事務所
• 代理人: 俞滌炯

1.一種應用于數據交易的多數據源管理系統，其特征在于，包括：

信息獲取模塊，用于獲取關聯于所述多數據管理系統的每個數據源的相關信息，所述相關信息包括屬性信息和數據信息；

分類模塊，連接所述信息獲取模塊，用于根據預設的分類策略并基于所述屬性信息對所述數據源進行分類操作得到分類結果；

評級模塊，連接所述信息獲取模塊，用于根據預設的評級策略并基于所述數據信息對所述數據源進行評級操作得到評級結果；

請求處理模塊，連接所述分類模塊和所述評級模塊，用于提供給數據請求方輸入請求指令，根據所述分類結果和所述評級結果選定最優數據獲取路徑；

采集模塊，連接所述請求處理模塊，用于根據所述最優數據獲取路徑從相應的所述數據源采集所述元數據并進行數據處理后得到目標數據。

2.根據權利要求1的多數據源管理系統，其特征在于，所述屬性信息包括所述數據源的歸屬地信息、歸屬方信息、采集端口信息以及采集頻率信息。

3.根據權利要求1的多數據源管理系統，其特征在于，所述數據信息包括所述數據源對應的所述源數據的數據類型信息、是否公開信息、修改權限信息、收費信息、歷史客戶反饋評價信息以及數據監管方監管信息。

4.根據權利要求1的多數據源管理系統，其特征在于，所述多數據源管理系統還包括：

云平臺，連接所述多個數據源，用于存儲所述源數據，以及執行定時查缺處理，其中例如通過程序對多套數據中心接入的調度自動化系統的實時數據表進行定時掃描，以查找丟點數據并將丟點數據信息保存起來。

5.根據權利要求4的多數據源管理系統，其特征在于，每個所述數據源分別具有一唯一的標識信息，所述標識信息包括所述屬性信息和所述數據信息；

所述云平臺中對應每個所述標識信息具有一唯一的存儲空間，所述數據源的相應的所述源數據存儲于所述存儲空間。

6.根據權利要求4的多數據源管理系統，其特征在于，所述采集模塊包括：

采集單元，用于根據采集指令從相應的所述云平臺采集所述源數據；

數據過濾單元，連接所述數據采集單元，用于根據預設的過濾策略對所述源數據進行數據過濾；

數據封裝單元，連接所述數據過濾單元，用于根據預設的封裝策略對經過數據過濾的所述源數據進行數據封裝，以得到目標數據。

7.根據權利要求1的多數據源管理系統，其特征在于，所述采集模塊進行源數據采集時，所述請求處理模塊定時掃描所述分類模塊和所述評級模塊以獲得新的所述分類信息和所述評級信息，所述請求處理模塊根據新的所述分類信息和所述評級信息處理得到新的所述最優數據獲取路徑，并顯示新的所述最優數據獲取路徑以供所述數據請求方選擇。

8.根據權利要求1的多數據源管理系統，其特征在于，所述最優數據獲取路徑對應一數據源表格。

9.根據權利要求8的多數據源管理系統，其特征在于，所述請求處理模塊還用于將新的所述最優數據獲取路徑對應的所述新的數據源表格和相鄰的舊的所述最優數據獲取路徑對應的所述舊的數據源表格進行比對獲得比對結果，所述比對結果包括獲取同樣數據采取的不同數據源結果；

所述采集模塊還用于根據所述不同數據源結果在數據采集時來進行數據源替換。

10.根據權利要求1的多數據源管理系統，其特征在于，多個所述數據源之間還通過預設的秘鑰進行源數據共享，所述數據源之間進行源數據共享后，所述屬性信息和所述數據信息對應修改。