[發明專利]一種云環境中數據交換與共享方法及系統

有效

• 申請號: 201611042431.X
• 申請日: 2016-11-23
• 公開（公告）號: CN106776780B
• 公開（公告）日: 2020-05-01
• 發明（設計）人: 王之欣;郭皓明;魏閆艷;龐廓;田霂;焉麗
• 申請（專利權）人: 中國科學院軟件研究所
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

1.一種云環境中數據交換與共享方法，其特征在于，包括如下步驟：

1)在前置區部署交換數據庫和數據交換模塊，在后臺部署數據接入與認證管理模塊、數據倉庫管理模塊、中間數據庫、以及數據倉庫；

2)建立數據交換模型，該數據交換模型定義交換數據庫與中間數據庫中的各個數據庫、數據表、數據項以及數據相互之間的對應關系；

3)通過前置區的數據交換模塊管理交換數據庫，通過交換數據庫從數據源接收采集的數據，數據交換模塊依據數據交換模型中的數據轉換規則進行數據轉換，并將轉換后的數據推送給后臺的數據接入與認證管理模塊；

4)后臺的數據接入與認證管理模塊對接收到的數據進行認證和校驗，然后將數據寫入中間數據庫；

5)后臺的數據倉庫管理模塊根據管理制度，以特定的時間周期從中間數據庫中提取數據進行處理、統計與分析，將所得結果作為數據產品存儲在數據倉庫中；

其中，步驟3)的實現過程如下：

S1，當數據源開始進行數據交換時，首先訪問數據交換信息接口請求進行數據交換認證；

S2，前置區中的數據交換模塊接收到請求信息，根據當前數據包的標簽對數據源的標簽信息進行認證，并返回給數據源認證結果信息和基線信息；

S3，數據源從返回的結果中提取出交換數據庫的接入信息和此時的基線信息，將要交換的數據、認證信息和基線信息寫入到前置區的交換數據庫中；

S4，數據源發送寫入完成信息給數據交換模塊中的消息接口，即通知數據寫入交換數據庫完成；

S5，數據交換模塊從交換數據庫中提取出與該數據源的認證信息和基線信息對應的基線數據；

S6，數據交換模塊依據數據交換模型文件中該部分數據的轉換規則定義，進行數據轉換；

S7，數據交換模塊將轉換后的基線數據進行加密簽名打包，并封裝對應的數據源與基線標簽，傳輸給后臺數據接入與認證管理服務器。

2.如權利要求1所述的方法，其特征在于，步驟4)的實現過程如下：

S7，后臺的數據接入與認證模塊對接收到的數據進行解密和一致性校驗；

S8，通過校驗的數據，根據數據的增量模式進行本地數據合并與處理，將數據寫入中間數據庫中，并返回寫入結果信息；

S9，數據交換模塊通過交換數據庫管理，依據結果信息，刪除交換成功的基線數據，并提示寫入的結果錯誤信息。

3.如權利要求2所述的方法，其特征在于，步驟5)的實現過程如下：

S10，數據倉庫管理模塊根據配置好的數據倉庫與統計量信息，定期啟動后臺數據倉庫產品加工任務；

S11，數據倉庫管理模塊獲取最新的基線信息以及數據集合分區信息，提交數據處理平臺分區進行各個統計量的計算處理；

S12，根據最新基線的統計量配置信息，提取中間數據庫中的當前基線周期內的數據集，將各個統計量的目標數據集合進行合并，形成數據產品，寫入數據倉庫，完成當前基線的統計量產品加工任務。

4.如權利要求1所述的方法，其特征在于，在數據交換返回的結果中包含交換失敗的數據記錄，以該記錄的數據庫名、數據表名和表中能唯一標識該記錄的關鍵字來標識該記錄，數據交換模塊接收到返回結果后，根據這些信息來確定交換失敗數據，而刪除掉交換成功的數據。

5.如權利要求1所述的方法，其特征在于，采用數據模式分為增量模式和全量模式，數據交換模塊定時執行增量模式數據的數據交換任務，全量模式由數據源發起數據交換請求；增量模式數據在中間庫中寫入數據庫中對應表的末尾，而全量模式數據則在替換中間庫中原來的對應數據，并記錄日志，以在發生故障時進行故障恢復。