[發明專利]一種數據交換方法及平臺

在審

• 申請號: 201911133821.1
• 申請日: 2019-11-19
• 公開（公告）號: CN111125070A
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 徐磊;孫東緯;王闖;李乾坤
• 申請（專利權）人: 華迪計算機集團有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25
• 代理公司: 北京工信聯合知識產權代理有限公司 11266
• 代理人: 姜麗樓

本發明公開了一種數據交換方法，包括：根據目標數據庫的存儲格式對抽取的數據進行預處理，采用內存映射的方式，將經過預處理的數據映射到內存中的臨時數據庫；采用多核多線程的方式，對所述臨時數據庫中的數據進行清洗和轉換，將清洗和轉換完成的數據存入內存中的臨時目標數據庫；采用內存映射方式將內存中的臨時數據庫映射到目標數據庫進行存儲，解決現有技術不能有效使用系統內存的問題。

技術領域

本申請涉及大數據處理領域，具體涉及一種數據交換方法，同時涉及一種數據交換平臺。

背景技術

提高數據交換的高效率永遠是涉及數據領域的軟件產品孜孜不倦所追求的目標，各家廠商都有自己獨特技術，技術好壞的評判標準主要看速度。

在相同的硬件環境下，實現數據交換的高效率，現有技術主要是通過提高CPU運行效率，或者對IO設備讀寫文件的算法和存取方式的改進這些技術來實現的。

現有技術雖然也是提高CPU運行效率，提高IO設備讀寫能力，但為了適應多任務處理和兼容性的原因，均采用保守的內存使用，而且為了方便普通用戶使用，為了遵循易用至上原則，系統設置均不對使用內存直接進行管理控制，交由系統智能判定和控制，這就造成很多場景下配置內存大的計算機由于實際運行內存小造成資源浪費和性能低下，而配置內存小的計算機又運行緩慢。

發明內容

本申請提供一種數據交換方法，解決現有技術不能有效使用系統內存的問題。

本申請提供一種數據交換方法，包括：

根據目標數據庫的存儲格式對抽取的數據進行預處理，采用內存映射的方式，將經過預處理的數據映射到內存中的臨時數據庫；

采用多核多線程的方式，對所述臨時數據庫中的數據進行清洗和轉換，將清洗和轉換完成的數據存入內存中的臨時目標數據庫；

采用內存映射方式將內存中的臨時數據庫映射到目標數據庫進行存儲。

優選的，在根據目標數據庫的存儲格式對抽取的數據進行預處理，采用內存映射的方式，將經過預處理的數據映射到內存中的臨時數據庫的步驟之前，還包括：

根據系統資源預先對數據交換方法設置可用的系統資源。

優選的，所述根據目標數據庫的存儲格式對抽取的數據進行預處理的步驟之前，還包括：

從不同的數據源抽取不同格式的數據。

優選的，所述根據目標數據庫的存儲格式對抽取的數據進行預處理，包括：

獲取目標數據庫的存儲格式；

將抽取的數據根據目標數據的存儲格式進行預處理，獲取與目標數據庫的存儲格式相同的數據。

優選的，對所述臨時數據庫中的數據進行清洗和轉換，包括：

通過清洗去除臨時數據庫中的臟數據和不完整的數據；

對清洗后的數據，通過轉換對臨時數據庫中的數據進行業務規則的計算和聚合。

本申請同時提供一種數據交換平臺，其特征在于，包括：

系統監控模塊，用于對數據交換平臺的運行進行監控；

系統管理模塊，用于對數據交換平臺的權限、配置進行管理；

數據操作模塊，用于對抽取的數據進行預處理，將經過預處理的數據映射到內存中的臨時數據庫；采用多核多線程的方式，對所述臨時數據庫中的數據進行清洗和轉換，將清洗和轉換完成的數據存入內存中的臨時目標數據庫；

數據存儲模塊，用于采用內存映射方式將內存中的臨時數據庫加載至目標數據庫進行存儲；同時對已存儲的數據進行管理和清理；