[發明專利]數據發送、接收方法及相應的裝置、設備、存儲介質

在審

• 申請號: 202010092301.7
• 申請日: 2020-02-14
• 公開（公告）號: CN111427950A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 戴建明
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/22;H04L29/08
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 詹建新

本發明公開了一種數據發送、接收方法及相應的裝置、設備、存儲介質，所述數據發送方法包括：源服務器確定待同步的源數據的表結構及數據量，并確定傳輸源數據的時間窗口，根據時間窗口、源數據的表結構及數據量將表結構進行拆分，得到N個源分表及映射到源分表的N個單元數據，然后向目標服務器發送數據同步請求，并在時間窗口內將拆分后的數據并行發送到目標服務器中，以使目標服務器并行接收后，將N個單元數據中的每個單元數據及源屬性參數映射到對應的目標表的分區表中。本發明極大地縮短了源服務器到目標服務器之間同步數據的時長，從而在指定的時間窗口能夠完成數據同步任務。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據發送方法、數據接收方法、數據發送裝置、數據接收裝置、計算機設備及計算機可讀存儲介質。

背景技術

當前正處在大數據時代，大數據技術作為產業互聯網的核心技術之一，各種應用系統中所存儲的數據量也呈現出爆炸式增長的態勢，在如今面對存儲的海量數據，基于某些目的，常常需要將數據在不同的數據庫之間進行遷移，例如，將ORACLE數據庫中的數據向HIVE數據庫進行遷移。

當前技術中，由于HIVE庫和ORACLE庫的數據存儲方式不同，在數據進行同步時存在一定的性能瓶頸，例如，當前技術中，可以通過SQOOP等工具直接從ORACLE取數據的方式將ORACLE數據庫中的數據同步到HIVE數據庫中，但是HIVE庫需要在指定的時間內將ORACLE庫中的數據遷移完成，然而通過當前技術，當數據量級不大的時候，可以順利完成數據遷移任務，而當數據量達到百億級的時候，就難在指定的時間內完成數據同步。

發明內容

本發明提供一種數據發送方法、接收方法及相應的裝置、設備、介質，以解決需遷移的數據量達到百億級時，難以在指定的時間內完成數據同步的問題。

一種數據發送方法，其特征在于，包括：

確定待同步的源數據的表結構及總數據量；

確定傳輸所述源數據的時間窗口；

根據所述時間窗口、所述源數據的表結構及所述總數據量將所述表結構及所述源數據進行拆分，得到N個源分表及映射到每個源分表的單元數據，所述N為大于或者等于2的正整數；

向目標服務器發送數據同步請求，所述數據同步請求中攜帶所述源分表的數量及存儲于所述源分表的單元數據的數據量；所述數據同步請求用于指示所述目標服務器建立用于存儲所述單元數據的目標表；

在所述時間窗口內，將所述N個源分表的單元數據并行發送至所述目標服務器，以使所述目標服務器在同一個時間段內并行接收所述N個單元數據，并將所述N個單元數據中的每個所述單元數據映射至所述目標表中對應的分區表中，所述源分表和所述分區表的結構不同。

一種數據接收方法，其特征在于，包括：

接收源服務器發送的數據同步請求，所述數據同步請求中攜帶源分表的數量及存儲于所述源分表的單元數據的數據量；

根據每個所述單元數據的數據量、所述源分表的數量及自身的存儲空間情況建立用于存儲所述單元數據的目標表，所述目標表包括多個分區表；

在時間窗口內，并行接收N個所述單元數據及每個所述單元數據對應的源屬性參數，所述N為大于或者等于2的正整數；

將所述N個單元數據中的每個所述單元數據及所述源屬性參數映射到對應的所述目標表的所述分區表中，所述分區表的結構和所述源分表的結構不同，所述目標表包括所述分區表、附加分區表；對所述源屬性參數所對應的第一數據進行數據處理，得到處理后的第二數據，將所述第二數據映射到所述附加分區表。

一種數據發送裝置，其特征在于，包括：

接收模塊，用于接收客戶端發送的數據同步指令和目標服務器發送的時間窗口，所述時間窗口為傳輸待同步的源數據的時間；