[發明專利]數據發送、接收方法及相應的裝置、設備、存儲介質

在審

• 申請號: 202010092301.7
• 申請日: 2020-02-14
• 公開（公告）號: CN111427950A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 戴建明
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/22;H04L29/08
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 詹建新

1.一種數據發送方法，其特征在于，包括：

確定待同步的源數據的表結構及總數據量；

確定傳輸所述源數據的時間窗口；

根據所述時間窗口、所述源數據的表結構及所述總數據量將所述表結構及所述源數據進行拆分，得到N個源分表及映射到每個源分表的單元數據，所述N為大于或者等于2的正整數；

向目標服務器發送數據同步請求，所述數據同步請求中攜帶所述源分表的數量及存儲于所述源分表的單元數據的數據量；所述數據同步請求用于指示所述目標服務器建立用于存儲所述單元數據的目標表；

在所述時間窗口內，將所述N個源分表的單元數據并行發送至所述目標服務器，以使所述目標服務器在同一個時間段內并行接收所述N個單元數據，并將所述N個單元數據中的每個所述單元數據映射至所述目標表中對應的分區表中，所述源分表和所述分區表的結構不同。

2.如權利要求1所述的數據發送方法，其特征在于，所述根據所述時間窗口、所述源數據的表結構及所述總數據量將所述表結構及所述源數據進行拆分，得到N個源分表及映射到每個源分表的單元數據，包括：

根據當前的傳輸速率，確定所述時間窗口內待同步傳輸的目標數據量；

根據所述總數據量及所述目標數據量確定所述源分表的目標數量；

確定P個源屬性參數中每個源屬性參數對應的第一數據量，所述P為大于或者等于2的正整數；

根據所述P個源屬性參數中每個所述源屬性參數對應的所述第一數據量將所述P個源屬性參數進行拆分，得到所述N個源分表及映射到每個所述源分表的單元數據，每個所述源分表的單元數據包括至少一個所述源屬性參數及所述源屬性參數對應的所述第一數據，以使每個所述源分表的數據量小于或者等于所述目標數據量。

3.如權利要求2所述的數據發送方法，其特征在于，所述根據所述P個源屬性參數中每個所述源屬性參數對應的所述第一數據量將所述P個所述源屬性參數進行拆分，包括：

根據所述P個源屬性參數中每個所述源屬性參數對應的所述第一數據量及所述P個源屬性參數之間的關聯關系將所述P個源屬性參數進行拆分，將具有所述關聯關系的所述源屬性參數拆分到同一個所述源分表中，得到所述N個源分表及映射到每個所述源分表的單元數據。

4.如權利要求1所述的數據發送方法，其特征在于，所述將所述N個單元數據并行發送至所述目標服務器之前，包括：針對拆分之后的所述N個單元數據，創建N個相互獨立的所述數據同步任務，每個所述數據同步任務對應一個所述源分表的單元數據。

5.如權利要求1-4任一項所述的數據發送方法，其特征在于，所述方法還包括：

將每個所述源分表的單元數據與所述源數據進行匹配，驗證所述拆分之后的所述單元數據是否匹配；

若所述單元數據與所述源數據匹配，輸出用于指示所述拆分成功的信息；若所述單元數據與所述源數據不匹配，則輸出用于提示工作人員查找原因的報錯信息。

6.一種數據接收方法，其特征在于，包括：

接收源服務器發送的數據同步請求，所述數據同步請求中攜帶源分表的數量及存儲于所述源分表的單元數據的數據量；

根據每個所述單元數據的數據量、所述源分表的數量及自身的存儲空間情況建立用于存儲所述單元數據的目標表，所述目標表包括多個分區表；

在時間窗口內，并行接收N個所述單元數據及每個所述單元數據對應的源屬性參數，所述N為大于或者等于2的正整數；

將所述N個單元數據中的每個所述單元數據及所述源屬性參數映射到對應的所述目標表的所述分區表中，所述分區表的結構和所述源分表的結構不同，所述目標表包括所述分區表、附加分區表，所述附加分區表與所述分區表對應；對所述源屬性參數所對應的第一數據進行數據處理，得到處理后的第二數據，將所述第二數據映射到所述附加分區表。