[發明專利]數據傳輸優化方法、設備及可讀存儲介質

有效

• 申請號: 201911325502.0
• 申請日: 2019-12-20
• 公開（公告）號: CN111107022B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 黃啟軍;黃銘毅;李詩琦;劉玉德;陳天健
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: H04L12/951
• 分類號: H04L12/951;H04L29/06;G06F13/28
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 王韜

1.一種數據傳輸優化方法，其特征在于，所述數據傳輸優化應用于數據發送端，所述數據傳輸優化方法包括：

當接收到數據傳輸任務時，確定所述數據傳輸任務對應的待傳輸列式數據和所述待傳輸列式數據對應的元數據，其中，所述元數據包括存儲所述待傳輸列式數據的各內存塊與虛擬內存之間的映射關系、所述待傳輸列式數據的列式格式信息與所述虛擬內存之間的對應關系；

將所述元數據傳輸至與所述數據傳輸任務關聯的數據接收端，以將所述待傳輸列式數據對應的發送端內存地址信息傳輸至所述數據接收端，并接收所述數據接收端基于所述元數據反饋的協商信息；

基于所述協商信息，將所述待傳輸列式數據傳輸至所述數據接收端，其中，所述數據接收端用于將所述發送端內存地址信息更新為接收端內存地址信息。

2.如權利要求1所述數據傳輸優化方法，其特征在于，所述協商信息包括單次傳輸數據量；

所述基于所述協商信息，將所述待傳輸列式數據傳輸至所述數據接收端的步驟包括：

基于所述單次傳輸數據量，對所述待傳輸列式數據進行拆分，獲得多個虛擬列式存儲批；

查詢各所述虛擬列式存儲批對應的待傳輸內存塊；

基于預設傳輸協議，將各所述待傳輸內存塊傳輸至所述數據接收端。

3.如權利要求1所述數據傳輸優化方法，其特征在于，所述協商信息包括單次傳輸數據量；

所述基于所述協商信息，將所述待傳輸列式數據傳輸至所述數據接收端的步驟包括：

基于所述單次傳輸數據量，將所述待傳輸列式數據作為單個虛擬列式存儲批；

查詢所述單個虛擬列式存儲批對應的待傳輸內存塊；

基于預設傳輸協議，將所述待傳輸內存塊傳輸至所述數據接收端。

4.如權利要求1所述數據傳輸優化方法，其特征在于，所述數據傳輸任務包括分布式同步計算任務對應的第一數據傳輸任務，

所述將所述元數據傳輸至與所述數據傳輸任務關聯的數據接收端的步驟之前包括：

判斷所述數據傳輸任務是否為所述第一數據傳輸任務；

若所述數據傳輸任務為所述第一數據傳輸任務，則啟動預設多進程輪詢模式；

所述基于所述協商信息，將所述待傳輸列式數據傳輸至所述數據接收端的步驟包括：

基于所述預設多進程輪詢模式和所述協商信息，將所述待傳輸列式數據傳輸至所述數據接收端。

5.如權利要求1所述數據傳輸優化方法，其特征在于，所述數據傳輸任務包括分布式異步計算任務對應的第二數據傳輸任務，

所述將所述元數據傳輸至與所述數據傳輸任務關聯的數據接收端的步驟之前包括：

判斷所述數據傳輸任務是否為所述第二數據傳輸任務；

若所述數據傳輸任務為所述第二數據傳輸任務，則啟動預設中斷模式；

所述基于所述協商信息，將所述待傳輸列式數據傳輸至所述數據接收端的步驟包括：

基于所述預設中斷模式和所述協商信息，將所述待傳輸列式數據傳輸至所述數據接收端。

6.如權利要求1所述數據傳輸優化方法，其特征在于，所述元數據包括所述待傳輸列式數據對應的內存長度信息和所述發送端內存地址信息，

所述將所述元數據傳輸至與所述數據傳輸任務關聯的數據接收端，以將所述待傳輸列式數據對應的發送端內存地址信息傳輸至所述數據接收端，并接收所述數據接收端基于所述元數據反饋的協商信息的步驟包括：

將所述內存長度信息和所述發送端內存地址信息傳輸至所述數據接收端，以供所述數據接收端確定所述內存長度信息對應的單次傳輸數據量，并基于所述發送端內存地址信息更新所述待傳輸列式數據的接收端內存地址信息；

接收所述數據接收端反饋的所述單次傳輸數據量。