[發明專利]數據傳輸優化方法、設備及可讀存儲介質

有效

• 申請號: 201911325502.0
• 申請日: 2019-12-20
• 公開（公告）號: CN111107022B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 黃啟軍;黃銘毅;李詩琦;劉玉德;陳天健
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: H04L12/951
• 分類號: H04L12/951;H04L29/06;G06F13/28
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 王韜

本申請公開了一種數據傳輸優化方法、設備及可讀存儲介質，所述數據傳輸優化方法包括：當接收到數據傳輸任務時，確定所述數據傳輸任務對應的待傳輸列式數據和所述待傳輸列式數據對應的元數據，將所述元數據傳輸至與所述數據傳輸任務關聯的數據接收端，以將所述待傳輸列式數據對應的發送端內存地址信息傳輸至所述數據接收端，并接收所述數據接收端基于所述元數據反饋的協商信息，基于所述協商信息，將所述待傳輸列式數據傳輸至所述數據接收端。本申請解決了列式數據傳輸效率低的技術問題。

技術領域

本申請涉及金融科技(Fintech)的大數據技術領域，尤其涉及一種數據傳輸優化方法、設備及可讀存儲介質。

背景技術

隨著金融科技，尤其是互聯網科技金融的不斷發展，越來越多的技術(如分布式、區塊鏈Blockchain、人工智能等)應用在金融領域，但金融業也對技術提出了更高的要求，如對金融業對應待辦事項的分發也有更高的要求。

隨著互聯網科技的不斷發展，越來越多的計算任務為分布式計算任務，而不再局限于單機進行，而在分布式計算任務中，數據的傳輸為其中必不可少的一環，目前，在進行跨機器數據傳輸通信時通常需要將數據轉化為機器碼進行傳輸，也即，需要對數據進行序列化和反序列化，進而導致了大量計算資源的浪費，進而導致數據傳輸的效率變低，而列式數據可支持豐富的數據結構，在進行一些計算任務時，可直接參與計算任務，但是，現有的列式數據無法支持高效的RDMA(Remote Direct Memory Access，遠程直接數據存取)/DPDK(Data Plane Development Kit，數據平面開發套件)等傳輸技術，傳輸效率極低，所以，現有技術中存在列式數據傳輸效率低的技術問題。

發明內容

本申請的主要目的在于提供一種數據傳輸優化方法、設備及可讀存儲介質，旨在解決現有技術中列式數據傳輸效率低的技術問題。

為實現上述目的，本申請實施例提供一種數據傳輸優化方法，所述數據傳輸優化方法應用于數據發送端，所述數據傳輸優化方法包括：

當接收到數據傳輸任務時，確定所述數據傳輸任務對應的待傳輸列式數據和所述待傳輸列式數據對應的元數據；

將所述元數據傳輸至與所述數據傳輸任務關聯的數據接收端，以將所述待傳輸列式數據對應的發送端內存地址信息傳輸至所述數據接收端，并接收所述數據接收端基于所述元數據反饋的協商信息；

基于所述協商信息，將所述待傳輸列式數據傳輸至所述數據接收端。

可選地，所述協商信息包括單次傳輸數據量；

所述基于所述協商信息，將所述待傳輸列式數據傳輸至所述數據接收端的步驟包括：

基于所述單次傳輸數據量，對所述待傳輸列式數據進行拆分，獲得多個虛擬列式存儲批；

查詢各所述虛擬列式存儲批對應的待傳輸內存塊；

基于預設傳輸協議，將各所述待傳輸內存塊傳輸至所述數據接收端。

可選地，所述協商信息包括單次傳輸數據量；

所述基于所述單次傳輸數據量，對所述待傳輸列式數據進行拆分，獲得多個虛擬列式存儲批的步驟包括：

基于所述單次傳輸數據量，將所述待傳輸列式數據作為單個虛擬列式存儲批；

查詢所述單個虛擬列式存儲批對應的待傳輸內存塊；

基于預設傳輸協議，將所述待傳輸內存塊傳輸至所述數據接收端。

可選地，所述數據傳輸任務包括分布式同步計算任務對應的第一數據傳輸任務，

所述將所述元數據傳輸至與所述數據傳輸任務關聯的數據接收端的步驟之前包括：