[發明專利]一種多任務并發場景下的數據傳輸控制系統及其方法

有效

• 申請號: 202011008025.8
• 申請日: 2020-09-23
• 公開（公告）號: CN112181682B
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 邢保松
• 申請（專利權）人: 上海愛數信息技術股份有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F11/14
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 葉敏華

本發明涉及一種多任務并發場景下的數據傳輸控制系統及其方法，該系統包括備份存儲單元和多個客戶端，客戶端的數據傳輸模塊用于建立客戶端與備份存儲單元連接的數據傳輸通道，以將待傳輸的數據傳輸給備份存儲單元；備份存儲單元的數據存儲模塊包括多個快速內存區和一個共享內存區，多個快速內存區分別單獨連接至不同的數據傳輸通道，共享內存區連接至多個數據傳輸通道，備份存儲單元的傳輸控制模塊根用于將數據傳輸通道分配連接至快速內存區或共享內存區，以及監聽數據傳輸通道的數據流量，并控制與共享內存區連接的數據傳輸通道按照分組分時段的方式進行數據傳輸。與現有技術相比，本發明能有效提高多任務并發場景下數據傳輸的高效性和流暢性。

技術領域

本發明涉及數據備份技術領域，尤其是涉及一種多任務并發場景下的數據傳輸控制系統及其方法。

背景技術

隨著計算機技術的迅猛發展，如今絕大部分企業都使用計算機來運作自己的核心業務，由此而產生的數據也成為企業的核心財富，如何有效地保護這些核心數據也成為了企業面臨的巨大挑戰和關注的焦點。

而隨著企業數據規模的不斷增長，需要備份保護的企業數據的數據量以及數據來源也在不斷的增長，這些不同來源的數據每天都需要進行備份保護，每一種數據來源可以對應著多個備份任務，這些不同的備份任務也經常需要同時并發執行，由于備份存儲系統本身的資源配置存在上限，比如系統的內存大小、系統磁盤讀寫速度等，同時連接到備份存儲系統的帶寬也存在上限，導致這些并發任務的數據傳輸會受到系統資源的限制，當存在多任務同時傳輸時，還會發生爭搶系統資源的情況，如果對系統資源的爭搶不做任何限制，就很可能出現多個任務都占據了一部分資源，然后互相等待其他任務釋放資源，以繼續進行任務，最終導致系統整體的數據傳輸陷入無法繼續的狀態。因此，為了保證高效流暢地將這些數據傳輸到備份存儲系統中，需要有一種高效的數據傳輸的控制系統及方法進行協調。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種多任務并發場景下的數據傳輸控制系統及其方法，以提高多任務并發數據傳輸的效率和流暢性。

本發明的目的可以通過以下技術方案來實現：一種多任務并發場景下的數據傳輸控制系統，包括與備份存儲單元連接的多個對應于不同數據源的客戶端，所述客戶端包括數據讀取模塊和數據傳輸模塊，所述數據讀取模塊用于從客戶端的數據庫中獲取待傳輸的數據，所述數據傳輸模塊用于建立客戶端與備份存儲單元連接的數據傳輸通道，以及將待傳輸的數據通過數據傳輸通道傳輸給備份存儲單元；

所述備份存儲單元包括數據存儲模塊和傳輸控制模塊，所述數據存儲模塊包括多個快速內存區和一個共享內存區，多個快速內存區分別單獨連接至不同的數據傳輸通道，所述共享內存區連接至多個數據傳輸通道，所述傳輸控制模塊根據數據傳輸通道對應的任務順序，以將多個數據傳輸通道分配連接至快速內存區或共享內存區，所述傳輸控制模塊用于監聽數據傳輸通道的數據流量，并控制與共享內存區連接的數據傳輸通道按照分組分時段的方式進行數據傳輸。

進一步地，所述數據傳輸通道具體為TCP傳輸通道。

進一步地，所述傳輸控制模塊中設置有TCP監聽端口。

一種多任務并發場景下的數據傳輸控制方法，包括以下步驟：

S1、多個客戶端分別創建對應的數據傳輸任務，并按照創建時間的先后順序，對多個數據傳輸任務進行排序；

S2、多個客戶端分別建立對應于各自數據傳輸任務的數據傳輸通道；

S3、根據數據傳輸任務的順序，傳輸控制模塊將排序為前N個數據傳輸任務的數據傳輸通道對應分配連接至數據存儲模塊中的各個快速內存區，使一個快速內存區單獨連接一個數據傳輸通道，并將剩余數據傳輸任務的數據傳輸通道同時連接至數據存儲模塊中的共享內存區；

S4、傳輸控制模塊分別控制與快速內存區對應連接的多個數據傳輸通道同時進行數據傳輸，控制與共享內存區連接的多個數據傳輸通道按照分組分時段的方式進行數據傳輸；