[發明專利]基于通信負載的數據傳輸方法、裝置及系統

有效

• 申請號: 202010982395.5
• 申請日: 2020-09-17
• 公開（公告）號: CN112187663B
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 劉小霞;張發恩
• 申請（專利權）人: 福建實達集團股份有限公司
• 主分類號: H04L47/24
• 分類號: H04L47/24;G06F9/50
• 代理公司: 重慶創新專利商標代理有限公司 50125
• 代理人: 李智祥

本申請提供一種基于通信負載的數據傳輸方法、裝置及系統，涉及大數據技術領域。中心處理設備與多個通信設備連接，方法應用于任一通信設備，包括：確定出待傳輸數據的類別數；預估每個類別的待傳輸數據的數據量；根據通信設備在當前狀態下的最大并發線程數確定出用于傳輸數據的計劃并發線程數；根據待傳輸數據的類別數、每個類別的待傳輸數據的數據量和計劃并發線程數對通信設備的通信資源進行分組，分組后得到的每個通信資源組的線程數相同或不同，且每個類別的待傳輸數據均有對應的通信資源組；生成與類別對應的識別標識，并根據對應的通信資源組和對應的識別標識，傳輸該類別的待傳輸數據，以使中心處理設備根據識別標識將接收的數據分類存儲。

技術領域

本申請涉及大數據技術領域，具體而言，涉及一種基于通信負載的數據傳輸方法、裝置及系統。

背景技術

隨著科技的迅速發展，大數據時代悄然來臨。大數據時代下，每天會產生海量數據，而對這些數據的傳輸，以及對大數據的分析處理(例如分類、序列特征提取、數據可視化等)，對中心處理設備(例如中心服務器)的性能提出了極大的挑戰，處理設備宕機的風險顯著提升。

發明內容

為了至少克服現有技術中的上述不足，本申請的目的在于提供一種基于通信負載的數據傳輸方法、裝置及系統，以緩解中心處理設備的壓力。

第一方面，本申請實施例提供一種基于通信負載的數據傳輸方法，中心處理設備與多個通信設備連接，所述方法應用于任一通信設備，所述方法包括：

確定出待傳輸數據的類別數；

預估每個類別的待傳輸數據的數據量；

根據通信設備在當前狀態下的最大并發線程數，確定出用于傳輸數據的計劃并發線程數；

根據所述待傳輸數據的類別數、每個類別的待傳輸數據的數據量和所述計劃并發線程數，對所述通信設備的通信資源進行分組，其中，分組后得到的每個通信資源組的線程數相同或不同，且每個類別的待傳輸數據均有對應的通信資源組；

生成與類別對應的識別標識，并根據對應的通信資源組和對應的識別標識，傳輸該類別的待傳輸數據，以使所述中心處理設備根據所述識別標識將接收的數據分類存儲。

有益效果：通過在通信設備端對待傳輸數據進行分類后再進行傳輸，能夠減少中心處理設備(例如中心服務器)任務量，從而可以減輕中心處理設備的壓力。而結合通信設備的并發線程數、待傳輸數據的類別數和每個類別對應的數據量，對通信設備的通信資源進行靈活分配，可以有效提高數據的傳輸效率。

結合第一方面，在第一方面的第一種可能的實現方式中，所述生成與類別對應的識別標識，并根據對應的通信資源組和對應的識別標識，傳輸該類別的待傳輸數據，包括：

根據所述待傳輸數據的類別，生成與所述中心處理設備約定的識別標識；

根據所述識別標識，生成與該類別對應的通信資源組使用的連接驗證信息，其中，所述連接驗證信息中包含所述識別標識，所述連接驗證信息用于在所述通信設備與所述中心處理設備建立通信連接時進行驗證，以使所述中心處理設備在對包含所述識別標識的所述連接驗證信息進行驗證時，確定出將要接收的數據的類別；

根據所述連接驗證信息，向所述中心處理設備傳輸該類別的待傳輸數據。

有益效果：采用在通信設備與中心處理設備建立連接時的驗證信息上加識別標識，可以實現在接收數據前識別待傳輸數據的類別，以緩解中心處理設備在決定接收數據后或者接受數據后才能實現對數據的分類而引起的資源占用問題，可以進一步減小中心處理設備在接收數據時需要同時處理的工作量，進一步提升數據傳輸的效率。

結合第一方面，在第一方面的第二種可能的實現方式中，在所述生成與類別對應的識別標識，并根據對應的通信資源組和對應的識別標識，傳輸該類別的待傳輸數據之前，所述方法還包括：