[發明專利]基于傳輸機的數據傳輸方法、裝置、設備和存儲介質

有效

• 申請號: 202010546956.7
• 申請日: 2020-06-16
• 公開（公告）號: CN111711688B
• 公開（公告）日: 2023-02-28
• 發明（設計）人: 劉昌浩;龔睿博
• 申請（專利權）人: 阿波羅智能技術（北京）有限公司
• 主分類號: H04L67/1074
• 分類號: H04L67/1074;H04L67/06;G06F9/50;G06F9/48
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 朱穎;臧建明

1.一種基于傳輸機的數據傳輸方法，所述方法應用于傳輸機，所述方法包括：

獲取當前傳輸機中的每一任務的每一數據文件的文件大小；

根據所述每一任務的每一數據文件的文件大小，確定所述每一任務的理想并發度，其中，所述理想并發度表征任務可使用的最小的線程和/或進程數目，并且，任務在理想并發度下的傳輸時間最小；

獲取當前傳輸機的并發度總門限、以及當前傳輸機中的每一任務的實際并發度，其中，所述任務具有優先級，所述并發度總門限為實際并發度總和的上限值，所述實際并發度總和為所述每一任務的實際并發度之和；

根據所述并發度總門限和所述每一任務的實際并發度，確定不同優先級的待傳輸任務的期望并發度，其中，所述期望并發度表征為待傳輸任務所分配的線程和/或進程數目，不同優先級的待傳輸任務的期望并發度是不同的；

啟動與每一待傳輸任務的期望并發度表征的線程和/或進程數目對應的線程和/或進程，分別傳輸所述每一待傳輸任務；

所述理想并發度為任務中的數據文件可占據的線程和/或進程的數目之和；根據所述每一任務的每一數據文件的文件大小，確定所述每一任務的理想并發度，包括：

根據所述每一任務的每一數據文件的文件大小，確定所述每一任務中的各頭部文件和各非頭部文件；每一個頭部文件的文件大小大于等于預設閾值，每一個非頭部文件的文件大小小于預設閾值，預設閾值為預設的第一參數與預設的第二參數的乘積，所述第二參數為任務中文件大小最高的數據文件的文件大小；

確定每一個頭部文件，分別占據一個線程和/或進程，并確定各非頭部文件的文件大小之和、所述第二參數兩者的比值，為各非頭部文件所占據的線程和/或進程的數目。

2.根據權利要求1所述的方法，其中，根據所述并發度總門限和所述每一任務的實際并發度，確定不同優先級的待傳輸任務的期望并發度，包括：

在根據所述并發度總門限和所述每一任務的實際并發度，確定當前傳輸機中的線程和/或進程可支撐第一優先級別的待傳輸任務的傳輸，并且確定所述當前傳輸機具有第一優先級別的待傳輸任務的時候，根據所述每一任務的實際并發度，確定所述第一優先級別的待傳輸任務的期望并發度，其中，第一優先級別大于等于預設優先級閾值；

在根據所述并發度總門限和所述每一任務的實際并發度，確定當前傳輸機中的線程和/或進程可支撐所述第一優先級別的待傳輸任務的傳輸，并且確定所述當前傳輸機不具有第一優先級別的待傳輸任務的時候，根據所述每一任務的實際并發度，確定第二優先級別的待傳輸任務的期望并發度，其中，第二優先級別小于預設優先級閾值。

3.根據權利要求2所述的方法，其中，在根據所述并發度總門限和所述每一任務的實際并發度，確定當前傳輸機中的線程和/或進程可支撐第一優先級別的待傳輸任務的傳輸，并且確定所述當前傳輸機具有第一優先級別的待傳輸任務的時候，根據所述每一任務的實際并發度，確定所述第一優先級別的待傳輸任務的期望并發度，包括：

根據所述每一任務的實際并發度，確定當前傳輸機的實際并發度總和，其中，所述實際并發度總和為各任務的實際并發度之和；

在確定所述實際并發度總和，小于預設的第一并發度門限時，確定當前傳輸機中的線程和/或進程可支撐第一優先級別的待傳輸任務的傳輸，其中，第一并發度門限為第二并發度門限與第一預設門限差之間的差值，第一并發度門限小于第二并發度門限，第二并發度門限等于所述并發度總門限；

在確定所述當前傳輸機具有第一優先級別的待傳輸任務時，根據所述第二并發度門限、所述實際并發度總和，確定所述第一優先級別的待傳輸任務的期望并發度。

4.根據權利要求3所述的方法，其中，根據所述第二并發度門限、所述實際并發度總和，確定所述第一優先級別的待傳輸任務的期望并發度，包括：

獲取所述第一優先級別的待傳輸任務的理想并發度；

根據所述第二并發度門限、所述實際并發度總和、所述第一優先級別的待傳輸任務的理想并發度、以及第三并發度門限，確定所述第一優先級別的待傳輸任務的期望并發度；其中，第三并發度門限為單個任務的最大期望并發度；所述第一優先級別的待傳輸任務的期望并發度，小于等于所述第一優先級別的待傳輸任務的理想并發度，并且所述第一優先級別的待傳輸任務的期望并發度，小于等于所述第三并發度門限。