[發明專利]一種spark任務運行時間調整方法、裝置及設備

有效

• 申請號: 201811346837.6
• 申請日: 2018-11-13
• 公開（公告）號: CN109408217B
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 鄭艷濤;黃寧;章海怒
• 申請（專利權）人: 杭州數夢工場科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

1.一種spark任務運行時間調整方法，應用于分布式文件系統，其特征在于，包括：

接收spark任務后，依據任務的內容從分布式文件系統的元數據信息中，獲取所述spark任務運行時需要從所述分布式文件系統中讀取的數據量；

依據預設調整規則，確定所述數據量所處的閾值范圍區間以及該閾值范圍區間所對應的本地等待時間；閾值范圍區間越大其對應的本地等待時間越長；

依據所確定的本地等待時間以及本地性屬性的類型依次進行等待，等待過程中，檢測到符合當前等待的本地性屬性的進程后，通過該進程運行所述spark任務，其中，所述符合當前等待的本地性屬性的進程為本地性屬性與當前等待的本地性屬性相同的進程。

2.根據權利要求1所述的spark任務運行時間調整方法，其特征在于，所述預設調整規則包括三個閾值范圍區間，第一閾值范圍區間對應的本地等待時間為N1，第二閾值范圍區間對應的本地等待時間為N2，第三閾值范圍區間對應的本地等待時間為N3；第一閾值范圍區間第二閾值范圍區間第三閾值范圍區間；N1N2N30；本地性屬性的類型包括PROCESS_LOCAL、NODE_LOCAL以及RACK_LOCAL。

3.根據權利要求1所述的spark任務運行時間調整方法，其特征在于，所述預設調整規則包括三個閾值范圍區間，第一閾值范圍區間對應的本地等待時間為N1，第二閾值范圍區間對應的本地等待時間為N2，第三閾值范圍區間對應的本地等待時間為0；第一閾值范圍區間第二閾值范圍區間第三閾值范圍區間；N1N20；

其中，若所述確定的本地等待時間大于0，則本地性屬性的類型包括PROCESS_LOCAL、NODE_LOCAL以及RACK_LOCAL；

若所述確定的本地等待時間為0，則本地性屬性的類型為ANY，后續直接選擇任一進程運行所述spark任務。

4.根據權利要求1所述的spark任務運行時間調整方法，其特征在于，所述獲取所述spark任務運行時所需讀取的數據量之后，還包括：

依據所述預設調整規則，確定所述數據量所處的閾值范圍區間對應的本地性屬性的類型，閾值范圍區間越大對應的本地性屬性的類型個數越多。

5.根據權利要求4所述的spark任務運行時間調整方法，其特征在于，所述預設調整規則包括三個閾值范圍區間，第一閾值范圍區間對應的本地等待時間為N1，本地性屬性的類型包括PROCESS_LOCAL、NODE_LOCAL以及RACK_LOCAL；

第二閾值范圍區間對應的本地等待時間為N2，本地性屬性的類型包括PROCESS_LOCAL、NODE_LOCAL以及RACK_LOCAL中的任意兩種；

第三閾值范圍區間對應的本地等待時間為N3，N3大于0時，本地性屬性的類型包括PROCESS_LOCAL、NODE_LOCAL以及RACK_LOCAL中的任意一種；N3＝0時，本地性屬性的類型為ANY；

第一閾值范圍區間第二閾值范圍區間第三閾值范圍區間；N1和N2大于0；N1≥N2≥N3。

6.根據權利要求1所述的spark任務運行時間調整方法，其特征在于，所述預設調整規則包括多個閾值范圍區間，每個閾值范圍區間對應有三個本地等待時間n1、n2和n3；n1≥n2≥n3；

n1用于調整PROCESS_LOCAL類型的本地性屬性對應的本地等待時間；

n2用于調整NODE_LOCAL類型的本地性屬性對應的本地等待時間；

n3用于調整RACK_LOCAL類型的本地性屬性對應的本地等待時間；

若n1、n2和n3均為0，則本地性屬性的類型為ANY，后續直接選擇任一進程運行所述spark任務。