[發明專利]任務調度方法和裝置、存儲介質以及計算設備

有效

• 申請號: 201711099264.7
• 申請日: 2017-11-09
• 公開（公告）號: CN109766168B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 朱延海;陳善佩
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F9/54
• 代理公司: 北京展翼知識產權代理事務所(特殊普通合伙) 11452
• 代理人: 屠長存

本發明公開了一種任務調度方法和裝置、存儲介質及計算設備，適于擁有兩個邏輯核的物理核。分別為每個邏輯核維護任務隊列。當需要為第一邏輯核分配任務的時候，判斷第二邏輯核上正在運行的任務是否對延遲極度敏感的在線任務。如果是，則將第一邏輯核的任務隊列中的離線任務刪除。另一方面，在第一邏輯核即將或開始執行對延遲極度敏感的在線任務時，判斷第二邏輯核是否正在執行離線任務。如果是，則中斷第二邏輯核當前正在執行的離線任務，并對其重新進行任務調度。由此能夠在避免顯著降低資源利用率的情況下有效消除離線任務造成的超線程干擾。

技術領域

本公開涉及任務調度技術領域，特別涉及消除超線程干擾的任務調度技術領域。

背景技術

在傳統數據中心中，在線應用(在線任務)一般單獨部署在一批物理機上。為了應對業務高峰期的突發流量(如“雙十一”之類的促銷)，一般物理機都會預留出足夠的硬件資源。

而從另外一個層面來看，在業務低谷期，將會導致大量物理機資源的浪費。

為了減少這種浪費，可以在業務低谷期調度一些離線任務在這些物理機上運行。這樣可以提高物理機的資源利用率，達到節省成本的目的。

這樣，在同一臺物理機上，有可能同時部署在線應用(在線任務)和離線應用(離線任務)。在線應用對延遲比較敏感，而離線應用則對延遲不敏感。

在離線應用和在線應用混合部署的環境中，首先需要保證的是在線任務的服務質量(QoS)，其次才是提高機器資源利用率。然而，離線應用會對在線應用造成干擾，降低在線任務的性能。

離線任務干擾是多個維度的，如CPU(中央處理單元)，LLC(邏輯鏈路控制)，內存帶寬，網絡，存儲等。

從CPU層面上來看，離線應用會對在線應用的干擾可以細分為兩類：

(1)在同一個CPU上，離線任務搶占CPU資源，導致在線任務得不到及時調度，出現調度延遲，進而影響在線任務的性能；

(2)在同一個核上，同時運行在線任務和離線任務，由于兩個超線程(HT，HyperThread)之間共享很多硬件資源，超線程干擾會降低在線應用的性能。

本公開則主要涉及上述第二類CPU干擾問題。

在此，為了描述方便，將離線任務表示為“batch”，將在線任務表示為“LS(latencySensitive)”，而將其中對延遲極度敏感的在線任務表示為“L*”。

對于L*任務，從CPU層面，需要最大力度地降低干擾，以保證QoS。

針對上述第二類干擾，目前主要有三類解決方案，然而它們各自都存在缺陷。下面分別進行簡要描述。

第一類解決方案，關閉超線程功能，從根本上避免了超線程干擾。

然而，超線程設計的目的是為了充分利用核內閑置的硬件資源，從整體上提升機器的性能。關閉超線程功能，雖然能夠從根本避免了超線程干擾，但是導致機器資源利用率下降，完全不能實現“混合部署”的一個重要目的：提高資源利用率。

第二類解決方案，通過cpuset機制，以核為最小粒度，將LS任務和batch任務隔離開來。這樣，batch任務與LS任務將不會出現在同一個核中，從而消除了batch任務導致的超線程干擾。

大部分情況下，不是所有的核都在運行L*任務，因此可以將batch任務調度到那些沒有運行L*任務的核上去。

相對第一類解決方案，該方案較為緩和一些，既可以消除batch任務導致的超線程干擾，又可以在一定程度上提高機器資源利用率。

然而，在分配了L*任務的核上，由于cpuset的限制，即使L*任務當前并不處于運行狀態，也不允許執行batch任務。這樣，還是會在一定程度上造成CPU資源的浪費。