[發明專利]數據流執行圖的自動調整

在審

• 申請號: 201980048929.2
• 申請日: 2019-06-20
• 公開（公告）號: CN112470128A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: R·波塔拉朱;T·Y·金
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 姚杰

本文所描述的至少一些實施例涉及數據流執行圖的自動調整。這樣的數據流執行圖常常被用于執行一些對數據消息流的處理。數據流執行圖的性能參數被監測，并且將其與服務級別目標進行比較?；诒容^，自動地決定數據流執行圖的配置是否應當被改變。如果決定要做出改變，則數據流執行圖的配置被變更。因此，數據流執行圖的配置取決于對具有服務等級目標的性能的符合來被改變(或調整)，而無需明確的指令來改變數據流執行圖的配置。

背景技術

大型云和因特網服務供應商通常每秒生成數百萬個事件。為了處理如此高的事件吞吐量，經常在事件被批量處理之前先對其進行積累。為了減少時延以及確保及時的事件處理，最近流處理系統通過將事件作為流進行處理而避免批處理。

與每個事件流一起被流傳輸的事件的量可能有高度的變化性(在本文中稱為“時間變化性”)。例如，事件流能夠包括預期事件(例如，白天期間的處理需求通?？赡鼙韧砩细叩?和意外事件(例如，劇烈的股市變化等)的混合。此外，由于存在跨事件流的不同的工作量特性(在本文中稱為“空間變化性”)，每個事件流具有不同的資源要求。此外，在大型系統中有不可避免的故障和硬件異構性，該故障和硬件異構性使之難以確保在處理事件流方面的穩定性能。為了處理這些變化性和不確定性，流處理系統的用戶(通常是系統管理員)往往為資源供應安全因素，使很多資源處于閑置或未被充分利用。

很多現有的流處理系統采用流式數據流計算模型。在此模型中，計算工作被表示為算子(operator)的有向非循環圖(DAG)，其也稱為“數據流執行圖”。盡管這樣的算子可能是無狀態的，但這樣的算子多數情況下為有狀態的，在其中它們維持可變的局部狀態。每個算子沿著DAG的有向邊發送和/或接收邏輯時間戳事件。在沿(多個)輸入邊接收事件后，如果合適的話，算子更新它的局部狀態，可能地生成新事件，并且將那些新事件沿(多個)輸出邊發送給下游算子。沒有輸入邊的算子被稱為“源”算子，或簡稱為“源”。沒有輸出邊的算子被稱為“接收器(sink)”算子，或簡稱為“接收器”。DAG中的邊沒有狀態，但是可以具有可配置的性質。例如，邊的性質可能是觸發背壓(back-pressure)的隊列尺寸閾值。

本文所要求保護的主題不限于解決任何缺點的實施例，或僅在諸如上文所描述的那些環境中操作的實施例。相反，此背景僅被提供用于圖示示例性技術領域，在其中本文所描述的一些實施例可以被實踐。

發明內容

本文所描述的至少一些實施例涉及數據流執行圖的自動調整。這樣的數據流執行圖常常被用于針對傳入數據消息(或者作為流或者按批)執行一些處理(諸如響應于查詢)。根據本文所描述的原理，數據流執行圖的性能參數被監測并與服務級別目標進行比較?；诒容^，自動地決定數據流執行圖的配置是否應被改變。如果決定要做出改變，數據流執行圖的配置被變更。

因此，本文的原理取決于符合服務等級目標來自動地改變數據流執行圖的配置，而非需要明確的指令來改變數據流執行圖的配置。因此在維持預期的性能標準的同時，配置可以被變更而無需用戶和管理員的同時關注。因此，配置可以更頻繁并且準確地被變更，從而在數據流執行圖遇到變化狀況(諸如空間和時間變化性)時提高數據流執行圖的性能，并且不給用戶帶來不便。

本“發明內容”被提供以簡化的形式介紹概念的選集，這些概念的選集將會在下面的“具體實施方式”中進一步地描述。本“發明內容”不旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用作幫助確定所要求保護的主題的范圍。

附圖說明

為了描述在其中上述記載的和發明的其他的優點和特征可以被獲得的方式，以上簡略描述的發明的更加具體的描述將會通過參考其在附圖中說明的具體實施例被描繪。應理解這些圖僅描繪發明的通常的實施例，因此不被認為是限定它的范圍，通過使用附圖以附加的具體性和細節對發明進行描述和解釋，其中：

圖1以具有多個算子和邊的有向非循環圖(DAG)的形式圖示了示例數據流執行圖，并且被提供作為無數多種數據流執行圖中的僅一種示例；