[發明專利]分配執行具有可配置復雜度的多媒體數據處理組件的處理器的資源

在審

• 申請號: 201480044560.5
• 申請日: 2014-08-04
• 公開（公告）號: CN105474176A
• 公開（公告）日: 2016-04-06
• 發明（設計）人: C·A·羅布羅;J·A·伯根海姆;T·S·耶茨
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 張立達;王英

背景技術

現代音頻和視頻處理組件(諸如編碼器、解碼器、回波抵消器、降噪器、抗混疊濾波器等)通常能夠通過采用更復雜的音頻/視頻算法處理操作來實現更高的輸出音頻/視頻質量。這些操作典型地由計算系統的處理器(例如，CPU)執行的一個或多個軟件應用來實現。應用可以包括多個代碼組件(例如，單獨的音頻和視頻處理組件)，其中每個代碼組件均實現單獨的處理算法。本上下文中的處理器資源管理涉及使得這些算法的復雜度適應這種處理器的處理能力。如本文所使用的、用于實現算法的代碼組件的“復雜度”是指基礎算法(underlyingalgorithm)的時間算法復雜度。如本領域公知的，算法的時間復雜度是該算法的固有特性，其確定該算法處理任何給定輸入所需的多個基本操作，其中，相比于不太錯綜復雜的算法，更復雜的算法要求要求每輸入的更多的基本處理操作。因此，該提高的質量以更復雜的、更高質量的算法為代價，該更復雜的、更高質量的算法要求更多的時間來處理每個輸入，或者這些算法要求更多的處理器資源，并且如果它們要以相當于不太復雜的、較低質量的處理算法的速率處理輸入數據，則從而導致更高的CPU負荷。

對于“實時”數據處理，諸如在由通信客戶端應用的實時音頻/視頻代碼構件實現的音頻/視頻會議的上下文中對音頻/視頻數據的處理，輸出的質量不是唯一考慮：這些算法操作“實時”地結束也是嚴格必需的。如本文所使用的，一般而言，“實時”數據處理是指以至少與接收輸入數據的輸入速率一樣快的速率對輸入數據流的處理(即，使得如果在一毫秒內接收到N個比特，則對這N個比特的處理所花費的時間必須不多于一毫秒)；“實時操作”是指滿足該標準的處理操作。因此，允許更復雜的算法具有更多的處理時間不是一個選項，這是因為算法僅具有在其中要處理流的N個比特的有限窗口，該窗口從接收到該N個比特的時間和接收到該流中下N個比特的時間而運行——如果要保持實時操作，則處理N個比特所需的算法操作都必需在該窗口內執行且不能推遲。因此，如果要保持實時操作，隨著代碼組件復雜度增加，代碼組件要求更多的處理器資源。此外，如果CPU負荷增加至超過某個點——例如，由于運行過于復雜的音頻/視頻處理算法——則實時操作將是不可能的，這是因為音頻和/或視頻組件將為了實時操作而需要比實際上可供使用的處理器資源更多的處理器資源。因此，在一方面最大化輸出質量與另一方面保留實時操作之間存在折中。

具體地在音頻/視頻處理的上下文中，原始音頻和視頻數據按部分地進行處理，然后被打包傳輸。每個音頻數據部分可以是(例如)音頻的20ms的音頻幀；每個視頻數據部分可以是(例如)包括圖像序列中的單個捕獲的圖像的視頻幀。為了保持實時操作，對音頻幀的處理應當在完成對下一音頻診斷的捕獲之前結束；否則，后續的音頻幀將被緩存，并且在計算系統中引入了增加的延遲。同樣，基于相同的原因，對視頻幀的處理應當在捕獲下一視頻幀之前結束。對于過于復雜的音頻/視頻算法，處理器可能不具有足夠對其進行實現的資源。

發明內容

提供該概述以便以簡化的形式引入對構思的選擇，以下在詳細描述中將對其進一步描述。該概述不旨在標識出權利要求主題的關鍵特征或主要特征，也不旨在用于限制權利要求主題的范圍。

根據第一方面，本公開內容涉及一種分配處理器資源的方法，該處理器執行用于處理第一序列的數據部分的第一實時代碼組件和用于處理第二序列的數據部分的第二代碼組件。至少該第二代碼組件具有可配置復雜度。該方法包括：估計針對該第一代碼組件的第一實時性能度量，以及基于所估計的第一實時性能度量來配置該第二代碼組件的復雜度。

通過如此配置所述復雜度，處理器的處理資源有效地以對于第一組件的實時性能要求敏感的方式分配給第二代碼組件。在實施例中，第二實時組件也可以是實時組件，但是這不是必需的。

第一數據序列和第二數據序列可以是不同類型的數據。例如，第一序列可以是音頻數據幀序列，第二序列可以是視頻數據幀序列，第一代碼組件是實現音頻編碼算法的音頻代碼組件，而第二代碼組件是實現視頻編碼算法的視頻組件(或者反之亦然)。

附圖說明

為了更好地理解所描述的實施例以及示出如何實現所描述的實施例，將通過示例的方式參照以下附圖，在以下附圖中：

圖1示出了通信系統的示意圖；

圖2是用戶設備的示意性框圖；

圖3A是音頻和視頻處理的示意性框圖；

圖3B是在圖3A之后的時間的、音頻和視頻處理的示意性框圖；

圖4是示出了處理器資源管理的示意性框圖。

具體實施方式