[發(fā)明專利]用于有效信號處理的芯片資源上的系統(tǒng)動態(tài)分配

有效

• 申請?zhí)枺?/td>: 202010795882.0
• 申請日: 2020-08-10
• 公開（公告）號: CN112351213B
• 公開（公告）日: 2022-07-01
• 發(fā)明（設計）人: D·沙利格;K·帕茨瓦爾德
• 申請（專利權）人: 輝達公司
• 主分類號: H04N5/235
• 分類號: H04N5/235;H04N5/355;H04N5/357
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉

本發(fā)明公開了用于有效信號處理的芯片資源上的系統(tǒng)動態(tài)分配。在各種示例中，針對信號處理請求動態(tài)地生成或實例化信號處理管線。為了生成管線，可以創(chuàng)建包括節(jié)點和邊緣的圖拓撲，以表示信號處理系統(tǒng)的特征、功能和特性。代表處理任務的節(jié)點可以經(jīng)由具有相關成本的邊緣連接，以由節(jié)點在先前節(jié)點或邊緣連接的節(jié)點的輸出上執(zhí)行處理任務。對于給定的信號處理請求，可以選擇要包括的節(jié)點或處理任務，并使用圖路由算法以及所確定的節(jié)點之間和之中的成本來確定通過節(jié)點的路徑，從而至少部分地定義信號處理管線。

相關申請的交叉引用

本申請要求2019年8月8日提交的申請?zhí)枮?2/884,297的美國臨時申請的權益，該臨時申請的全部內容通過引用合并于此。

背景技術

信號處理依賴于處理管線，其用于將由傳感器生成的數(shù)據(jù)轉換成可以在各種應用程序中使用的經(jīng)處理或經(jīng)修改的數(shù)據(jù)。關于圖像處理，可以使用用于由圖像傳感器生成的圖像數(shù)據(jù)的管線來將捕獲的原始圖像轉換成不同的格式(例如，Bayer到YUV)。例如，當處理圖像數(shù)據(jù)時-根據(jù)圖像數(shù)據(jù)類型和圖像處理請求中指示的圖像參數(shù)-圖像數(shù)據(jù)可能會經(jīng)歷任何數(shù)量的處理任務(例如，去馬賽克、降噪、縮放、鏡頭陰影等)作為經(jīng)定義的管線(pipeline)或進程路線(process route)。結果，可以通過進程路線對捕獲的圖像進行轉換或處理，以生成可以與捕獲的圖像具有不同圖像質量、數(shù)據(jù)類型和/或比例的經(jīng)處理的圖像。

然而，常規(guī)系統(tǒng)使用固定的處理管線來將捕獲的傳感器數(shù)據(jù)轉換成預定義類型的經(jīng)處理的傳感器數(shù)據(jù)。因此，當信號處理請求需要不同類型的經(jīng)處理的傳感器數(shù)據(jù)時，必須使用相同的固定處理管線，這對于該特定的經(jīng)處理的傳感器數(shù)據(jù)類型(例如，質量可能低于預期)可能無法充分執(zhí)行。另外，即使現(xiàn)有的固定處理管線可生成特定的經(jīng)處理的傳感器數(shù)據(jù)類型，固定處理管線也可能無法有效地這樣做-例如，可能會使用過多的功率，可能會增加運行時間和/或內存占用可能超出可用性–因為固定處理管線中的處理任務順序可能效率不高。

發(fā)明內容

本公開的實施例涉及用于有效信號處理的片上系統(tǒng)(SoC)資源的動態(tài)分配。公開了使用圖路由算法來確定通過多個節(jié)點的有效路徑的系統(tǒng)和方法，每個節(jié)點均代表各自的處理任務，其中該路徑至少部分地定義了信號處理管線。在信號處理架構中可以使用許多分立的硬件組件來執(zhí)行動態(tài)實例化的信號處理管線。因此，與常規(guī)系統(tǒng)相比，由于信號處理管線可以是動態(tài)的，因此通過信號處理管線(進而到達分立硬件組件)的路徑也可以是動態(tài)的或可調整的。

為了確定給定信號處理請求的信號處理管線，可以將系統(tǒng)的硬件和軟件拓撲、能力和限制建模為圖。信號處理請求可以包括捕獲數(shù)據(jù)類型、經(jīng)處理或輸出的數(shù)據(jù)類型、所需的處理步驟(例如，高動態(tài)范圍(HDR)或圖像應用中的去噪)、輸出數(shù)據(jù)大小和/或類似物的指示。這樣，基于信號處理請求，可以確定與可以用于對捕獲的信號執(zhí)行處理的不同硬件和/或軟件相對應的圖的節(jié)點。除了在一些實施例中可以使用各個確定的節(jié)點之間的成本之外，圖路由算法還可以使用附加標準(例如，用戶指定的標準，諸如運行時間、功率使用、存儲器帶寬、圖像質量等)來確定通過確定的節(jié)點的有效路徑。一旦確定路徑，就可以使用該路徑來定義用于信號處理請求的信號處理管線。可以針對任意數(shù)量的信號處理請求重復該過程，其中可以根據(jù)各種成本、附加標準和/或確定的節(jié)點來生成信號處理管線的不同實例。這樣，并且與常規(guī)系統(tǒng)不同，通過分立硬件組件的路線可以在逐個請求的基礎上有所不同，從而提供了一種動態(tài)且有效的信號處理方法，該方法能夠減少運行時間、減少內存和功耗并進行裁剪輸出數(shù)據(jù)質量達到指定標準。

附圖說明

下面參照附圖詳細描述用于動態(tài)分配片上系統(tǒng)(SoC)資源以進行有效信號處理的本系統(tǒng)和方法，其中：

圖1A是根據(jù)本公開的一些實施例的示例信號處理系統(tǒng)；

圖1B是根據(jù)本公開的一些實施例的用于信號處理系統(tǒng)的示例硬件分布；

圖2A是根據(jù)本公開的一些實施例的用于信號處理系統(tǒng)的示例圖拓撲；