[發明專利]獲取圖像信號處理器的架構的方法和裝置

有效

• 申請號: 202010621932.3
• 申請日: 2020-06-30
• 公開（公告）號: CN111726592B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 余可;李澤賢;彭悅
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: H04N9/04
• 分類號: H04N9/04;H04N9/73
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 靳玫

本公開實施例提供一種獲取圖像信號處理器的架構的方法和裝置，獲取圖像信號處理器中的多個處理模塊；根據所述多個處理模塊生成所述圖像信號處理器的待優化架構；對所述待優化架構中的每個處理模塊進行訓練，根據至少一個訓練后的所述處理模塊確定所述圖像信號處理器的優化架構。

技術領域

本公開涉及圖像處理技術領域，尤其涉及獲取圖像信號處理器的架構的方法和裝置。

背景技術

在數字相機中，圖像信號處理器(Image Signal Processor，ISP)用于將圖像傳感器捕獲的信號轉換為人們能夠感知和理解的圖像。圖像傳感器的不同架構獲得的圖像處理效果往往是不同的，因此，為了獲得較好的圖像處理效果，有必要針對不同的場景采用不同的圖像傳感器架構。然而，傳統的針對圖像傳感器的優化方式通常是采用固定的圖像傳感器架構，僅對架構的參數進行調整。

發明內容

本公開提供一種獲取圖像信號處理器的架構的方法和裝置。

根據本公開實施例的第一方面，提供一種獲取圖像信號處理器的架構的方法，所述方法包括：獲取圖像信號處理器中的多個處理模塊；根據所述多個處理模塊生成所述圖像信號處理器的待優化架構；對所述待優化架構中的每個處理模塊進行訓練，根據至少一個訓練后的所述處理模塊確定所述圖像信號處理器的優化架構。

在一些實施例中，所述獲取圖像信號處理器中的多個處理模塊，包括：在所述多個處理模塊中的第一處理模塊不可微分的情況下，獲取所述第一處理模塊對應的代理網絡；和/或在所述多個處理模塊中的第二處理模塊可微分的情況下，獲取所述第二處理模塊。

在一些實施例中，所述待優化架構包括多級節點，所述多級節點中的每級節點包括所述多個處理模塊中的每個處理模塊；所述根據至少一個訓練后的所述處理模塊確定所述圖像信號處理器的優化架構，包括：根據第i級節點的各個訓練后的所述處理模塊，確定所述第i級節點的第一目標處理模塊；i為正整數；根據各級節點的第一目標處理模塊確定所述圖像信號處理器的優化架構。

在一些實施例中，所述每級節點中的至少一個第一級節點還包括一個跳躍連接模塊；所述跳躍連接模塊用于在所述待優化架構中跳過與所述跳躍連接模塊處于同一級的各個處理模塊。

在一些實施例中，所述對所述待優化架構中的每個處理模塊進行訓練，包括：對所述待優化架構中的每個處理模塊進行第一訓練，以調整所述每個處理模塊的權重；和/或對所述待優化架構中的每個處理模塊進行第二訓練，以調整所述每個處理模塊的輸入參數。

在一些實施例中，所述對所述待優化架構中的每個處理模塊進行第一訓練，包括：獲取所述待優化架構的第一損失函數，根據所述第一損失函數分別對所述待優化架構中各個處理模塊的輸入參數進行更新；獲取更新后的待優化架構的第二損失函數；根據所述第二損失函數，分別對所述待優化架構中的各個處理模塊進行第一訓練。

在一些實施例中，所述根據第i級節點的各個訓練后的處理模塊，確定所述第i級節點的第一目標處理模塊，包括：將第i級節點的權重最大的處理模塊作為所述第i級節點的第一目標處理模塊。

在一些實施例中，所述方法還包括：在對所述待優化架構中的每個處理模塊進行第一訓練之后，根據所述第i級節點包括的各個處理模塊的權重，從所述第i級節點包括的各個處理模塊中刪除第二目標處理模塊。

在一些實施例中，所述根據所述第i級節點包括的各個處理模塊的權重，從所述第i級節點包括的各個處理模塊中刪除第二目標處理模塊，包括：將所述第i級節點包括的處理模塊中優化權重小于所述第i級節點的權重閾值的處理模塊作為所述第二目標處理模塊刪除掉。

在一些實施例中，所述第i級節點的權重閾值根據以下方式確定：將所述第i級節點包括的處理模塊的最大權重與相對閾值的乘積確定為所述第i級節點的權重閾值。