[發明專利]圖像處理超參數優化方法、系統、設備及存儲介質

在審

• 申請號: 202111154675.8
• 申請日: 2021-09-29
• 公開（公告）號: CN113688945A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 胡旭陽;李瑮;毛曉蛟
• 申請（專利權）人: 蘇州科達科技股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 夏彬

本發明提供了一種圖像處理超參數優化方法、系統、設備及存儲介質，所述方法包括：對各個圖像處理超參數進行采樣，得到多個訓練超參數組；采集原始圖像，基于每個訓練超參數組和預設的圖像處理流程對原始圖像進行處理，得到每個超參數組對應的第一參照圖像，并對原始圖像的同一場景采集第二參照圖像；將原始圖像和每個訓練超參數作為圖像處理模擬模型的輸入數據，將第一參照圖像作為標簽數據，訓練圖像處理模擬模型；將原始圖像和初始化超參數組作為圖像處理模擬模型的輸入數據，第二參照圖像作為標簽數據，優化初始化超參數。通過采用本發明，實現全自動、無需人力參與的圖像處理超參數優化，優化后的參數可以適用于軟件或硬件的圖像處理流程。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種圖像處理超參數優化方法、系統、設備及存儲介質。

背景技術

商業級的成像系統依賴圖像信號處理(Image Signal Processing,ISP)流程，該流程由若干像素級(Pixel-level)處理模塊組成，在這些模塊中包含了大量的超參數，用于將傳感器上的原始圖像重建成一幅RGB圖像。在監控領域，通常硬件圖像處理超參數與重建的RGB圖像有著復雜的交互。傳統的方法，通常需要有經驗的圖像處理工程師花費數月時間去優化這些超參數，這不僅需要耗費大量的時間資源，且難以保證所優化的參數在增量迭代過程中是全局或者局部最優的。

近年來，隨著卷積神經網絡(Convolutional Nearul Network,CNN)和生成對抗網絡(Generative Adversarial Network,GAN)在像素級圖像處理領域的優異表現，各種各樣基于神經網絡替代圖像處理流程的方法層出不窮。而這些方法通常既需要強大算力的支撐，又無法產生多樣化輸出，且模型在真實場景中的泛化能力也難以保證，無法滿足監控場景的實際需求。為了解決上述問題，Mosleh等人提出硬件內循環端到端優化方法，但該方法需要聯合硬件設備進行優化，靈活性較低且優化時間較長。Kosugi等人提出基于強化學習(Reinforcement Learning)的優化方法，但該方法不能滿足黑盒(Black-box)硬件圖像處理超參數優化的需求。

發明內容

針對現有技術中的問題，本發明的目的在于提供一種圖像處理超參數優化方法、系統、設備及存儲介質，實現全自動、無需人力參與的圖像處理超參數優化，優化后的參數可以適用于軟件或硬件的圖像處理流程。

本發明實施例提供一種圖像處理超參數優化方法，包括如下步驟：

對各個圖像處理超參數進行采樣，得到多個訓練超參數組；

采集原始圖像，基于每個所述訓練超參數組和預設的圖像處理流程對所述原始圖像進行處理，得到每個所述訓練超參數組對應的第一參照圖像，并對所述原始圖像的同一場景采集第二參照圖像；

將所述原始圖像和每個所述訓練超參數作為圖像處理模擬模型的輸入數據，將所述第一參照圖像作為標簽數據，訓練所述圖像處理模擬模型；

將所述原始圖像和初始化超參數組作為所述圖像處理模擬模型的輸入數據，所述第二參照圖像作為標簽數據，優化所述初始化超參數，得到優化后超參數組。

本發明的圖像處理超參數優化方法首先采樣訓練超參數組、采集原始圖像、并采集對應的參照圖像作為后續使用的標簽圖像，然后構建和訓練一個代理的圖像處理模擬模型，采用該模型來模擬圖像處理流程，可以替代傳統硬件或軟件圖像處理流程，通過該模型建立參數配置空間和評估指標之間的映射，然后基于該圖像處理模擬模型來優化所述初始化超參數，實現了全自動、無需人力參與的圖像處理超參數優化，優化后的參數可以適用于軟件或硬件的圖像處理流程。

在一些實施例中，將所述原始圖像和每個所述訓練超參數作為圖像處理模擬模型的輸入數據，將所述第一參照圖像作為標簽數據，訓練所述圖像處理模擬模型，包括如下步驟：