[發明專利]圖像處理模型的微調訓練方法、裝置、介質和電子設備

在審

• 申請號: 202210466553.0
• 申請日: 2022-04-29
• 公開（公告）號: CN114781531A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 胡杰
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T5/00;G06V10/774
• 代理公司: 深圳市聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

本公開提供一種圖像處理模型的微調訓練方法、圖像處理模型的微調訓練裝置、計算機可讀介質和電子設備，涉及圖像處理技術領域。該方法包括：獲取圖像處理模型；圖像處理模型包括串聯的多個預訓練模型；基于預設樣本圖像、預訓練模型和預訓練模型在圖像處理模型中的串聯次序，對圖像處理模型中的待調整模型進行微調訓練，得到待調整模型對應的微調模型；待調整模型包括至少一個預訓練模型，且待調整模型至少包括圖像處理模型中串聯次序最末的預訓練模型；基于微調模型生成訓練后的圖像處理模型。本公開可以使得串聯次序最末的預訓練模型被微調為與串聯次序在前模型的輸出圖像相適配的狀態，進而避免無法適配導致的圖像處理結果存在缺陷的問題。

技術領域

本公開涉及圖像處理技術領域，具體涉及一種圖像處理模型的微調訓練方法、圖像處理模型的微調訓練裝置、計算機可讀介質和電子設備。

背景技術

隨著人工智能(Artificial Intelligence，AI)技術在圖像處理領域的不斷發展，越來越多的AI圖像處理技術被應用于圖像去噪、圖像去模糊、圖像超分辨率重建等圖像處理器(Image Signal Processor，ISP)的處理流程中，以替代傳統的處理技術。在學術領域，甚至已經開始嘗試通過單個AI模型替換整個ISP的處理流程，以實現真正的端到端，即從傳感器采集的原始數據到最終出圖均由單個AI模型實現。然而，在實際的部署中很難實現。

在相關技術中，通常采用單任務AI模型來替換ISP處理流程中的單個處理節點，通過單任務AI模型完成單個處理任務。例如，利用AI去噪替換ISP流程中某個傳統去噪節點、利用AI去模糊替換ISP流程中某個傳統去模糊節點等。

發明內容

本公開的目的在于提供一種圖像處理模型的微調訓練方法、圖像處理模型的微調訓練裝置、計算機可讀介質和電子設備，進而至少在一定程度上避免串聯次序在后的單任務AI圖像處理模型無法適配串聯次序在前的單任務AI圖像處理模型的輸出圖像，導致的圖像處理結果存在缺陷的問題。

根據本公開的第一方面，提供一種圖像處理模型的微調訓練方法，包括：獲取圖像處理模型，圖像處理模型包括串聯的多個預訓練模型；基于預設樣本圖像、預訓練模型和預訓練模型在圖像處理模型中的串聯次序，對圖像處理模型中的待調整模型進行微調訓練，得到待調整模型對應的微調模型；其中，待調整模型包括至少一個預訓練模型，且待調整模型至少包括圖像處理模型中串聯次序最末的預訓練模型；基于微調模型生成訓練后的圖像處理模型。

根據本公開的第二方面，提供一種圖像處理模型的微調訓練裝置，包括：模型獲取模塊，用于獲取圖像處理模型，圖像處理模型包括串聯的多個預訓練模型；微調訓練模塊，用于基于預設樣本圖像、預訓練模型和預訓練模型在圖像處理模型中的串聯次序，對圖像處理模型中的待調整模型進行微調訓練，得到待調整模型對應的微調模型；其中，待調整模型包括至少一個預訓練模型，且待調整模型至少包括圖像處理模型中串聯次序最末的預訓練模型；模型生成模塊，用于基于微調模型生成訓練后的圖像處理模型。

根據本公開的第三方面，提供一種計算機可讀介質，其上存儲有計算機程序，計算機程序被處理器執行時實現上述的方法。

根據本公開的第四方面，提供一種電子設備，其特征在于，包括：處理器；以及存儲器，用于存儲一個或多個程序，當一個或多個程序被一個或多個處理器執行時，使得一個或多個處理器實現上述的方法。

本公開的一種實施例所提供的圖像處理模型方法，考慮了預訓練模型在圖像處理模型中的串聯次序，并以此為依據，基于預設樣本圖像和預訓練模型對至少包括圖像處理模型中串聯次序最末的預訓練模型進行微調訓練，可以使得串聯次序最末的預訓練模型被微調為與串聯次序在前模型的輸出圖像相適配的狀態，進而避免無法適配導致的圖像處理結果存在缺陷的問題。

應當理解的是，以上的一般描述和后文的細節描述僅是示例性和解釋性的，并不能限制本公開。

附圖說明