[發明專利]訓練方法和訓練裝置、圖像數據處理方法和裝置、電子設備及存儲介質

有效

• 申請號: 202110604844.7
• 申請日: 2021-05-31
• 公開（公告）號: CN113422950B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 謝秀峰;劉霽
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: H04N19/103
• 分類號: H04N19/103;H04N19/115;H04N19/124;G06T9/00;G06T9/20;G06N3/04;G06N3/08
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 王兆賡;蘇銀虹

本公開關于圖像數據處理模型的訓練方法和訓練裝置。所述訓練方法包括：將樣本圖像數據輸入到圖像數據處理模型，圖像數據處理模型包括圖像壓縮編碼器、圖像解碼器和圖像處理模塊，圖像壓縮編碼器對樣本圖像數據壓縮編碼，圖像解碼器對壓縮編碼的圖像數據解碼，圖像處理模塊對解碼的圖像數據進行圖像處理以獲取圖像處理預測結果；基于圖像處理預測結果和與預設目標結果，確定第一損失函數，基于壓縮編碼的圖像數據和圖像壓縮編碼器的壓縮參數確定約束條件，并根據第一損失函數和約束條件確定第二損失函數，其中，壓縮參數為圖像壓縮編碼器對樣本圖像數據壓縮編碼所使用的參數；基于第二損失函數對圖像壓縮編碼器以及圖像數據處理模塊進行聯合訓練。

技術領域

本公開涉及圖像數據處理技術，更具體地說，涉及一種圖像數據處理裝置的訓練方法和訓練裝置。

背景技術

基于神經網絡的人工智能(AI)推理已經在物聯網中得到廣泛應用，例如，智能可視門鈴等應用可以通過神經網絡推理實現人臉識別以及異常行為檢測報警等復雜功能。然而，直接在物聯網設備上運行神經網絡在通常情況下是不可行的。其原因是，這些物聯網設備通常成本較低，由電池驅動，運算能力很弱甚至沒有。因此，為了實現對物聯網數據的AI推理，目前較為常用的技術手段是將物聯網設備采集到的圖像或視頻信息通過無線上行鏈路傳輸到邊緣計算服務器(例如帶有圖形處理器(GPU)或者神經網絡處理器(NPU) 的移動終端)或者云計算服務器上。對這些圖像或視頻信息的復雜神經網絡推理由這些計算服務器運行。在如上所述的物聯網數據AI推理架構中，無線上行鏈路有限的頻譜帶寬是整個系統的瓶頸，限制了這種分布式的圖像數據處理模型的可擴展性。

發明內容

本公開提供一種圖像數據處理模型的訓練方法和訓練裝置，以至少解決上述相關技術中的問題，也可不解決任何上述問題。

根據本公開實施例的第一方面，提供一種圖像數據處理模型的訓練方法，所述訓練方法包括：將樣本圖像數據輸入到所述圖像數據處理模型，其中，所述圖像數據處理模型包括圖像壓縮編碼器、圖像解碼器和圖像處理模塊，所述圖像壓縮編碼器對所述樣本圖像數據進行壓縮編碼以獲取壓縮編碼的圖像數據，所述圖像解碼器對所述壓縮編碼的圖像數據進行解碼以獲取解碼的圖像數據，所述圖像處理模塊對所述解碼的圖像數據進行圖像處理以獲取所述圖像處理預測結果；基于所述圖像處理預測結果和與所述樣本圖像數據對應的預設目標結果，確定第一損失函數，基于所述壓縮編碼的圖像數據和所述圖像壓縮編碼器的壓縮參數確定約束條件，并根據所述第一損失函數和所述約束條件確定第二損失函數，其中，所述壓縮參數為所述圖像壓縮編碼器對所述樣本圖像數據進行壓縮編碼所使用的參數；基于所述第二損失函數對所述圖像壓縮編碼器以及所述圖像數據處理模塊進行聯合訓練，得到經過訓練的圖像數據處理模型。

可選地，所述約束條件可為通過使用所述壓縮參數對所述樣本圖像數據進行壓縮編碼得到的所述壓縮編碼的圖像數據的數據量不大于預設的目標閾值。

可選地，所述基于所述第二損失函數對所述圖像壓縮編碼器以及所述圖像數據處理模塊進行聯合訓練，可包括：對所述壓縮參數、所述圖像處理模塊的參數以及對偶變量進行訓練，直至所述第二損失函數的值滿足預設條件，其中，所述對偶變量是通過使用拉格朗日乘子法對由所述第一損失函數和所述約束條件構成的最優化模型進行轉化時產生的。

可選地，所述壓縮參數可以是所述圖像壓縮編碼器的頻譜量化表。

可選地，所述頻譜量化表可以是通過將所述頻譜量化表中的取整函數近似為可導函數而得到的。

可選地，用于確定所述壓縮編碼的圖像數據的數據量的數據量函數可以是通過將所述數據量函數中的至少一個不可導函數近似為可導函數而得到的。