[發明專利]建立圖像增強模型與圖像增強的方法、裝置

在審

• 申請號: 202011550778.1
• 申請日: 2020-12-24
• 公開（公告）號: CN112541878A
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 李超;何棟梁;高文靈;李甫;孫昊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T5/30
• 分類號: G06T5/30;G06N3/04;G06N3/08
• 代理公司: 北京鴻德海業知識產權代理有限公司 11412
• 代理人: 田宏賓

1.一種建立圖像增強模型的方法，包括：

獲取訓練數據，所述訓練數據中包含多個視頻幀以及對應各視頻幀的標準圖像；

構建由特征提取模塊、至少一個通道膨脹卷積模塊與空間上采樣模塊組成的神經網絡模型，其中每個通道膨脹卷積模塊包含空間下采樣子模塊、通道膨脹子模塊與空間上采樣子模塊；

使用各視頻幀以及對應各視頻幀的標準圖像對所述神經網絡模型進行訓練，直至所述神經網絡模型收斂，得到圖像增強模型。

2.根據權利要求1所述的方法，其中，所述構建由特征提取模塊、至少一個通道膨脹卷積模塊與空間上采樣模塊組成的神經網絡模型包括：

構建包含第一逐通道卷積層與第一逐點卷積層的空間下采樣子模塊，所述第一逐通道卷積層與第一逐點卷積層的通道數為第一通道數。

3.根據權利要求1所述的方法，其中，所述構建由特征提取模塊、至少一個通道膨脹卷積模塊與空間上采樣模塊組成的神經網絡模型包括：

構建包含第一通道膨脹層、第二通道膨脹層與通道收縮層的通道膨脹子模塊；

所述第一通道膨脹層包含第二逐通道卷積層與第二逐點卷積層，所述第二逐通道卷積層與第二逐點卷積層的通道數為第二通道數；

所述第二通道膨脹層包含第三逐點卷積層，所述第三逐點卷積層的通道數為第三通道數；

所述通道收縮層包含第四逐通道卷積層與第四逐點卷積層，所述第四逐通道卷積層與第四逐點卷積層的通道數為第一通道數。

4.根據權利要求1所述的方法，其中，所述構建由特征提取模塊、至少一個通道膨脹卷積模塊與空間上采樣模塊組成的神經網絡模型包括：

構建包含第五逐通道卷積層與第五逐點卷積層的空間上采樣子模塊，所述第五逐通道卷積層與第五逐點卷積層的通道數為第一通道數。

5.根據權利要求1所述的方法，其中，所述使用各視頻幀以及對應各視頻幀的標準圖像對所述神經網絡模型進行訓練，直至所述神經網絡模型收斂包括：

獲取各視頻幀對應的相鄰視頻幀；

將各視頻幀與各視頻幀對應的相鄰視頻幀作為所述神經網絡模型的輸入，得到所述神經網絡模型針對各視頻幀的輸出結果；

根據各視頻幀的輸出結果與對應各視頻幀的標準圖像計算損失函數；

在確定計算得到的損失函數收斂的情況下，完成對所述神經網絡模型的訓練。

6.根據權利要求1所述的方法，還包括，

在使用各視頻幀以及對應各視頻幀的標準圖像對所述神經網絡模型進行訓練，直至所述神經網絡模型收斂之后，確定已收斂的神經網絡模型是否滿足預設的訓練要求；

若是，則停止訓練，得到圖像增強模型；

否則，將預設個數的通道膨脹卷積模塊添加至神經網絡模型中通道膨脹卷積模塊的末尾；

使用各視頻幀以及對應各視頻幀的標準圖像對添加通道膨脹卷積模塊之后的神經網絡模型進行訓練；

在確定該神經網絡模型收斂之后，轉至執行確定已收斂的神經網絡模型是否滿足預設的訓練要求的步驟，以此循環進行，直至確定已收斂的神經網絡模型滿足預設的訓練要求。

7.一種圖像增強的方法，包括：

獲取待處理視頻幀；

將所述待處理視頻幀作為圖像增強模型的輸入，將所述圖像增強模型的輸出結果作為所述待處理視頻幀的圖像增強結果；

其中，所述圖像增強模型是根據權利要求1-6中任一項方法預先訓練得到的。

8.根據權利要求7所述的方法，其中，所述將所述待處理視頻幀作為圖像增強模型的輸入包括：

獲取所述待處理視頻幀的相鄰視頻幀；

將所述待處理視頻幀與所述相鄰視頻幀作為所述圖像增強模型的輸入。