[發明專利]圖像超分模型及訓練方法、圖像超分方法、圖像處理方法

在審

• 申請號: 202310360610.1
• 申請日: 2023-04-06
• 公開（公告）號: CN116385266A
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 郭建君
• 申請（專利權）人: 北京蔚領時代科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/08;G06N3/048;G06N3/0464;G06N3/0475
• 代理公司: 北京智丞瀚方知識產權代理有限公司 11810
• 代理人: 楊樂

1.一種圖像超分模型，其特征在于：所述圖像超分模型（10）包括：

卷積模塊（11），所述卷積模塊（11）由以下一項或多項并行支路組成：

3×3卷積核、1×1卷積核、串行的1×1卷積核與3×3卷積核、串行的1×1卷積核與x方向上Sobel邊緣算子、串行的1×1卷積核與y方向上Sobel邊緣算子、串行的1×1卷積核與拉普拉斯邊緣算子、串行的1×1卷積核與高斯算子；

所述卷積模塊（11）按照預設的輸入通道數和輸出通道數進行卷積運算；

激活函數計算模塊（12）：使用預設的激活函數對所述卷積模塊（11）的輸出進行變換計算；

像素清洗模塊（13）：按照預設的規則和輸入圖像的通道數，將所述激活函數計算模塊（12）的輸出進行通道合并得到輸出圖像；所述輸出圖像的通道數等于所述輸入圖像的通道數。

2.如權利要求1所述的模型，其特征在于：

所述圖像超分模型（10），使用所述卷積模塊（11）進行M次卷積運算；

所述M次卷積運算中第i次卷積運算，其輸入通道數等于第i-1次卷積運算的輸出通道數；其輸出通道數等于第i+1次卷積運算的輸入通道數；第M次卷積運算的輸出通道數等于目標放大倍數×目標放大倍數×輸入圖像的通道數；其中，2≤i≤M-1；

每次所述卷積運算后，使用所述激活函數計算模塊（12）使用所述激活函數對所述卷積運算的輸出進行變換運算，當i≤M-1時，第i次所述變換運算的輸出作為第i+1次所述卷積運算的輸入；第M次所述變換運算的輸出作為所述像素清洗模塊（13）的輸入。

3.如權利要求2所述的模型，其特征在于：

所述M的取值范圍為1≤M≤10。

4.如權利要求1所述的模型，其特征在于：

所述激活函數計算模塊（12）使用的激活函數為：

RRelu函數：

；

或，

Leaky?Relu函數：

。

5.一種如權利要求1-4任意一項所述的圖像超分模型的訓練方法，其特征在于：包括以下步驟：

S101：輸入低分辨率圖像；

S102：使用所述的圖像超分模型（10）對所述低分辨率圖像進行處理；

S103：輸出目標圖像；

S104：依據所述目標圖像和所述低分辨率圖像對應的高分辨率圖像，計算目標函數；

S105：判斷步驟：當所述目標函數小于等于預設閾值時，訓練結束保存模型參數，并將所述圖像超分模型（10）的所述并行支路的每條支路進行串行合并后再將各并行支路進行并行合并得到圖像超分推理模型；

當所述目標函數大于所述預設閾值時，重復步驟S101-S104。

6.如權利要求5所述的方法，其特征在于：

所述步驟S102中所述圖像超分模型（10）使用的所述激活函數為RRelu函數。

7.一種圖像超分方法，其特征在于：使用如權利要求5或6所述的方法得到的所述圖像超分推理模型，包括以下步驟：

S201：輸入圖像；

S202：使用所述圖像超分推理模型對所述輸入圖像進行處理；

S203：輸出圖像。

8.如權利要求7所述的方法，其特征在于：

所述步驟S202中所述圖像超分模型（10）使用的所述激活函數為Leaky?Relu函數。

9.如權利要求7所述的方法，其特征在于：

所述輸入圖像為YUV格式或YCbCr格式圖片的Y通道。

10.一種圖像處理方法，其特征在于：包括：

S301：確定圖片中需要處理的目標區域；

S302：提取所述目標區域的邊框坐標；

S303：依據預設的任務劃分規則對所述目標區域劃分圖像超分任務；

S304：使用如權利要求7或8所述的圖像超分方法對所有的所述圖像超分任務進行處理；

S305：將步驟S304的輸出結果按照所述邊框坐標進行拼接，輸出處理完成的圖像。