[發明專利]圖像超分處理方法、裝置、設備及存儲介質

有效

• 申請號: 202110191879.2
• 申請日: 2021-02-19
• 公開（公告）號: CN113592709B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 謝植淮;李松南
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06T7/269;G06N3/0464;G06N3/0475;G06N3/048;G06N3/08
• 代理公司: 北京勵誠知識產權代理有限公司 11647
• 代理人: 趙爽

1.一種圖像超分處理方法，其特征在于，包括：

獲取第一圖像幀和第二圖像幀，所述第一圖像幀和所述第二圖像幀是相鄰兩幀圖像中的前一幀圖像和后一幀圖像；

根據所述第一圖像幀和所述第二圖像幀，確定所述第一圖像幀和所述第二圖像幀之間的光流矢量；

獲取所述第一圖像幀對應的第一超分圖像幀；

根據所述光流矢量、所述第二圖像幀和所述第一超分圖像幀，確定所述第二圖像幀對應的第二超分圖像幀；

其中，所述根據所述光流矢量、所述第二圖像幀和所述第一超分圖像幀，確定所述第二圖像幀對應的第二超分圖像幀，包括：

對所述光流矢量進行上采樣，以對上采樣后的光流矢量和所述第一超分圖像幀進行融合，得到融合圖像幀；

對所述融合圖像幀進行空間信息到通道信息上的轉換，得到轉換圖像幀，所述轉換圖像幀與所述第二圖像幀的尺寸相同；

對所述轉換圖像幀和所述第二圖像幀基于通道信息進行合并，得到第二合并圖像幀；

對所述第二合并圖像幀進行上采樣，得到第一上采樣圖像幀；

根據所述第一上采樣圖像幀，確定所述第二圖像幀對應的第二超分圖像幀。

2.根據權利要求1所述的方法，其特征在于，所述根據所述第一圖像幀和所述第二圖像幀，確定所述第一圖像幀和所述第二圖像幀之間的光流矢量，包括：

對所述第一圖像幀和所述第二圖像幀基于通道信息進行合并，得到第一合并圖像幀；

對所述第一合并圖像幀進行卷積、激活和池化操作，得到第一特征圖，所述第一特征圖相對所述第一合并圖像幀的尺寸縮小2n倍，n為正整數；

對所述第一特征圖進行卷積、激活和反卷積操作，得到第二特征圖，所述第二特征圖與所述第一合并圖像幀的尺寸相同；

對所述第二特征圖進行卷積和激活操作，得到所述光流矢量。

3.根據權利要求2所述的方法，其特征在于，所述對所述第一合并圖像幀進行卷積、激活和池化操作，得到第一特征圖，包括：

對所述第一合并圖像幀進行n輪第一操作，每輪所述第一操作依次包括：卷積、激活、卷積、激活和池化操作。

4.根據權利要求3所述的方法，其特征在于，所述對所述第一特征圖進行卷積、激活和反卷積操作，得到第二特征圖，包括：

對所述第一特征圖進行n輪第二操作，每輪所述第二操作依次包括：卷積、激活、卷積、激活和反卷積操作。

5.根據權利要求2-4任一項所述的方法，其特征在于，所述對所述第二特征圖進行卷積和激活操作，得到所述光流矢量，包括：

對所述第二特征圖進行第三操作，得到所述光流矢量，所述第三操作依次包括：卷積、第一激活、卷積、第二激活。

6.根據權利要求5所述的方法，其特征在于，所述第一激活對應relu激活函數，所述第二激活對應tanh激活函數。

7.根據權利要求1-4任一項所述的方法，其特征在于，所述對所述第二合并圖像幀進行上采樣，得到第一上采樣圖像幀之前，還包括：

對所述第二合并圖像幀進行卷積操作；或者，

通過殘差神經網絡對所述第二合并圖像幀進行處理；或者，

對所述第二合并圖像幀進行卷積操作，并通過殘差神經網絡對執行卷積操作后的第二合并圖像幀進行處理。

8.根據權利要求1-4任一項所述的方法，其特征在于，所述根據所述第一上采樣圖像幀，確定所述第二圖像幀對應的第二超分圖像幀之前，還包括：

對所述第二圖像幀進行上采樣，得到第二上采樣圖像幀；

所述根據所述第一上采樣圖像幀，確定所述第二圖像幀對應的第二超分圖像幀，包括：

根據所述第一上采樣圖像幀和所述第二上采樣圖像幀，確定所述第二圖像幀對應的第二超分圖像幀。