[發(fā)明專利]一種輕量化圖像和視頻質(zhì)量重建方法、裝置和設(shè)備

在審

• 申請?zhí)枺?/td>: 202210263487.7
• 申請日: 2022-03-17
• 公開（公告）號: CN114638756A
• 公開（公告）日: 2022-06-17
• 發(fā)明（設(shè)計）人: 張東陽;譚嵩;周記生
• 申請（專利權(quán)）人: 湖南快樂陽光互動娛樂傳媒有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40;G06V10/77;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 姚璐華

1.一種輕量化圖像和視頻質(zhì)量重建方法，其特征在于，包括：

獲取待處理圖像；

對所述待處理圖像進行X倍降采樣處理，并進行通道擴展，得到第一特征圖；

對所述第一特征圖進行低級特征提取；

對提取到的低級特征進行N倍上采樣，所述N不小于2；

對所述N倍上采樣的采樣結(jié)果進行高級特征提取，得到重建特征；

對所述重建特征進行M倍上采樣，所述M不小于2；

采用預(yù)設(shè)的高頻注意力結(jié)構(gòu)對所述待處理圖像提取高頻特征圖并和M倍上采樣的采樣結(jié)果進行處理得到增強高頻后的結(jié)果圖。

2.根據(jù)權(quán)利要求1所述的輕量化圖像和視頻質(zhì)量重建方法，其特征在于，對所述待處理圖像進行X倍降采樣處理，并進行通道擴展，得到第一特征圖，包括：

采用預(yù)設(shè)卷積核與所述待處理圖像進行步長為X的卷積操作，得到降采樣X倍的特征圖，記為第一特征圖；

對所述第一特征圖進行一次非線性變換，以擴展第一特征圖的通道數(shù)。

3.根據(jù)權(quán)利要求2所述的輕量化圖像和視頻質(zhì)量重建方法，其特征在于，對所述第一特征圖進行一次非線性變換，包括：

采用信息增強模塊對所述第一特征圖進行一次非線性變換。

4.根據(jù)權(quán)利要求2所述的輕量化圖像和視頻質(zhì)量重建方法，其特征在于，對所述第一特征圖進行低級特征提取，包括：

采用特征增強的特征增強蒸餾模塊對所述第一特征圖的通道進行第一次蒸餾，由所述第一特征圖的通道中蒸餾出A個通道的特征圖，記為第一蒸餾特征圖，所述A為一個預(yù)設(shè)的正整數(shù)；

對于第一次蒸餾剩余的通道對應(yīng)的特征圖進行特征提取和通道降維操作，記為第一降維特征圖；

采用特征增強的特征增強蒸餾模塊對所述第一降維特征圖的通道進行第二次蒸餾，由所述第一降維特征圖的通道中蒸餾出C個通道的特征圖，記為第二蒸餾特征圖；

對于第二次蒸餾剩余的通道對應(yīng)的特征圖進行特征提取和通道降維操作，得到B個通道的特征圖，記為第二降維特征圖，所述B為對所述待處理圖像進行X倍降采樣處理后的通道數(shù)；

對所述第一特征圖、第一蒸餾特征圖、第二蒸餾特征圖以及第二降維特征圖在通道維度進行融合，得到第一融合特征圖；

再對所述第一融合特征圖進行特征融合和通道降維，得到具有D個通道的特征圖，記為第二特征圖；

然后對所述第二特征圖進行特征提取，得到第三特征圖，該特征提取結(jié)果即為低級特征提取結(jié)果。

5.根據(jù)權(quán)利要求4所述的輕量化圖像和視頻質(zhì)量重建方法，其特征在于，對提取到的低級特征進行N倍上采樣，所述N不小于2，包括：

將對所述第三特征圖與所述第二特征圖在通道維度上進行融合，并采用1*1卷積對融合結(jié)果進行特征融合，得到第四特征圖；

對所述第四特征圖進行一次2倍上采樣。

6.根據(jù)權(quán)利要求5所述的輕量化圖像和視頻質(zhì)量重建方法，其特征在于，對所述N倍上采樣的采樣結(jié)果進行高級特征提取，得到重建特征，包括：

采用特征增強的特征增強蒸餾模塊對所述第四特征圖的2倍上采樣結(jié)果進行高級特征提取，得到重建特征。

7.根據(jù)權(quán)利要求6所述的輕量化圖像和視頻質(zhì)量重建方法，其特征在于，對所述重建特征進行M倍上采樣為：

對所述重建特征進行2倍上采樣。