[發(fā)明專利]一種視頻圖像處理方法、裝置、存儲(chǔ)介質(zhì)和終端設(shè)備

在審

• 申請?zhí)枺?/td>: 202111464226.3
• 申請日: 2021-12-03
• 公開（公告）號(hào): CN114140324A
• 公開（公告）日: 2022-03-04
• 發(fā)明（設(shè)計(jì)）人: 郭子奇
• 申請（專利權(quán)）人: 展訊通信（天津）有限公司
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T5/00
• 代理公司: 北京匯思誠業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11444
• 代理人: 汪源

1.一種視頻圖像處理方法，其特征在于，包括：

獲取視頻圖像；

判斷所述視頻圖像的每秒傳輸幀數(shù)FPS是否小于設(shè)定幀數(shù)閾值；

若判斷出所述FPS小于設(shè)定幀數(shù)閾值，通過深度學(xué)習(xí)算法對所述視頻圖像進(jìn)行計(jì)算，生成增強(qiáng)圖像；

通過二維插值算法對所述增強(qiáng)圖像進(jìn)行計(jì)算，生成至少一個(gè)插值圖像；

根據(jù)所述增強(qiáng)圖像和所述至少一個(gè)插值圖像，生成視頻幀圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述視頻圖像包括當(dāng)前幀圖像和后一幀圖像，所述增強(qiáng)圖像包括當(dāng)前幀圖像對應(yīng)的增強(qiáng)圖像和后一幀圖像對應(yīng)的增強(qiáng)圖像；

所述通過深度學(xué)習(xí)算法對所述視頻圖像進(jìn)行計(jì)算，生成增強(qiáng)圖像，包括：

通過深度學(xué)習(xí)算法對當(dāng)前幀圖像和后一幀圖像進(jìn)行計(jì)算，生成當(dāng)前幀圖像對應(yīng)的增強(qiáng)圖像和后一幀圖像對應(yīng)的增強(qiáng)圖像；

所述通過二維插值算法對所述增強(qiáng)圖像進(jìn)行計(jì)算，生成至少一個(gè)插值圖像，包括：

根據(jù)生成的插值圖像的個(gè)數(shù)，通過二維插值算法對當(dāng)前幀圖像對應(yīng)的增強(qiáng)圖像和后一幀圖像對應(yīng)的增強(qiáng)圖像進(jìn)行計(jì)算，生成至少一個(gè)插值圖像；

所述根據(jù)所述增強(qiáng)圖像和所述至少一個(gè)插值圖像，生成視頻幀圖像，包括：

將所述至少一個(gè)插值圖像在所述當(dāng)前幀圖像對應(yīng)的增強(qiáng)圖像和所述后一幀圖像對應(yīng)的增強(qiáng)圖像之間進(jìn)行插幀，生成視頻幀圖像。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述通過深度學(xué)習(xí)算法對當(dāng)前幀圖像和后一幀圖像進(jìn)行計(jì)算，生成當(dāng)前幀圖像對應(yīng)的增強(qiáng)圖像和后一幀圖像對應(yīng)的增強(qiáng)圖像，包括：

通過卷積神經(jīng)網(wǎng)絡(luò)CNN算法提取所述當(dāng)前幀圖像的第一空間特征信息；

通過門控循環(huán)單元GRU算法提取所述當(dāng)前幀圖像的第一時(shí)域特征信息；

根據(jù)所述第一空間特征信息和所述第一時(shí)域特征信息生成當(dāng)前幀圖像對應(yīng)的增強(qiáng)圖像；

通過卷積神經(jīng)網(wǎng)絡(luò)CNN算法提取所述后一幀圖像的第二空間特征信息；

通過門控循環(huán)單元GRU算法提取所述后一幀圖像的第二時(shí)域特征信息；

根據(jù)所述第二空間特征信息和所述第二時(shí)域特征信息生成后一幀圖像對應(yīng)的增強(qiáng)圖像。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述第一空間特征信息和所述第一時(shí)域特征信息生成當(dāng)前幀圖像對應(yīng)的增強(qiáng)圖像，包括：

通過卷積門控合并單元CGMU算法對所述第一空間特征信息和所述第一時(shí)域特征信息進(jìn)行卷積計(jì)算，生成當(dāng)前幀圖像對應(yīng)的增強(qiáng)圖像。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述第二空間特征信息和所述第二時(shí)域特征信息生成后一幀圖像對應(yīng)的增強(qiáng)圖像，包括：

通過卷積門控合并單元CGMU算法對所述第二空間特征信息和所述第二時(shí)域特征信息進(jìn)行卷積計(jì)算，生成后一幀圖像對應(yīng)的增強(qiáng)圖像。

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)生成的插值圖像的個(gè)數(shù)，通過二維插值算法對當(dāng)前幀圖像對應(yīng)的增強(qiáng)圖像和后一幀圖像對應(yīng)的增強(qiáng)圖像進(jìn)行計(jì)算，生成至少一個(gè)插值圖像之前，還包括：

根據(jù)所述FPS和設(shè)置的目標(biāo)FPS，生成所述插值圖像的個(gè)數(shù)。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

若判斷出所述FPS大于或等于設(shè)定幀數(shù)閾值，繼續(xù)執(zhí)行所述獲取視頻圖像的步驟。

8.一種視頻圖像處理裝置，其特征在于，包括：

獲取模塊，用于獲取視頻圖像；

判斷模塊，用于判斷所述視頻圖像的每秒傳輸幀數(shù)FPS是否小于設(shè)定幀數(shù)閾值，若判斷出所述FPS小于設(shè)定幀數(shù)閾值，觸發(fā)第一生成模塊通過深度學(xué)習(xí)算法對所述視頻圖像進(jìn)行計(jì)算，生成增強(qiáng)圖像；

第二生成模塊，用于通過二維插值算法對所述增強(qiáng)圖像進(jìn)行計(jì)算，生成至少一個(gè)插值圖像；

第三生成模塊，用于根據(jù)所述增強(qiáng)圖像和所述至少一個(gè)插值圖像，生成視頻幀圖像。