[發(fā)明專利]圖像處理方法及裝置、電子設備和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010129837.1
• 申請日: 2020-02-28
• 公開（公告）號: CN111369438B
• 公開（公告）日: 2022-07-26
• 發(fā)明（設計）人: 陳焯杰;余可;王鑫濤;董超;呂健勤;湯曉鷗
• 申請（專利權）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京林達劉知識產(chǎn)權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種圖像處理方法及裝置、電子設備和存儲介質(zhì)，所述方法包括：獲取視頻片段中第x+1個視頻幀的反向傳播特征及第x?1個視頻幀的正向傳播特征中的至少一項，其中，視頻片段包括N個視頻幀，N為大于2的整數(shù)，x為整數(shù)；根據(jù)所述第x個視頻幀、所述第x+1個視頻幀的反向傳播特征和所述第x?1個視頻幀的正向傳播特征中的至少一項，得到所述第x個視頻幀的重構特征；根據(jù)所述第x個視頻幀的重構特征對第x個視頻幀進行重構，得到與第x個視頻幀對應的目標視頻幀，所述目標視頻幀的分辨率高于所述第x個視頻幀的分辨率。本公開實施例可實現(xiàn)提高高分辨率圖像的重構效率，降低計算成本。

技術領域

本公開涉及計算機技術領域，尤其涉及一種圖像方法及裝置、電子設備和存儲介質(zhì)。

背景技術

視頻超分辨率旨在給定低分辨率視頻的情況下重建對應的高分辨率視頻。相關技術采用多個低分辨率視頻幀預測一個高分辨率視頻幀，由于重復進行特征提取和運動補償導致耗時長，效率低下，并且當采用的低分辨率視頻幀的幀數(shù)較小時，會導致忽略來自較遠幀的信息，從而導致精準度不夠，但是采用的低分辨率視頻幀的幀數(shù)較大時，又會顯著增加計算成本。

發(fā)明內(nèi)容

本公開提出了一種用于重建高分辨率視頻幀的技術方案。

根據(jù)本公開的一方面，提供了一種圖像處理方法，包括：

獲取視頻片段中第x+1個視頻幀的反向傳播特征及第x-1個視頻幀的正向傳播特征中的至少一項，其中，視頻片段包括N個視頻幀，N為大于2的整數(shù)，x為整數(shù)；

根據(jù)所述第x個視頻幀、所述第x+1個視頻幀的反向傳播特征和所述第x-1個視頻幀的正向傳播特征中的至少一項，得到所述第x個視頻幀的重構特征；

根據(jù)所述第x個視頻幀的重構特征對第x個視頻幀進行重構，得到與第x個視頻幀對應的目標視頻幀，所述目標視頻幀的分辨率高于所述第x個視頻幀的分辨率。

在一種可能的實現(xiàn)方式中，1xN，所述根據(jù)所述第x個視頻幀、所述第x+1個視頻幀的反向傳播特征和所述第x-1個視頻幀的正向傳播特征中的至少一項，得到所述第x個視頻幀的重構特征，包括：

根據(jù)所述第x個視頻幀、所述第x+1個視頻幀及所述第x+1個視頻幀的反向傳播特征，確定所述第x個視頻幀的反向傳播特征；

根據(jù)所述第x個視頻幀、所述第x-1個視頻幀、所述第x-1個視頻幀的正向傳播特征及所述第x個視頻幀的反向傳播特征，確定所述第x個視頻幀的正向傳播特征；

將所述第x個視頻幀的正向傳播特征作為所述第x個視頻幀的重構特征。

在一種可能的實現(xiàn)方式中，所述根據(jù)所述第x個視頻幀、第x+1個視頻幀及所述第x+1個視頻幀的反向傳播特征，確定所述第x個視頻幀的反向傳播特征，包括：

根據(jù)所述第x個視頻幀及所述第x+1個視頻幀，得到第一光流圖；

根據(jù)所述第一光流圖對所述第x+1個視頻幀的反向傳播特征進行扭曲，得到扭曲后的反向傳播特征；

根據(jù)所述扭曲后的反向傳播特征及所述第x個視頻幀，得到所述第x個視頻幀的反向傳播特征。

在一種可能的實現(xiàn)方式中，所述根據(jù)所述第x個視頻幀、所述第x-1個視頻幀、所述第x-1個視頻幀的正向傳播特征、及所述第x個視頻幀的反向傳播特征，確定所述第x個視頻幀的正向傳播特征，包括：

根據(jù)所述第x個視頻幀及所述第x-1個視頻幀，得到第二光流圖；

根據(jù)所述第二光流圖對所述第x-1個視頻幀的正向傳播特征進行扭曲，得到扭曲后的正向傳播特征；

根據(jù)所述第x個視頻幀的反向傳播特征、所述扭曲后的正向傳播特征、及所述第x個視頻幀，得到所述第x個視頻幀的正向傳播特征。