[發明專利]分辨率的處理方法及裝置

有效

• 申請號: 201711236795.6
• 申請日: 2017-11-30
• 公開（公告）號: CN109862299B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 楊文瀚;汪文靖;劉家瑛;郭宗明
• 申請（專利權）人: 北京大學;北大方正集團有限公司;北京北大方正電子有限公司
• 主分類號: H04N7/01
• 分類號: H04N7/01
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 楊貝貝;劉芳

1.一種分辨率的處理方法，其特征在于，包括：

獲取待處理的目標低分辨率視頻數據；

采用訓練好的目標時空循環殘差卷積網絡將所述目標低分辨率視頻數據轉換成目標高分辨率視頻數據；

在獲取待處理的目標低分辨率視頻數據之前，所述方法還包括：

獲取預設高分辨率視頻數據；

采用高斯濾波器將所述預設高分辨率視頻數據轉換成對應的低分辨率視頻數據，并將所述低分辨率視頻數據放大到與所述預設高分辨率視頻數據相同的尺度；

獲取待訓練時空循環殘差卷積網絡；

采用所述預設高分辨率視頻數據及對應的低分辨率視頻數據訓練所述待訓練時空循環殘差卷積網絡，獲得所述目標時空循環殘差卷積網絡；

所述獲取待訓練時空循環殘差卷積網絡，包括：

建立時空循環殘差卷積網絡，包括9個序列層，其中，每個序列層包括多個狀態，每個狀態對應不同時刻的視頻幀；

采用三種卷積操作、時間殘差嵌入操作、特征支路操作、低分辨率支路操作和向前反饋操作來連接9個序列層和輸入輸出層的狀態，獲得所述待訓練時空循環殘差卷積網絡，所述三種卷積操作包括向前卷積操作、循環卷積操作和上下文卷積操作；

其中，輸入層和第1層由所述向前卷積操作連接，第1層和第2層之間、第2層和第3層之間、第4層和第5層之間及第5層和第6層之間由所述向前卷積操作和所述循環卷積操作連接，其中，第2、3、5、6層的不同時刻之間還存在上下文卷積操作，第1、3、4層之間和第4、6、7層之間通過特征支路操作連接，第3層和第4層之間、第6層和第7層之間、第8層、第9層由所述向前反饋操作連接，第7層和第8層之間由所述向前反饋和時間殘差嵌入操作連接，第9層和輸出層之間由所述低分辨率支路操作連接。

2.根據權利要求1所述的方法，其特征在于，所述獲取預設高分辨率視頻數據，包括：

從第一預設數量的高分辨率視頻序列中采集第二預設數量的視頻片段；

將所述視頻片段剪切成第三預設數量的重疊的視頻組塊，每個所述視頻組塊包含第四預設數量的在時間域上相鄰、在空間域上相同的視頻塊。

3.根據權利要求1所述的方法，其特征在于，在采用訓練好的目標時空循環殘差卷積網絡將所述目標低分辨率視頻數據轉換成目標高分辨率視頻數據之后，所述方法還包括：

采用峰值信噪比PSNR和結構相似性SSIM評估標準對所述目標時空循環殘差卷積網絡進行評估處理。

4.一種分辨率的處理裝置，其特征在于，包括：

獲取模塊，用于獲取待處理的目標低分辨率視頻數據；

處理模塊，用于采用訓練好的目標時空循環殘差卷積網絡將所述目標低分辨率視頻數據轉換成目標高分辨率視頻數據；

所述獲取模塊，還用于獲取預設高分辨率視頻數據；

所述處理模塊，用于采用高斯濾波器將所述預設高分辨率視頻數據轉換成對應的低分辨率視頻數據，并將所述低分辨率視頻數據放大到與所述預設高分辨率視頻數據相同的尺度；

所述獲取模塊，還用于獲取待訓練時空循環殘差卷積網絡；

所述處理模塊，還用于采用所述預設高分辨率視頻數據及對應的低分辨率視頻數據訓練所述待訓練時空循環殘差卷積網絡，獲得所述目標時空循環殘差卷積網絡；

所述獲取模塊，具體用于：

建立時空循環殘差卷積網絡，包括9個序列層，其中，每個序列層包括多個狀態，每個狀態對應不同時刻的視頻幀；

采用三種卷積操作、時間殘差嵌入操作、特征支路操作、低分辨率支路操作和向前反饋操作來連接9個序列層和輸入輸出層的狀態，獲得所述待訓練時空循環殘差卷積網絡，所述三種卷積操作包括向前卷積操作、循環卷積操作和上下文卷積操作；

其中，輸入層和第1層由所述向前卷積操作連接，第1層和第2層之間、第2層和第3層之間、第4層和第5層之間及第5層和第6層之間由所述向前卷積操作和所述循環卷積操作連接，其中，第2、3、5、6層的不同時刻之間還存在上下文卷積操作，第1、3、4層之間和第4、6、7層之間通過特征支路操作連接，第3層和第4層之間、第6層和第7層之間、第8層、第9層由所述向前反饋操作連接，第7層和第8層之間由所述向前反饋和時間殘差嵌入操作連接，第9層和輸出層之間由所述低分辨率支路操作連接。