[發(fā)明專利]實時4K視頻傳輸方法及裝置

在審

• 申請?zhí)枺?/td>: 202310041856.2
• 申請日: 2023-01-12
• 公開（公告）號: CN116132678A
• 公開（公告）日: 2023-05-16
• 發(fā)明（設計）人: 任杰;劉蓉慶;賈晨鴿;王煜華;陳煒航
• 申請（專利權）人: 陜西師范大學
• 主分類號: H04N19/132
• 分類號: H04N19/132;H04N19/146
• 代理公司: 西安恒泰知識產權代理事務所 61216
• 代理人: 周春霞

1.一種實時4K視頻傳輸方法，其特征在于，包括：

獲取所述待傳輸4K視頻在不同下采樣比例和SR頻率下的預期VMAF分數(shù)；

獲取所述待傳輸4K視頻在不同下采樣比例和SR頻率下的預期FPS值；

根據(jù)所述不同下采樣比例和SR頻率下的預期VMAF分數(shù)和所述不同下采樣比例和SR頻率下的預期FPS值，確定最優(yōu)的下采樣比例和最優(yōu)的SR頻率；基于所述最優(yōu)的下采樣比例對所述待傳輸4K視頻進行處理，得到低分辨率視頻；

根據(jù)所述低分辨率視頻和SR頻率，得到4K分辨率視頻。

2.如權利要求1所述的方法，其特征在于，其中，獲取所述待傳輸4K視頻在不同下采樣比例和SR頻率下的預期VMAF分數(shù)，包括：

提取所述待傳輸4K視頻在不同下采樣比例和SR頻率下的視頻特征；

將所述不同下采樣比例和SR頻率下的視頻特征輸入到VMAF預測模型中進行預測，得到不同下采樣比例和SR頻率下的預期VMAF分數(shù)。

3.如權利要求1所述的方法，其特征在于，所述視頻特征包括：平均時間信息、平均空間信息、平均色調、平均明度、平均飽和度、平均對比度、平均關鍵點數(shù)以及視頻大小。

4.如權利要求2所述的方法，其特征在于，所述VMAF預測模型為DNN網(wǎng)絡模型，包括輸入層、隱藏層和輸出層。

5.如權利要求2所述的方法，其特征在于，所述方法還包括對所述VMAF預測模型進行訓練，包括：

獲取不同下采樣比例和SR頻率下的4K視頻；

對所述不同下采樣比例和SR頻率下的4K視頻進行特征提取，得到不同下采樣比例和SR頻率下的視頻特征；

將所述不同下采樣比例和SR頻率下的視頻特征輸入到VMAF預測模型，進行迭代訓練，得到訓練后的VMAF預測模型。

6.如權利要求1所述的方法，其特征在于，其中，獲取所述待傳輸4K視頻在不同下采樣比例和SR頻率下的預期FPS值，包括：

提取所述待傳輸4K視頻在不同下采樣比例和SR頻率下的視頻特征；

將所述不同下采樣比例和SR頻率下的視頻特征輸入到FPS預測模型中進行預測，得到不同下采樣比例和SR頻率下的預期FPS值。

7.如權利要求6所述的方法，其特征在于，所述FPS預測模型包括線性回歸模型和FPS值計算模型。

8.如權利要求7所述的方法，其特征在于，所述方法還包括對所述線性回歸模型進行訓練，包括：

獲取不同下采樣比例和SR頻率下的4K視頻；

對所述不同下采樣比例和SR頻率下的4K視頻進行特征提取，得到不同下采樣比例和SR頻率下的視頻特征；

將所述不同下采樣比例和SR頻率下的視頻特征輸入到線性回歸模型，進行迭代訓練，得到訓練后的線性回歸模型。

9.如權利要求1所述的方法，其特征在于，其中，根據(jù)所述低分辨率視頻和SR頻率，得到4K分辨率視頻，包括：

針對所述低分辨率視頻提取SR頻率指定的視頻幀；

將所述SR頻率指定的視頻幀輸入到EDVR模型中，將所述SR頻率指定的視頻幀還原到4K分辨率；

采用雙三次插值方法將所述低分辨率視頻中除所述SR頻率指定的視頻幀外的其他視頻幀還原到4K分辨率。

10.一種實時4K視頻傳輸裝置，其特征在于，包括：移動端VMAF預測模塊、移動端FPS預測模塊、移動端選擇處理模塊和云端超分還原模塊；

所述移動端VMAF預測模塊用于獲取所述待傳輸4K視頻在不同下采樣比例和SR頻率下的預期VMAF分數(shù)；

所述移動端FPS預測模塊用于獲取所述待傳輸4K視頻在不同下采樣比例和SR頻率下的預期FPS值；

所述移動端選擇處理模塊用于根據(jù)所述不同下采樣比例和SR頻率下的預期VMAF分數(shù)和所述不同下采樣比例和SR頻率下的預期FPS值，確定最優(yōu)的下采樣比例和最優(yōu)的SR頻率；基于所述最優(yōu)的下采樣比例對所述待傳輸4K視頻進行處理，得到低分辨率視頻；

所述云端超分還原模塊用于根據(jù)所述低分辨率視頻和SR頻率，得到4K分辨率視頻。