[發明專利]VR視頻的處理方法、裝置和電子設備

在審

• 申請號: 202010625574.3
• 申請日: 2020-06-30
• 公開（公告）號: CN111757087A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 魯方波;汪賢;樊鴻飛;蔡媛
• 申請（專利權）人: 北京金山云網絡技術有限公司
• 主分類號: H04N13/243
• 分類號: H04N13/243;H04N13/139;H04N21/81;H04N21/4402;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 徐麗

1.一種VR視頻的處理方法，其特征在于，包括：

獲取待處理的VR視頻；

通過預先訓練好的視頻超分模型和視頻插幀模型，對所述VR視頻進行超分辨率處理和插幀視頻處理，得到處理后的VR視頻。

2.根據權利要求1所述的VR視頻的處理方法，其特征在于，所述通過預先訓練好的視頻超分模型和視頻插幀模型，對所述VR視頻進行超分辨率處理和插幀視頻處理，得到處理后的VR視頻的步驟，包括：

通過預先訓練好的視頻超分模型，對所述VR視頻進行超分辨率處理，得到分辨率優化后的VR視頻；通過預先訓練好的視頻插幀模型，對分辨率優化后的所述VR視頻進行插幀視頻處理，得到處理后的VR視頻；

或者，

通過預先訓練好的視頻插幀模型，對所述VR視頻進行插幀視頻處理，得到幀率優化后的VR視頻；通過預先訓練好的視頻超分模型，對幀率優化后的所述VR視頻進行超分辨率處理，得到處理后的VR視頻。

3.根據權利要求1所述的VR視頻的處理方法，其特征在于，所述視頻超分模型通過下述方式訓練得到：

獲取預設的VR視頻原始數據；

對所述VR視頻原始數據進行視頻質量降級處理，得到清晰度降低后的VR視頻數據；

以清晰度降低后的所述VR視頻數據和所述VR視頻原始數據為訓練集，訓練預設的神經網絡，得到視頻超分模型。

4.根據權利要求3所述的VR視頻的處理方法，其特征在于，所述對所述VR視頻原始數據進行視頻質量降級處理，得到清晰度降低后的VR視頻數據的步驟，包括：

對所述VR視頻原始數據進行視頻編碼處理和/或視頻扭曲形變處理，得到清晰度降低后的VR視頻數據。

5.根據權利要求1所述的VR視頻的處理方法，其特征在于，所述獲取待處理的VR視頻的步驟，包括：

獲取預設VR攝像設備在不同視覺角度下拍攝得到的多個初始視頻；

對所述多個初始視頻進行投影矯正處理，得到矯正后的視頻；

對矯正后的所述視頻進行圖像拼接處理，得到連續畫面的待處理的VR視頻。

6.根據權利要求5所述的VR視頻的處理方法，其特征在于，所述對矯正后的所述視頻進行圖像拼接處理，得到連續畫面的待處理的VR視頻的步驟，包括：

對矯正后的所述視頻的每一視頻幀，提取所述視頻幀的特征向量；

根據所述特征向量對所述視頻幀進行特征匹配和圖像變換，得到圖像配置后的視頻幀；

對圖像配置后的所述視頻幀進行圖像融合處理，得到連續畫面的待處理的VR視頻。

7.根據權利要求5所述的VR視頻的處理方法，其特征在于，所述對所述多個初始視頻進行投影矯正處理，得到矯正后的視頻的步驟，包括：

通過柱面投影或球面投影，將所述多個初始視頻投影到統一的坐標系；

對投影后的所述初始視頻中圖像的旋轉角度進行矯正，得到矯正后的視頻。

8.一種VR視頻的處理裝置，其特征在于，包括：

待處理VR視頻獲取模塊，用于獲取待處理的VR視頻；

超分與插幀處理模塊，用于通過預先訓練好的視頻超分模型和視頻插幀模型，對所述VR視頻進行超分辨率處理和插幀視頻處理，得到處理后的VR視頻。

9.根據權利要求8所述的VR視頻的處理裝置，其特征在于，所述超分與插幀處理模塊還用于：

通過預先訓練好的視頻超分模型，對所述VR視頻進行超分辨率處理，得到分辨率優化后的VR視頻；通過預先訓練好的視頻插幀模型，對分辨率優化后的所述VR視頻進行插幀視頻處理，得到處理后的VR視頻；

或者，

通過預先訓練好的視頻插幀模型，對所述VR視頻進行插幀視頻處理，得到幀率優化后的VR視頻；通過預先訓練好的視頻超分模型，對幀率優化后的所述VR視頻進行超分辨率處理，得到處理后的VR視頻。