[發明專利]VR視頻的處理方法、裝置和電子設備

在審

• 申請號: 202010625574.3
• 申請日: 2020-06-30
• 公開（公告）號: CN111757087A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 魯方波;汪賢;樊鴻飛;蔡媛
• 申請（專利權）人: 北京金山云網絡技術有限公司
• 主分類號: H04N13/243
• 分類號: H04N13/243;H04N13/139;H04N21/81;H04N21/4402;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 徐麗

本發明提供了一種VR視頻的處理方法、裝置和電子設備，涉及圖像處理技術領域，該方法包括獲取待處理的VR視頻；通過預先訓練好的視頻超分模型和視頻插幀模型，對該VR視頻進行超分辨率處理和插幀視頻處理，得到處理后的VR視頻。本發明實施例通過預先訓練視頻超分模型和視頻插幀模型，并通過視頻超分模型對VR視頻進行超分辨率處理，以提升其視頻分辨率，以及通過視頻插幀模型對VR視頻進行插幀視頻處理，以提高其視頻幀率，從而獲得清晰度及視頻畫質均更優的VR視頻，提升用戶的觀看體驗。

技術領域

本發明涉及圖像處理技術領域，尤其是涉及一種VR視頻的處理方法、裝置和電子設備。

背景技術

隨著VR(Virtual Reality，虛擬現實)技術的發展，用戶對VR設備提供的視頻畫質的清晰度的要求也越來越高，與此同時，VR相關硬件產品可支持的視頻分辨率及幀率也越來越高。對于VR產業生態來講，一個影響VR發展的重要因素是相關VR視頻的數目及視頻質量。VR拍攝設備一般較為昂貴，且對拍攝環境要求較高，受拍攝設備及拍攝條件等的限制，當前拍攝的可匹配高分辨率、高幀率VR硬件的視頻數目較少，而如果直接用目前較好的VR顯示設備，播放之前成像性能較差的拍攝設備所拍攝的VR視頻，則存在主觀畫質差的缺點，嚴重影響用戶的主觀感受。

目前，尚沒有方法可以在不增加VR拍攝設備成本的前提下，提升VR視頻的畫質。

發明內容

有鑒于此，本發明的目的在于提供一種VR視頻的處理方法、裝置和電子設備，可以在不增加VR拍攝設備成本的前提下，提升VR視頻的畫質。

第一方面，本發明實施例提供了一種VR視頻的處理方法，包括：獲取待處理的VR視頻；通過預先訓練好的視頻超分模型和視頻插幀模型，對該VR視頻進行超分辨率處理和插幀視頻處理，得到處理后的VR視頻。

在本發明較佳的實施例中，上述通過預先訓練好的視頻超分模型和視頻插幀模型，對該VR視頻進行超分辨率處理和插幀視頻處理，得到處理后的VR視頻的步驟，包括：通過預先訓練好的視頻超分模型，對該VR視頻進行超分辨率處理，得到分辨率優化后的VR視頻；通過預先訓練好的視頻插幀模型，對分辨率優化后的該VR視頻進行插幀視頻處理，得到處理后的VR視頻；或者，通過預先訓練好的視頻插幀模型，對該VR視頻進行插幀視頻處理，得到幀率優化后的VR視頻；通過預先訓練好的視頻超分模型，對幀率優化后的該VR視頻進行超分辨率處理，得到處理后的VR視頻。

在本發明較佳的實施例中，上述視頻超分模型通過下述方式訓練得到：獲取預設的VR視頻原始數據；對該VR視頻原始數據進行視頻質量降級處理，得到清晰度降低后的VR視頻數據；以清晰度降低后的該VR視頻數據和該VR視頻原始數據為訓練集，訓練預設的神經網絡，得到視頻超分模型。

在本發明較佳的實施例中，上述對該VR視頻原始數據進行視頻質量降級處理，得到清晰度降低后的VR視頻數據的步驟，包括：對該VR視頻原始數據進行視頻編碼處理和/或視頻扭曲形變處理，得到清晰度降低后的VR視頻數據。

在本發明較佳的實施例中，上述獲取預設的VR視頻原始數據的步驟，包括：獲取預設VR攝像設備在不同視覺角度下拍攝得到的多個初始視頻；對該多個初始視頻進行投影矯正處理，得到矯正后的視頻；對矯正后的該視頻進行圖像拼接處理，得到連續畫面的待處理的VR視頻。

在本發明較佳的實施例中，上述對矯正后的該視頻進行圖像拼接處理，得到連續畫面的待處理的VR視頻的步驟，包括：對矯正后的該視頻的每一視頻幀，提取該視頻幀的特征向量；根據該特征向量對該視頻幀進行特征匹配和圖像變換，得到圖像配置后的視頻幀；對圖像配置后的該視頻幀進行圖像融合處理，得到連續畫面的待處理的VR視頻。

在本發明較佳的實施例中，上述對該多個初始視頻進行投影矯正處理，得到矯正后的視頻的步驟，包括：通過柱面投影或球面投影，將該多個初始視頻投影到統一的坐標系；對投影后的該初始視頻中圖像的旋轉角度進行矯正，得到矯正后的視頻。