[發明專利]VR視頻的處理方法、裝置及電子設備

有效

• 申請號: 202010748086.1
• 申請日: 2020-07-29
• 公開（公告）號: CN111787300B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 魯方波
• 申請（專利權）人: 北京金山云網絡技術有限公司
• 主分類號: H04N13/122
• 分類號: H04N13/122;H04N13/139;G06T5/00
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 徐麗

1.一種VR視頻的處理方法，其特征在于，包括：

獲取待處理VR視頻；

通過預先訓練好的多個圖像失真修復模型，分別對所述待處理VR視頻進行修復處理，得到多個修復后的VR視頻；其中，每個所述失真修復模型用于修復所述待處理VR視頻的一種圖像失真類型，且不同的圖像失真修復模型對應的圖像失真類型不同；

確定每種所述圖像失真類型對所述待處理VR視頻造成的失真程度；

根據所述失真程度對所述多個修復后的VR視頻進行加權融合，得到處理后的VR視頻；

所述確定每種所述圖像失真類型對所述待處理VR視頻造成的失真程度的步驟，包括：獲取所述待處理VR視頻的圖像幀中每個像素點的緯度值；所述緯度值為所述像素點和觀看點的連線與水平面的夾角；根據所述緯度值，確定每種所述圖像失真類型對所述待處理VR視頻造成的失真程度。

2.根據權利要求1所述的VR視頻的處理方法，其特征在于，所述多個圖像失真修復模型包括：圖像去模糊模型和圖像去畸變模型；

所述圖像去模糊模型對應的圖像失真類型為圖像模糊，所述圖像去模糊模型用于對圖像進行去模糊處理，得到清晰度優化的圖像；

所述圖像去畸變模型對應的圖像失真類型為圖像畸變，所述圖像去畸變模型用于對圖像進行去畸變處理，得到清晰度優化的圖像。

3.根據權利要求2所述的VR視頻的處理方法，其特征在于，所述圖像去模糊模型通過下述方式訓練得到：

獲取預設的第一初始VR視頻；

對所述第一初始VR視頻的圖像幀進行縮放和模糊處理，得到分辨率降低的第一VR視頻；

以分辨率降低的所述第一VR視頻和所述第一初始VR視頻為訓練集，訓練預設的神經網絡，得到圖像去模糊模型。

4.根據權利要求3所述的VR視頻的處理方法，其特征在于，所述對所述第一初始VR視頻的圖像幀進行縮放和模糊處理，得到分辨率降低的第一VR視頻的步驟，包括：

按預設第一縮放倍數，對所述第一初始VR視頻的每一幀圖像進行縮放，得到縮放后的VR視頻；

對縮放后的所述VR視頻進行高斯模糊處理，得到分辨率降低的第一VR視頻。

5.根據權利要求3所述的VR視頻的處理方法，其特征在于，所述以分辨率降低的所述第一VR視頻和所述第一初始VR視頻為訓練集，訓練預設的神經網絡，得到圖像去模糊模型的步驟，包括：

以分辨率降低的所述第一VR視頻為預設神經網絡的輸入，以所述第一初始VR視頻為所述神經網絡的輸出，訓練所述神經網絡，直至滿足預設的訓練終止條件，得到訓練好的圖像去模糊模型。

6.根據權利要求2所述的VR視頻的處理方法，其特征在于，所述圖像去畸變模型通過下述方式訓練得到：

獲取預設的第二初始VR視頻；

對所述第二初始VR視頻的圖像幀進行縮放和畸變處理，得到分辨率降低的第二VR視頻；

以分辨率降低的所述第二VR視頻和所述第二初始VR視頻為訓練集，訓練預設的神經網絡，得到圖像去畸變模型。

7.根據權利要求6所述的VR視頻的處理方法，其特征在于，所述對所述第二初始VR視頻的圖像幀進行縮放和畸變處理，得到分辨率降低的第二VR視頻的步驟，包括：

按預設第二縮放倍數，對所述第二初始VR視頻的每一幀圖像進行縮放，得到縮放后的VR視頻；

對縮放后的所述VR視頻進行桶形畸變處理，得到分辨率降低的第二VR視頻。

8.根據權利要求1所述的VR視頻的處理方法，其特征在于，所述多個圖像失真修復模型包括圖像去模糊模型和圖像去畸變模型，所述圖像去模糊模型對應的圖像失真類型為圖像模糊，所述圖像去畸變模型對應的圖像失真類型為圖像畸變；

所述根據所述緯度值，確定每種所述圖像失真類型對所述待處理VR視頻造成的失真程度的步驟，包括：

將所述緯度值的余弦值，確定為圖像模糊對所述待處理VR視頻造成的失真程度；

將1減去所述余弦值得到的值，確定為圖像畸變對所述待處理VR視頻造成的失真程度。