[發明專利]VR視頻的處理方法、裝置及電子設備

有效

• 申請號: 202010748086.1
• 申請日: 2020-07-29
• 公開（公告）號: CN111787300B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 魯方波
• 申請（專利權）人: 北京金山云網絡技術有限公司
• 主分類號: H04N13/122
• 分類號: H04N13/122;H04N13/139;G06T5/00
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 徐麗

本發明提供了一種VR視頻的處理方法、裝置及電子設備，該方法包括獲取待處理VR視頻；通過預先訓練好的多個圖像失真修復模型，分別對該待處理VR視頻進行修復處理，得到多個修復后的VR視頻；確定每種圖像失真類型對該待處理VR視頻造成的失真程度；根據該失真程度對上述多個修復后的VR視頻進行加權融合，得到處理后的VR視頻。本發明實施例通過圖像失真修復模型分別對待處理的VR視頻進行不同圖像失真類型的修復處理，再結合不同圖像失真類型對該VR視頻的失真貢獻的比重，對修復處理得到的視頻進行加權融合，得到最終的VR視頻，該方式對VR視頻的所有畫面區域均進行了修復，具有更好的泛化性，且實施成本也更加低廉。

技術領域

本發明涉及圖像處理技術領域，尤其是涉及一種VR視頻的處理方法、裝置及電子設備。

背景技術

隨著VR技術的發展，用戶對VR設備提供的視頻畫質的清晰度的要求也越來越高。目前，視頻超分辨率技術被用于提升視頻或圖像的分辨率和畫質。但是，由于VR視頻本身的畸變較大，以及畫面質量分布不均勻等特點，相關技術中的視頻超分辨率方法在VR視頻場景中仍無法取得較為滿意的效果。

發明內容

有鑒于此，本發明的目的在于提供一種VR視頻的處理方法、裝置及電子設備，可以降低對VR視頻進行超分辨率處理的成本，并且超分處理得到的VR視頻具有更優的泛化性。

第一方面，本發明實施例提供了一種VR視頻的處理方法，包括：獲取待處理VR視頻；通過預先訓練好的多個圖像失真修復模型，分別對該待處理VR視頻進行修復處理，得到多個修復后的VR視頻；其中，每個失真修復模型用于修復該待處理VR視頻的一種圖像失真類型，且不同的圖像失真修復模型對應的圖像失真類型不同；確定每種圖像失真類型對該待處理VR視頻造成的失真程度；根據該失真程度對上述多個修復后的VR視頻進行加權融合，得到處理后的VR視頻。

在本發明較佳的實施例中，上述多個圖像失真修復模型包括：圖像去模糊模型和圖像去畸變模型；該圖像去模糊模型對應的圖像失真類型為圖像模糊，該圖像去模糊模型用于對圖像進行去模糊處理，得到清晰度優化的圖像；該圖像去畸變模型對應的圖像失真類型為圖像畸變，該圖像去畸變模型用于對圖像進行去畸變處理，得到清晰度優化的圖像。

在本發明較佳的實施例中，上述圖像去模糊模型通過下述方式訓練得到：獲取預設的第一初始VR視頻；對該第一初始VR視頻的圖像幀進行縮放和模糊處理，得到分辨率降低的第一VR視頻；以分辨率降低的該第一VR視頻和該第一初始VR視頻為訓練集，訓練預設的神經網絡，得到圖像去模糊模型。

在本發明較佳的實施例中，上述對該第一初始VR視頻的圖像幀進行縮放和模糊處理，得到分辨率降低的第一VR視頻的步驟，包括：按預設第一縮放倍數，對該第一初始VR視頻的每一幀圖像進行縮放，得到縮放后的VR視頻；對縮放后的該VR視頻進行高斯模糊處理，得到分辨率降低的第一VR視頻。

在本發明較佳的實施例中，上述以分辨率降低的該第一VR視頻和該第一初始VR視頻為訓練集，訓練預設的神經網絡，得到圖像去模糊模型的步驟，包括：以分辨率降低的該第一VR視頻為預設神經網絡的輸入，以該第一初始VR視頻為該神經網絡的輸出，訓練該神經網絡，直至滿足預設的訓練終止條件，得到訓練好的圖像去模糊模型。

在本發明較佳的實施例中，上述圖像去畸變模型通過下述方式訓練得到：獲取預設的第二初始VR視頻；對該第二初始VR視頻的圖像幀進行縮放和畸變處理，得到分辨率降低的第二VR視頻；以分辨率降低的該第二VR視頻和該第二初始VR視頻為訓練集，訓練預設的神經網絡，得到圖像去畸變模型。

在本發明較佳的實施例中，上述對該第二初始VR視頻的圖像幀進行縮放和畸變處理，得到分辨率降低的第二VR視頻的步驟，包括：按預設第二縮放倍數，對該第二初始VR視頻的每一幀圖像進行縮放，得到縮放后的VR視頻；對縮放后的該VR視頻進行桶形畸變處理，得到分辨率降低的第二VR視頻。