[發明專利]一種全景影像處理方法、裝置及系統

有效

• 申請號: 202010322704.6
• 申請日: 2020-04-22
• 公開（公告）號: CN111556304B
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 尤志翔;孫銘蔚;李瓊輝
• 申請（專利權）人: 浙江未來技術研究院（嘉興）
• 主分類號: H04N13/106
• 分類號: H04N13/106;H04N13/122
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 孫志一

本發明實施例公開了一種全景影像處理方法、裝置及系統，其中，所述方法包括：對原始全景影像進行投影變換，并拆分為左右眼矩形全景圖像；對所述左右眼矩形全景圖像進行視差分析；根據視差分析結果，對所述左右眼矩形全景圖像進行遮罩區域計算處理，并根據計算處理結果在所述左右眼矩形全景圖像中進行遮罩添加處理；將添加遮罩后的左右眼矩形全景圖像合并為雙目立體全景影像，根據預設的逆變換規則將所述雙目立體全景影像還原為目標全景影像，并輸出所述目標全景影像。采用本發明所述的方法，能夠利用圖像遮罩調整原始影像中頂視角和底視角圖像的立體視差，解決目前全景影像存在的立體視覺沖突問題，從而有效改善用戶使用VR設備時的眩暈感。

技術領域

本發明實施例涉及人工智能技術領域，具體涉及一種全景影像處理方法和裝置。另外，還涉及一種電子設備和存儲介質。

背景技術

近年來，全景影像在社會生活中的應用越來越廣泛。用戶使用虛擬現實(VR)眼鏡、頭盔等設備時，能體會全景影像帶來的身臨其境的沉浸感。在全景影像中加入雙眼立體視差時，沉浸感和逼真度會進一步增強，但是不正確的雙眼立體視差則會造成強烈的視覺沖突和眩暈感，嚴重影響觀看舒適度。

目前，使用全景攝像機拍攝真實場景或基于3DS MAX、MAYA等三維軟件制作虛擬場景是常見的全景影像內容生成方式。為全景影像加入雙眼立體視差時，需要在常規的2D全景攝像機(真實場景中的相機或三維軟件中的虛擬相機)系統中增加額外的立體相機。人的立體視覺是水平排列的左、右眼形成具有細微差別的雙視點圖像融合而成，根據這個原理，在真實的立體相機系統或虛擬的相機系統中，雙視點圖像通常也是水平排列的。在VR設備中觀看水平排列相機系統拍攝制作的全景影像時，左右眼水平視角或小角度傾斜觀看時雙眼立體視差才是正確的。但是當用戶大角度抬頭(看天)或低頭(看地)時，左右眼角度和立體拍攝角度很難重合，造成雙目立體視差不正確，會導致用戶視覺上產生強烈的不適感。因此，有必要針對現有全景影像中雙目立體視差的不足之處提出改進方案。

發明內容

為此，本發明實施例提供一種全景影像處理方法，以解決現有技術中存在的全景影像存在的立體視覺沖突，造成雙目立體視差不正確，會導致用戶視覺上產生強烈的不適感的問題。

為了實現上述目的，本發明實施例提供如下技術方案：

根據本發明實施例提供的一種全景影像處理方法，包括：對原始全景影像進行投影變換，并拆分為左右眼矩形全景圖像；對所述左右眼矩形全景圖像進行視差分析；根據視差分析結果，對所述左右眼矩形全景圖像進行遮罩區域計算處理，并根據計算處理結果在所述左右眼矩形全景圖像中進行遮罩添加處理；將添加遮罩后的左右眼矩形全景圖像合并為雙目立體全景影像，根據預設的逆變換規則將所述雙目立體全景影像還原為目標全景影像，并輸出所述目標全景影像。

進一步的，對所述左右眼矩形全景圖像進行視差分析，具體包括：計算所述左右眼矩形全景圖像的立體視差，獲得視差圖。

進一步的，所述根據視差分析結果，對所述左右眼矩形全景圖像進行遮罩區域計算處理，并根據計算處理結果在所述左右眼矩形全景圖像中進行遮罩添加處理，具體包括：基于視差圖，計算所述左右眼矩形全景圖像中需要添加頂視角遮罩和底視角遮罩的區域，分別在所述左右眼矩形全景圖像中相應的區域添加頂視角遮罩和底視角遮罩。

進一步的，所述對原始全景影像進行投影變換，并拆分為左右眼矩形全景圖像，具體為：根據預設的全景影像投影變換規則，將原始全景影像格式變換為面積投影格式下的矩形雙目立體全景影像，并將所述矩形雙目立體全景影像中的矩形全景圖像拆分為大小一致的左右眼矩形全景圖像。