[發明專利]虛擬3D場景的球面全景立體畫面生成與交互式顯示方法

有效

• 申請號: 202010841798.8
• 申請日: 2020-08-26
• 公開（公告）號: CN112002003B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 陳純毅;楊華民;蔣振剛
• 申請（專利權）人: 長春理工大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/06;G06T15/04;G06T15/55;G06T7/90;G06T19/20
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開一種虛擬3D場景的球面全景立體畫面生成與交互式顯示方法。本方法提供一種球面全景立體相機，其由一個虛擬成像球面和一個觀影圓定義，在此基礎上利用光線跟蹤技術根據虛擬3D場景模型生成球面全景立體畫面。球面全景立體畫面的左眼全景圖像和右眼全景圖像都覆蓋水平360度+豎直180度的視場范圍。本方法能夠在頭戴式顯示器上根據觀看者的頭部姿態，正確地顯示觀看者左右眼看到的球面全景立體畫面的局部視口區域，使觀看者獲得正確的立體視覺體驗。

技術領域

本發明涉及一種虛擬3D場景的球面全景立體畫面生成與交互式顯示方法，屬于三維圖形繪制與畫面顯示技術領域。

背景技術

當前，全景圖像已經成為一種常見的圖像類型。全景圖像是定義在球面域的圖像。嚴格地說，全景圖像是一種寬視場圖像，其視場范圍覆蓋水平360度+豎直180度的視域球確定的全部觀察方向。發表在ELSEVIER期刊《Signal Processing》2018年146卷66～78頁的論文“Recent advances in omnidirectional video coding for virtual reality:Projection and evaluation”對全景視頻的投影和評估問題進行過討論。實際上，全景視頻可以看成是由一組全景圖像畫面組成的序列，全景視頻處理的基礎是對全景圖像畫面的處理。在數學上，可以把全景圖像看作是定義在視域球表面上的球面圖像信號，其描述了視域球表面各個位置的顏色信息。目前，人們經常按等距柱面投影(EquirectangularProjection,ERP)方式用二維矩形圖像來存儲水平360度+豎直180度全景球面圖像信號。

發表在《Multimedia Tools and Applications》2010年47卷353～377頁的論文“Stereo panorama acquisition and automatic image disparity adjustment forstereoscopic visualization”敘述了全景立體成像方法，其中拍攝相機的視點需根據拍攝光軸方向的不同而在觀影圓上移動，觀影圓就是該論文圖6中的Base Circle，從觀影圓中心到視點的連線與拍攝光軸方向的夾角可視為拍攝光軸偏轉角(即該論文圖6中的Principle Angle)。《Multimedia Tools and Applications》2010年47卷353～377頁的論文考慮的是用實際相機拍攝真實場景以捕獲全景立體畫面。對于根據虛擬3D場景用計算機生成球面全景立體畫面的情形，則需要另外設計獨特的方法來確定虛擬成像球面上的像素采樣點的顏色值。球面全景立體畫面非常適合在頭戴式顯示設備(例如Occulus Rift、索尼PlayStation VR、Samsung Gear VR)上觀看。然而，不同于普通的立體投影機或者立體顯示器(其把左右眼畫面顯示在同一空間區域上)，頭戴式顯示設備通常具有兩個顯示區域，一個區域顯示左眼畫面供觀看者的左眼觀看，另一個區域顯示右眼畫面供觀看者的右眼觀看。為了能在頭戴式顯示設備上正確地觀看球面全景立體畫面，需要設計獨特的方法來根據頭戴式顯示設備的姿態和球面全景立體畫面，生成能在頭戴式顯示設備的顯示屏上正常顯示的左眼視口圖像畫面和右眼視口圖像畫面。

光線跟蹤是一種常見的用于繪制虛擬3D場景畫面的技術。目前介紹光線跟蹤的文獻基本上都只考慮使用視場有限的透視投影相機(Perspective Camera)拍攝虛擬3D場景的情形。透視投影相機可以參考Pearson Education公司2014年出版的《ComputerGraphics:Principles and Practice,3rd Edition》的13.3節的介紹。球面全景立體畫面實際上由左眼對應的全景圖像和右眼對應的全景圖像組成，左眼對應的全景圖像代表左眼看到的全景畫面信息，右眼對應的全景圖像代表右眼看到的全景畫面信息。本發明提供一種球面全景立體相機(如圖1所示，其包括一個虛擬成像球面和一個觀影圓)，據此利用光線跟蹤技術根據虛擬3D場景模型生成球面全景立體畫面，給出了球面全景立體相機的虛擬成像球面上的像素采樣點對應的光線的生成方法，通過跟蹤這些光線在虛擬3D場景中的傳播來計算虛擬成像球面上的像素采樣點的顏色值。