[發明專利]三維全景圖像的建立方法和系統

有效

• 申請號: 201710448347.6
• 申請日: 2017-06-14
• 公開（公告）號: CN107169924B
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 張超;仇璐
• 申請（專利權）人: 歌爾科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40;G06T5/00;G06T7/33
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 劉戈

本發明公開了三維全景圖像的建立方法和系統，涉及虛擬現實技術領域，由彼此成球面位置關系對稱均勻布置在半球面上的多個拍照裝置同時對半球形中心方向進行拍照，將多個拍照裝置拍攝的圖像拼接成全景圖并發送給虛擬現實設備將全景圖貼圖到對應的虛擬半球面模型的外表上進行三維全景圖的顯示。由于每個拍照裝置由外向內從不同角度同時對半球形中心方向進行拍攝，因此，可以實現用戶圍繞半球形的中心方向環行時實時顯示用戶觀察角度對應的三維全景視圖，這樣用戶可以隨意改變觀察位置，大大增大了用戶的觀察活動區域的范圍，提高用戶體驗度。可以解決現有技術中觀察者可活動的區域非常局限和體驗效果較差的問題。

技術領域

本發明涉及虛擬現實技術領域，尤其涉及一種三維全景圖像的建立方法和系統。

背景技術

三維全景圖像是通過相機捕捉整個環境場景的圖像信息，使用軟件進行圖像的拼接整合，將平面圖像進行處理得到三維全景圖像。三維全景圖像能夠實現把二維的平面圖像模擬成真實的三維空間，達到模擬和再現真實環境場景的效果。

隨著計算機軟硬件技術的發展，智能可穿戴設備的日漸普及，頭戴式虛擬現實設備通過圖像顯示屏將虛擬的環境圖像展現在觀察者眼前，為觀察者營造一種置身于虛擬環境中的體驗。

然而，目前用于頭戴式虛擬現實設備中的三維全景圖像的視角都是觀察者的位置不動，以觀察者所在位置為中心，原地旋轉360°向外觀察，同時頭部可以仰視和俯視觀察。這種觀察視角下所呈現的場景使得觀察者可活動的區域非常局限，體驗效果較差。

發明內容

為了解決上述問題，本發明提供一種三維全景圖像的建立方法和系統，可以擴大觀察視角，增加用戶的沉浸感。

本發明提供一種三維全景圖像的建立方法，包括：

多個拍照裝置，彼此成球面位置關系對稱均勻布置在半球面上，同時朝向半球形的中心方向進行拍照，其中，空間位置相鄰的各個拍照裝置拍攝的圖像彼此部分重疊；

圖像拼接裝置，分別與多個拍照裝置連接，接收多個拍照裝置發送的圖像，并將多個拍照裝置發送的圖像拼接成全景圖，所述全景圖為半球形的中心方向的全景圖；

虛擬現實設備，與圖像拼接裝置連接，接收圖像拼接裝置拼接處理后的全景圖，將全景圖貼圖到對應的虛擬半球面模型的外表上進行三維全景圖的顯示，所述虛擬半球面模型與半球面對應。

可選地，半球面由球面維度線和球面經度線劃分為多個部分，每個部分由相鄰的經度線和維度線相交得到至少3個交點，所述多個拍照裝置包括設于每個交點處的廣角攝像機。

可選地，所述的系統還包括：

圖像壓縮裝置，將圖像拼接裝置拼接處理后的全景圖進行壓縮處理，所述圖像壓縮裝置布置在圖像拼接裝置中，或外置于圖像拼接裝置且與圖像拼接裝置連接；

圖像解壓裝置，對圖像壓縮裝置壓縮處理后的全景圖進行解壓處理，并將解壓處理后的全景圖發送給虛擬現實設備進行貼圖顯示，所述圖像解壓裝置可以布置在虛擬現實設備中。

可選地，圖像拼接裝置，采用平面投影之間的單應性變換，將多個拍照裝置發送的不同投影平面下的圖像轉換到同一個平面下，對投影平面一致化后的每個圖像進行特征點監測提取，對于有重疊區域的兩個圖像進行特征點的匹配篩選，建立有重疊區域的兩個圖像之間的匹配點對，對特征點匹配后的圖像進行圖像配準和融合、曝光補償和去鬼影處理，將多個拍照裝置拍攝的圖像拼接成全景圖。

可選地，虛擬現實設備，在用戶圍繞半球形的中心方向環行時，獲取用戶的位置和視角信息，根據用戶的位置和視角信息將對應位置和視角下的半球面模型上的圖像進行三維圖像顯示；當觸發視點高度調整指令時，升高對應的視點高度位置，將對應的視點高度、水平定位以及視角方向下的半球面模型上的圖像進行三維圖像顯示；當用戶向半球形的中心方向靠近時，將顯示的三維圖像的分辨率提升預設的倍數，保證顯示的三維圖像清晰不失真。