[發明專利]用于360°懸浮光場三維顯示系統的多人實時跟蹤裝置和方法

有效

• 申請號: 201811254980.2
• 申請日: 2018-10-26
• 公開（公告）號: CN109309827B
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 李海峰;田明哲;倪麗霞;劉旭
• 申請（專利權）人: 浙江大學
• 主分類號: H04N13/117
• 分類號: H04N13/117;H04N13/366
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

本發明公開了一種用于360°懸浮光場三維顯示系統的多人實時跟蹤裝置和方法，屬于圖像處理和計算機視覺技術領域，多人實時跟蹤裝置包括設置在散射屏的邊緣處的一對全景相機和與全景相機通訊連接的處理器，全景相機的鏡頭豎直朝上設置；處理器包括傳輸單元和處理單元，傳輸單元用于實時傳輸全景相機拍攝的視頻數據，處理單元將視頻數據進行單幀處理得到單幀圖像，并將單幀圖像的有效區域展開為矩形圖像，在矩形圖像中進行人臉檢測，同時對相同時刻的兩個相機之間由單幀圖片轉換成的矩形圖像進行人臉匹配，得到觀測者相對顯示中心的位置信息。整個裝置的設置簡單，輕便易攜，植入性能好。可用于多種光場三維顯示系統的人機交互模塊。

技術領域

本發明涉及圖像處理和計算機視覺技術領域，尤其涉及一種用于360°懸浮光場三維顯示系統的全視差顯示裝置和方法，該裝置和方法基于雙全景相機實現多人實時的跟蹤以及多人視點的擬合。

背景技術

顯示技術正朝著高清晰、三維全景顯示的方向發展。三維顯示區別于傳統二維顯示就是通過各種方法給觀看者帶來視覺上的深度感知，使其自然或不自然地獲得畫面中的第三維度信息。

隨著計算機科學和投影技術的發展，近年來三維顯示發展迅速。真實的三維圖像意味著觀察者可以看到空間中的顯示，環顧場景的四周有正確的視野以及遮擋關系。裸眼的三維顯示成為研究的熱門。通過重建三維場景的光場，可以實現具有正確遮擋關系的大范圍高質量的三維彩色圖像顯示。它通過模擬真實物體的發光方式，重建了三維場景的光場分布，這樣在顯示系統周圍的不同觀察者可以看到正確的三維圖像。但基于光場重構的三維顯示技術，因為重構理想光場需要處理巨大的數據量，配備帶寬巨大的數據處理系統，所以各研究團隊通過水平光場顯示的方法進行簡化。如此一來，重構了物體的水平光場而忽略了垂直方向的光場變化，導致非預設軌跡位置的觀測者將看到錯誤的顯示。因此，追蹤多個觀察者的視點來進行正確的光場映射是十分有必要的。

由于整個懸浮場景是360度顯示的，因此觀測者身處顯示系統周圍的360度空間范圍內。在這種情況下，對多個觀測者進行追蹤的首要工作是整個場景范圍內圖像的獲取。對于目前的普通相機，視場角太小，無法滿足360度的廣角需要。如果使用一臺這樣的普通相機，無法同時檢測到360度范圍內的所有觀測者。如果使用多臺相機的拼接，需要解決多臺相機的標定以及各個相機之間3D場景的重疊等多個問題，會使得系統和算法十分復雜，為多人視點位置的確定帶來困難。因此使用單個視場角大的相機十分有必要，而要做到360度的大視場，需要用到全景鏡頭。

因此，在現有技術的基礎上，通過全景相機，對多人進行實時跟蹤，以便同時重構物體在水平光場和垂直方向的光場變化，防止非預設軌跡位置的觀測者看到錯誤顯示是本發明需要解決的問題。

發明內容

本發明的目的為提供一種用于360°懸浮光場三維顯示系統的多人實時跟蹤裝置，該裝置可實現對觀測者的追蹤與定位。

為了實現上述目的，本發明提供的用于360°懸浮光場三維顯示系統的多人實時跟蹤裝置，其中，三維顯示系統包括定向散射屏、驅動散射屏轉動的致動器和將圖像投射到散射屏上的高速投影儀，多人實時跟蹤裝置包括設置在散射屏的邊緣處的一對全景相機和與全景相機通訊連接的處理器，全景相機的鏡頭豎直朝上設置；處理器包括傳輸單元和處理單元，傳輸單元用于實時傳輸全景相機拍攝的視頻數據，處理單元將視頻數據進行單幀處理得到單幀圖像，并將單幀圖像的有效區域展開為矩形圖像，在矩形圖像中進行人臉檢測，同時對相同時刻的兩個相機之間由單幀圖片轉換成的矩形圖像進行人臉匹配，得到觀測者相對顯示中心的位置信息。

上述技術方案中，通過兩個全景相機獲取圖像，由于圖像中人臉的角度是各個方向的，這樣的圖像經過畸變矯正和坐標系映射，轉換為人臉是正常角度的矩形圖像，整個裝置的設置簡單，輕便易攜，植入性能好。可用于多種光場三維顯示系統的人機交互模塊。

作為優選，一對全景相機關于定向散射屏的顯示中心呈中心對稱布置。