[發(fā)明專利]用于360°懸浮光場(chǎng)三維顯示系統(tǒng)的多人實(shí)時(shí)跟蹤裝置和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811254980.2
• 申請(qǐng)日: 2018-10-26
• 公開（公告）號(hào): CN109309827B
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 李海峰;田明哲;倪麗霞;劉旭
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): H04N13/117
• 分類號(hào): H04N13/117;H04N13/366
• 代理公司: 杭州天勤知識(shí)產(chǎn)權(quán)代理有限公司 33224
• 代理人: 胡紅娟

1.一種用于360°懸浮光場(chǎng)三維顯示系統(tǒng)的多人實(shí)時(shí)跟蹤方法，基于多人實(shí)時(shí)跟蹤裝置實(shí)現(xiàn)，所述三維顯示系統(tǒng)包括定向散射屏、驅(qū)動(dòng)所述散射屏轉(zhuǎn)動(dòng)的致動(dòng)器和將圖像投射到所述散射屏上的高速投影儀，其特征在于：

所述多人實(shí)時(shí)跟蹤裝置包括設(shè)置在所述散射屏的邊緣處用于對(duì)人臉的三維位置進(jìn)行追蹤的一對(duì)全景相機(jī)和與所述全景相機(jī)通訊連接的處理器，所述全景相機(jī)的鏡頭豎直朝上設(shè)置；

所述致動(dòng)器驅(qū)動(dòng)所述散射屏在水平面內(nèi)高速旋轉(zhuǎn)，高速投影機(jī)位于屏幕旋轉(zhuǎn)中心正上方，投影機(jī)光軸與屏幕的旋轉(zhuǎn)中心同軸以確保投影出來的圖像沒有畸變；

所述處理器包括傳輸單元和處理單元，所述傳輸單元用于實(shí)時(shí)傳輸所述全景相機(jī)拍攝的視頻數(shù)據(jù)，所述處理單元將所述視頻數(shù)據(jù)進(jìn)行單幀處理得到單幀圖像，并將所述單幀圖像的有效區(qū)域展開為矩形圖像，在矩形圖像中進(jìn)行人臉檢測(cè)，同時(shí)對(duì)相同時(shí)刻的兩個(gè)相機(jī)之間由單幀圖像轉(zhuǎn)換成的矩形圖像進(jìn)行人臉匹配，得到觀測(cè)者相對(duì)顯示中心的位置信息；

所述多人實(shí)時(shí)跟蹤方法包括以下步驟：

1)同時(shí)獲取關(guān)于定向散射屏的顯示中心呈中心對(duì)稱布置的兩個(gè)全景相機(jī)拍攝的視頻數(shù)據(jù)，對(duì)所述視頻數(shù)據(jù)進(jìn)行單幀處理得到單幀圖像；

2)提取第t幀圖像中以O(shè)為圓心，以R為半徑的圓形區(qū)域，作為第t幀圖像的有效區(qū)域；其中全景相機(jī)獲得的每一幀圖像為圓環(huán)形，O為圓環(huán)的中心，R為該中心到圓環(huán)外邊緣的距離；

3)將有效區(qū)域展開為矩形圖像，并在矩形圖像中使用AdaBoost算法進(jìn)行人臉檢測(cè)，并進(jìn)行存儲(chǔ)；以O(shè)為原點(diǎn)，水平方向?yàn)閄軸，將有效區(qū)域展開為矩形圖像時(shí)，從X軸經(jīng)過的半徑展開，并將該半徑附近的圖像重復(fù)展開，重復(fù)展開寬度為上一幀圖像中觀測(cè)者人臉框的寬度最大值的1.1倍；

4)以n幀為一個(gè)周期，在處理第t+n-1幀圖像時(shí)采用幀間刷新機(jī)制，判斷是否有新的觀測(cè)者加入，若無(wú)，則繼續(xù)跟蹤，若有，則初始化人臉特征并跟蹤；

5)對(duì)相同時(shí)刻的兩個(gè)相機(jī)之間由單幀圖像轉(zhuǎn)換成的矩形圖像進(jìn)行人臉匹配，獲得每個(gè)人臉相對(duì)于兩個(gè)全景相機(jī)的位置信息；

6)根據(jù)所述位置信息計(jì)算人臉的空間位置，得到每個(gè)觀測(cè)者相對(duì)于兩個(gè)全景相機(jī)的空間位置；

7)通過相機(jī)坐標(biāo)系到三維顯示系統(tǒng)中心坐標(biāo)系的轉(zhuǎn)換得到觀測(cè)者相對(duì)顯示中心的位置信息。

2.根據(jù)權(quán)利要求1所述的多人實(shí)時(shí)跟蹤方法，其特征在于：所述的一對(duì)全景相機(jī)關(guān)于所述定向散射屏的顯示中心呈中心對(duì)稱布置。

3.根據(jù)權(quán)利要求1所述的多人實(shí)時(shí)跟蹤方法，其特征在于：所述的定向散射屏設(shè)置在一支架上，所述的致動(dòng)器設(shè)于所述支架的底部，所述支架的邊緣設(shè)有用于輔助照明的紅外LED燈。

4.根據(jù)權(quán)利要求1所述的多人實(shí)時(shí)跟蹤方法，其特征在于，所述的步驟2)中采用掃描線邊界逼近法確定所述圓形區(qū)域的邊界。

5.根據(jù)權(quán)利要求1所述的多人實(shí)時(shí)跟蹤方法，其特征在于，所述的步驟3)中進(jìn)行人臉檢測(cè)的方法包括：

3-1)以人臉作為正樣本，在人臉框周圍10個(gè)像素范圍內(nèi)選取100個(gè)正樣本；以背景區(qū)域作為負(fù)樣本，選取300個(gè)與所述正樣本同樣大小的負(fù)樣本；

3-2)提取正負(fù)樣本的特征，在線訓(xùn)練分類器，所述分類器采用“正樣本特征向量的高維正態(tài)分布/負(fù)樣本特征向量的高維正態(tài)分布”的模型，正樣本服從N1～(μ₁ ,σ₁ )，負(fù)樣本服從N2～(μ₂ ,σ₂ )的分布，其中μ_t和σ_t分別表示樣本分布的均值和方差，是基于動(dòng)量的方式更新：

其中，μ₁ ，σ₁ 為正樣本符合的正態(tài)分布的均值和方差，μ₂ ，σ₂ 為負(fù)樣本符合的正態(tài)分布的均值和方差；μ_i，σ_i分別表示第t-5幀～第t-1幀中第i幀所對(duì)應(yīng)的正樣本分布的均值和方差；

3-3)在第t幀時(shí)，分類器參考人臉在前一幀的位置，在當(dāng)前幀同位置的周圍，將不同尺度的候選框進(jìn)行分類，選取分類器結(jié)果得分最高的一個(gè)作為當(dāng)前幀的人臉位置，并更新分類器參數(shù)。