[發(fā)明專利]基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201611202874.0
• 申請(qǐng)日: 2016-12-23
• 公開(kāi)（公告）號(hào): CN106878698B
• 公開(kāi)（公告）日: 2019-05-24
• 發(fā)明（設(shè)計(jì)）人: 馬魁;裴仁靜;耿征;張梅
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類號(hào): H04N13/261
• 分類號(hào): H04N13/261;H04N13/275;H04N13/302
• 代理公司: 北京瀚仁知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11482
• 代理人: 李飛;吳曉芬

1.一種基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法，其特征在于，所述方法包括：

采集圖像；

基于采集到的所述圖像獲得兩視點(diǎn)合成圖索引圖；

根據(jù)觀看者的加速度的位置信息和角速度的旋轉(zhuǎn)信息，獲得兩視點(diǎn)圖；

基于所述圖像的所述兩視點(diǎn)合成圖索引圖，對(duì)所述兩視點(diǎn)圖渲染出合成圖，得到三維虛擬現(xiàn)實(shí)顯示圖像；

所述基于采集到的所述圖像獲得兩視點(diǎn)合成圖索引圖具體包括：

確定所述圖像上每個(gè)子像素的周邊子像素對(duì)所述每個(gè)子像素的亮度影響權(quán)重；

基于所述圖像上所述亮度影響權(quán)重，利用帶有包圍盒的最小二乘方法，確定所述兩視點(diǎn)的所述合成圖索引圖。

2.根據(jù)權(quán)利要求1所述的基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法，其特征在于，所述確定所述亮度影響權(quán)重具體包括：

根據(jù)下式確定所述圖像上所述亮度影響權(quán)重：

其中，所述Image_c(t)(i,j,k)表示在第t個(gè)視點(diǎn)處采集到的圖像Image_c上的子像素，所述t＝0、1，所述i＝1～H，所述j＝1～W，所述k表示圖像Image_c的顏色通道且k＝1～3；所述H表示所述圖像的高度；所述W表示所述圖像的寬度；所述r表示安全窗口半徑；所述m、n表示以所述安全窗口中心為原點(diǎn)的窗口坐標(biāo)；所述q表示圖像的顏色通道且q＝1～3；所述Image_m(i+m,j+n,q)表示所述圖像上的子像素；所述表示所述圖像上子像素(i+m,j+n,q)點(diǎn)亮到最大亮度時(shí)對(duì)鄰近像素(i,j,k)經(jīng)過(guò)歸一化后的亮度影響權(quán)重。

3.根據(jù)權(quán)利要求1所述的基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法，其特征在于，所述基于所述圖像上所述亮度影響權(quán)重，利用帶有包圍盒的最小二乘方法，確定所述兩視點(diǎn)的所述合成圖索引圖，具體包括：

基于所述亮度影響權(quán)重，利用帶有包圍盒的最小二乘方法，根據(jù)下式確定所述兩視點(diǎn)的所述合成圖索引圖：

其中，所述表示所述兩視點(diǎn)對(duì)應(yīng)亮度影響權(quán)重的差異；所述I表示所述兩視點(diǎn)的所述合成圖索引圖，且被限定于包圍盒B_I＝{I∈Z^1×H:L≤I≤U}中，L＝0×I_1×H且U＝255×I_1×H，所述I_1×H表示H維的全1列向量；所述表示兩視點(diǎn)采集圖像的差異；所述H表示所述圖像的高度，所述Z表示整數(shù)。

4.根據(jù)權(quán)利要求1所述的基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法，其特征在于，在所述確定所述亮度影響權(quán)重步驟之前還包括：

對(duì)所述圖像進(jìn)行反畸變和興趣區(qū)域提取操作處理。

5.根據(jù)權(quán)利要求1所述的基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法，其特征在于，所述根據(jù)加速度的位置信息和角速度的旋轉(zhuǎn)信息，獲得兩視點(diǎn)圖，具體包括：

根據(jù)所述加速度的位置信息和所述角速度的旋轉(zhuǎn)信息，調(diào)整所采集的所述圖像的方位，獲得所述兩視點(diǎn)圖。

6.根據(jù)權(quán)利要求1所述的基于光路采集的移動(dòng)裸眼三維虛擬現(xiàn)實(shí)的方法，其特征在于，所述基于所述圖像的所述兩視點(diǎn)合成圖索引圖，對(duì)所述兩視點(diǎn)圖渲染出合成圖，得到三維虛擬現(xiàn)實(shí)顯示圖像，具體包括：

根據(jù)下式渲染出合成圖，得到所述三維虛擬現(xiàn)實(shí)顯示圖像：

Syn＝I₀×view₀+I₁×view₁；

其中，所述Syn表示所述三維虛擬現(xiàn)實(shí)顯示圖像；所述I₀表示第0視點(diǎn)的合成圖索引圖；所述I₁表示第1視點(diǎn)的合成圖索引圖；所述view₀表示第0視點(diǎn)圖；所述view₁表示第1視點(diǎn)圖。