[發(fā)明專利]自適應(yīng)變基線雙目立體相機(jī)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710199024.8
• 申請(qǐng)日: 2017-03-29
• 公開（公告）號(hào): CN106851252A
• 公開（公告）日: 2017-06-13
• 發(fā)明（設(shè)計(jì)）人: 羅斌;張?jiān)?/a>;林國(guó)華;劉軍;趙青;王偉;陳警
• 申請(qǐng)（專利權(quán)）人: 武漢嫦娥醫(yī)學(xué)抗衰機(jī)器人股份有限公司
• 主分類號(hào): H04N13/02
• 分類號(hào): H04N13/02;H04N13/04
• 代理公司: 武漢維創(chuàng)品智專利代理事務(wù)所(特殊普通合伙)42239
• 代理人: 余麗霞

技術(shù)領(lǐng)域：

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體是一種自適應(yīng)變基線雙目立體相機(jī)系統(tǒng)。

背景技術(shù)：

隨著計(jì)算機(jī)視覺(jué)的不斷發(fā)展，虛擬現(xiàn)實(shí)技術(shù)也逾趨成熟，雙目立體視覺(jué)和全景圖像已成為目前手機(jī)終端虛擬現(xiàn)實(shí)技術(shù)和增強(qiáng)現(xiàn)實(shí)技術(shù)的主要方式，并且雙目立體顯示技術(shù)已成為3D電影、電視的發(fā)展主流。然而對(duì)于雙目立體成像模型，目前基本上還是主要使用簡(jiǎn)單的雙目定基線的數(shù)據(jù)獲取方式，這種成像方式存在很大缺陷，生成的立體圖像會(huì)存在較大失真，僅僅只能保證圖像較少區(qū)域的較好顯示效果，較大區(qū)域的立體圖像在觀看上會(huì)存在錯(cuò)位，立體效果較差，易導(dǎo)致人眼疲勞。

由于雙目立體成像在成像過(guò)程中，離成像平面距離越遠(yuǎn)的景物在雙目圖像之中會(huì)存在較小的視差，越近的景物的視差越小、，雙目圖像中的對(duì)應(yīng)物體的視差隨物體離雙目相機(jī)的距離是不斷變化的。將雙目圖像疊加顯示時(shí)，僅僅只能保證部分的物體在3D顯示時(shí)不存在重影，無(wú)法保證圖像中所有的物體均能正確的顯示出3D效果。

通常情況下，人眼在自然觀察的情況下基本上也僅僅只是對(duì)雙目交匯處區(qū)域的物體表現(xiàn)出清晰的立體效果，而不是人眼整個(gè)視場(chǎng)范圍內(nèi)所有的物體均能顯示出清晰的立體效果。所以僅僅只需要保證人眼觀察所感興趣的區(qū)域顯示出好的3D顯示效果，而其他區(qū)域則表現(xiàn)出模糊的顯示效果即可。這樣就能夠產(chǎn)生較為真實(shí)的虛擬現(xiàn)實(shí)效果，在運(yùn)用到遠(yuǎn)程機(jī)器人操控過(guò)程中能夠，通過(guò)在機(jī)器人上加裝雙目相機(jī)，實(shí)時(shí)回傳雙目圖像，客戶端顯示立體效果，遠(yuǎn)程客戶端即可在虛擬現(xiàn)實(shí)的環(huán)境中對(duì)遠(yuǎn)端機(jī)器人進(jìn)行沉浸式操控。

發(fā)明內(nèi)容：

本發(fā)明為了克服現(xiàn)有技術(shù)中存在的上述缺陷，提供了一種自適應(yīng)變基線雙目立體相機(jī)系統(tǒng)，使拍攝的圖像現(xiàn)實(shí)的3D效果隨人眼觀察目標(biāo)自適應(yīng)的顯示出最佳的立體視覺(jué)效果。

為解決上述問(wèn)題，本發(fā)明提出的自適應(yīng)變基線雙目立體相機(jī)系統(tǒng)，包括：第一相機(jī)、第二相機(jī)、雙滑桿、服務(wù)器、客戶端、PC主機(jī)、3D顯示器、眼動(dòng)儀、所述第一相機(jī)通過(guò)一固定相機(jī)安裝云臺(tái)固定在所述雙滑竿的一端，所述步進(jìn)電機(jī)通過(guò)一電機(jī)安裝架固定在所述雙滑竿的另一端，所述第二相機(jī)通過(guò)一滑動(dòng)相機(jī)安裝云臺(tái)可滑動(dòng)安裝在所述雙滑桿上，所述雙滑桿上設(shè)置有一履帶，所述履帶通過(guò)一根主動(dòng)軸和一根從動(dòng)軸套接在所述雙滑桿的兩端，所述主動(dòng)軸與一步進(jìn)電機(jī)的輸出軸相連，所述第二相機(jī)固定在所述履帶上，所述第一相機(jī)和第二相機(jī)均與所述PC主機(jī)相連，所述PC主機(jī)與所述服務(wù)器和3D顯示器分別相連，所述服務(wù)器與所述客戶端相連，所述3D顯示器上加裝眼動(dòng)儀，所述PC主機(jī)上安裝有眼動(dòng)儀驅(qū)動(dòng)軟件。

上述技術(shù)方案中，所述第一相機(jī)和第二相機(jī)的攝像頭位于同一水平面上。

上述技術(shù)方案中，所述步進(jìn)電機(jī)與一電源相連，所述電源的輸出電壓為12V，輸出電流為1A。

上述技術(shù)方案中，所述PC主機(jī)的CPU為I3或以上，內(nèi)存等于或大于2G，硬盤等于或大于256G，系統(tǒng)為Windows 10或windows7。

上述技術(shù)方案中，所述PC主機(jī)采用OpenCV及相機(jī)自帶SDK讀取所述第一相機(jī)和第二相機(jī)拍攝的圖像。

上述技術(shù)方案中，所述服務(wù)器采用boost庫(kù)中的TCP網(wǎng)絡(luò)通信接口將獲取的壓縮后的圖像傳輸?shù)娇蛻舳耍隹蛻舳瞬捎脤?duì)應(yīng)的boost庫(kù)中的TCP網(wǎng)絡(luò)通信接口接收壓縮圖像，并采用JPEG-turbo解碼顯示。

上述技術(shù)方案中，所述客戶端與服務(wù)器之間通信采用winsocket UDP通信，對(duì)圖像的采集、壓縮、傳輸以及步進(jìn)電機(jī)的運(yùn)行進(jìn)行相應(yīng)的遠(yuǎn)程控制。

本發(fā)明提出的自適應(yīng)變基線雙目立體相機(jī)系統(tǒng)的工作原理如下：

通過(guò)眼動(dòng)儀驅(qū)動(dòng)軟件跟蹤捕捉雙目觀察的興趣點(diǎn)；

獲取眼動(dòng)儀視點(diǎn)跟蹤數(shù)據(jù)并將視點(diǎn)跟蹤數(shù)據(jù)轉(zhuǎn)換為圖像上相應(yīng)關(guān)注點(diǎn)的視差值，假設(shè)T時(shí)刻眼動(dòng)儀捕捉的視點(diǎn)在圖像上的點(diǎn)為p_t點(diǎn),則p_t點(diǎn)的視差可根據(jù)公式(1)獲得：

其中，b_e、f_e表示兩只眼睛的距離和眼睛的焦距，z_e表示眼睛到屏幕的垂直觀看距離；

獲得圖像上p_t點(diǎn)的視差值后根據(jù)公式(2)計(jì)算出兩相機(jī)的基線長(zhǎng)度值

其中，表示計(jì)算得到的基線長(zhǎng)度值，表示圖像上點(diǎn)p_t對(duì)應(yīng)的真實(shí)三維空間中的點(diǎn)到相機(jī)拍攝平面的垂直距離，該參數(shù)值可通過(guò)雙目相機(jī)先前拍攝的圖像匹配計(jì)算得出，f表示相機(jī)焦距；