[實用新型]自適應變基線雙目立體相機系統

有效

• 申請號: 201720318563.4
• 申請日: 2017-03-29
• 公開（公告）號: CN206658265U
• 公開（公告）日: 2017-11-21
• 發明（設計）人: 羅斌;張云;林國華;劉軍;趙青;王偉;陳警
• 申請（專利權）人: 武漢嫦娥醫學抗衰機器人股份有限公司
• 主分類號: H04N13/02
• 分類號: H04N13/02;H04N13/04
• 代理公司: 武漢維創品智專利代理事務所(特殊普通合伙)42239
• 代理人: 余麗霞

技術領域

本實用新型涉及圖像處理技術領域，具體是一種自適應變基線雙目立體相機系統。

背景技術

隨著計算機視覺的不斷發展，虛擬現實技術也逾趨成熟，雙目立體視覺和全景圖像已成為目前手機終端虛擬現實技術和增強現實技術的主要方式，并且雙目立體顯示技術已成為3D電影、電視的發展主流。然而對于雙目立體成像模型，目前基本上還是主要使用簡單的雙目定基線的數據獲取方式，這種成像方式存在很大缺陷，生成的立體圖像會存在較大失真，僅僅只能保證圖像較少區域的較好顯示效果，較大區域的立體圖像在觀看上會存在錯位，立體效果較差，易導致人眼疲勞。

由于雙目立體成像在成像過程中，離成像平面距離越遠的景物在雙目圖像之中會存在較小的視差，越近的景物的視差越小、，雙目圖像中的對應物體的視差隨物體離雙目相機的距離是不斷變化的。將雙目圖像疊加顯示時，僅僅只能保證部分的物體在3D顯示時不存在重影，無法保證圖像中所有的物體均能正確的顯示出3D效果。

通常情況下，人眼在自然觀察的情況下基本上也僅僅只是對雙目交匯處區域的物體表現出清晰的立體效果，而不是人眼整個視場范圍內所有的物體均能顯示出清晰的立體效果。所以僅僅只需要保證人眼觀察所感興趣的區域顯示出好的3D顯示效果，而其他區域則表現出模糊的顯示效果即可。這樣就能夠產生較為真實的虛擬現 實效果，在運用到遠程機器人操控過程中能夠，通過在機器人上加裝雙目相機，實時回傳雙目圖像，客戶端顯示立體效果，遠程客戶端即可在虛擬現實的環境中對遠端機器人進行沉浸式操控。

實用新型內容

本實用新型為了克服現有技術中存在的上述缺陷，提供了一種自適應變基線雙目立體相機系統，使拍攝的圖像現實的3D效果隨人眼觀察目標自適應的顯示出最佳的立體視覺效果。

為解決上述問題，本實用新型提出的自適應變基線雙目立體相機系統，包括：第一相機、第二相機、雙滑桿、服務器、客戶端、PC主機、3D顯示器、眼動儀、所述第一相機通過一固定相機安裝云臺固定在所述雙滑桿的一端，所述雙滑桿的另一端通過一電機安裝架固定有步進電機，所述第二相機通過一滑動相機安裝云臺可滑動安裝在所述雙滑桿上，所述雙滑桿上設置有一履帶，所述履帶通過一根主動軸和一根從動軸套接在所述雙滑桿的兩端，所述主動軸與所述步進電機的輸出軸相連，所述第二相機固定在所述履帶上，所述第一相機和第二相機均與所述PC主機相連，所述PC主機與所述服務器和3D顯示器分別相連，所述服務器與所述客戶端相連，所述3D顯示器上加裝眼動儀，所述PC主機上安裝有眼動儀驅動軟件。

上述技術方案中，所述第一相機和第二相機的攝像頭位于同一水平面上。

上述技術方案中，所述步進電機與一電源相連，所述電源的輸出電壓為12V，輸出電流為1A。

上述技術方案中，所述PC主機的CPU為I3或以上，內存等于或大于2G，硬盤等于或大于256G，系統為Windows 10或windows7。

上述技術方案中，所述PC主機采用OpenCV及相機自帶SDK讀取所述第一相機和第二相機拍攝的圖像。

上述技術方案中，所述服務器采用boost庫中的TCP網絡通信接口將獲取的壓縮后的圖像傳輸到客戶端，所述客戶端采用對應的boost庫中的TCP網絡通信接口接收壓縮圖像，并采用JPEG-turbo解碼顯示。

上述技術方案中，所述客戶端與服務器之間通信采用winsocketUDP通信，對圖像的采集、壓縮、傳輸以及步進電機的運行進行相應的遠程控制。

本實用新型提出的自適應變基線雙目立體相機系統的工作原理如下：

通過眼動儀驅動軟件跟蹤捕捉雙目觀察的興趣點；

獲取眼動儀視點跟蹤數據并將視點跟蹤數據轉換為圖像上相應關注點的視差值，假設T時刻眼動儀捕捉的視點在圖像上的點為p_t點,則p_t點的視差可根據公式(1)獲得：

其中，b_e、f_e表示兩只眼睛的距離和眼睛的焦距，z_e表示眼睛到屏幕的垂直觀看距離；

獲得圖像上p_t點的視差值后根據公式(2)計算出兩相機的基線長度值

其中，表示計算得到的基線長度值，表示圖像上點p_t對應的真實三維空間中的點到相機拍攝平面的垂直距離，該參數值可 通過雙目相機先前拍攝的圖像匹配計算得出，f表示相機焦距；