[發(fā)明專利]一種基于視頻透視的智能眼鏡系統(tǒng)及其透視方法

有效

• 申請?zhí)枺?/td>: 201610218731.2
• 申請日: 2016-04-07
• 公開（公告）號: CN107277495B
• 公開（公告）日: 2019-06-25
• 發(fā)明（設(shè)計）人: 艾韜
• 申請（專利權(quán)）人: 深圳市易瞳科技有限公司
• 主分類號: H04N13/30
• 分類號: H04N13/30;G02B27/01
• 代理公司: 深圳市世聯(lián)合知識產(chǎn)權(quán)代理有限公司 44385
• 代理人: 劉華松

1.一種基于視頻透視的智能眼鏡系統(tǒng)，包括智能眼鏡和數(shù)據(jù)處理裝置，其特征在于，所述智能眼鏡包括攝像模塊、圖像預(yù)處理模塊、圖像融合模塊和顯示模塊；

所述攝像模塊用于采集視頻圖像，并將采集到的視頻圖像傳輸至圖像預(yù)處理模塊；

所述圖像預(yù)處理模塊用于對視頻圖像進行預(yù)處理后，將視頻圖像中經(jīng)縮放的低清視頻圖像和未經(jīng)縮放的高清視頻圖像分別傳輸至數(shù)據(jù)處理裝置及圖像融合模塊；

所述數(shù)據(jù)處理裝置與圖像融合模塊連接，用于接收圖像預(yù)處理模塊傳輸?shù)牡颓逡曨l圖像，通過算法將數(shù)字內(nèi)容疊加至低清視頻圖像中，生成虛擬數(shù)字圖像，并將虛擬數(shù)字圖像傳輸至圖像融合模塊；

所述數(shù)據(jù)處理裝置包括場景分析單元、地圖構(gòu)建單元及地圖更新單元；

所述場景分析單元用于對觀測場景進行分析；

所述地圖構(gòu)建單元用于構(gòu)造地圖，實現(xiàn)自主定位；

所述地圖更新單元用于儲存位置環(huán)境的地圖信息，并在構(gòu)造的地圖上建造增量式地圖；

所述圖像融合模塊用于通過差值計算將虛擬數(shù)字圖像進行擴展，使虛擬數(shù)字圖像與高清視頻圖像的分辨率和幀率一致，并將虛擬數(shù)字圖像與高清視頻圖像進行融合后輸出至顯示模塊進行顯示。

2.根據(jù)權(quán)利要求1所述的基于視頻透視的智能眼鏡系統(tǒng)，其特征在于：還包括姿態(tài)傳感模塊，所述姿態(tài)傳感模塊設(shè)于智能眼鏡上，并與數(shù)據(jù)處理裝置連接，用于采集智能眼鏡佩戴者的姿態(tài)信息，并將姿態(tài)信息傳輸至數(shù)據(jù)處理裝置。

3.根據(jù)權(quán)利要求2所述的基于視頻透視的智能眼鏡系統(tǒng)，其特征在于：還包括光學(xué)器件，所述光學(xué)器件設(shè)于顯示模塊靠近人眼的一側(cè)，用于幫助人眼對顯示模塊的顯示圖像進行對焦。

4.根據(jù)權(quán)利要求1所述的基于視頻透視的智能眼鏡系統(tǒng)，其特征在于：所述攝像模塊為雙目攝像頭，所述雙目攝像頭分別設(shè)置于智能眼鏡的左右鏡片上，所述雙目攝像頭的前端還安裝有廣角鏡頭。

5.根據(jù)權(quán)利要求4所述的基于視頻透視的智能眼鏡系統(tǒng)，其特征在于：所述圖像預(yù)處理模塊包括預(yù)處理單元、畸變矯正單元、立體校正單元、深度計算單元和圖像拼接單元；

所述預(yù)處理單元用于對攝像模塊傳輸?shù)囊曨l圖像進行處理加工，并通過加工結(jié)果得到攝像模塊的配置參數(shù)；

所述畸變矯正單元用于通過配置參數(shù)對攝像模塊畸變進行修復(fù)；

所述立體校正單元用于通過配置參數(shù)將雙目攝像頭的畫面拉回一個平面，并使雙目攝像頭同行對齊；

所述深度計算單元用于使用局部匹配算法計算最優(yōu)雙目匹配結(jié)果，并通過視差計算出深度視頻圖像；

所述圖像拼接單元用于將未經(jīng)縮放的高清視頻圖像進行拼接后輸出到圖像融合模塊，并將經(jīng)過縮放的低清視頻圖像、深度視頻圖像和輔助圖像進行拼接后輸出到數(shù)據(jù)處理裝置。

6.根據(jù)權(quán)利要求2或5所述的基于視頻透視的智能眼鏡系統(tǒng)，其特征在于：所述數(shù)據(jù)處理裝置還包括圖像拆分單元、姿態(tài)分析單元、模型渲染單元和圖像疊加單元；

所述圖像拆分單元用于將拼接好的視頻圖像進行拆分；

所述姿態(tài)分析單元用于通過視覺算法與姿態(tài)傳感模塊融合，分析佩戴者的視角姿態(tài)；

所述模型渲染單元用于通過視角姿態(tài)渲染數(shù)字模型；

所述圖像疊加單元用于將視角姿態(tài)及渲染的數(shù)字模型疊加到視頻圖像上，生成帶位姿信息的虛擬數(shù)字圖像，并將虛擬數(shù)字圖像輸出至圖像融合模塊。

7.根據(jù)權(quán)利要求6所述的基于視頻透視的智能眼鏡系統(tǒng)，其特征在于：所述圖像融合模塊還包括擴展單元、同步單元和融合單元；

所述擴展單元用于通過差值計算將虛擬數(shù)字圖像進行擴展，使虛擬數(shù)字圖像與高清視頻圖像的分辨率和幀率一致；

所述同步單元用于通過高清視頻圖像的同步信號使虛擬數(shù)字圖像與高清視頻圖像的兩路視頻每幀對齊，并分析出融合時將要被虛擬數(shù)字圖像覆蓋的高清視頻圖像部分；

所述融合單元用于根據(jù)同步單元的分析結(jié)果將虛擬數(shù)字圖像疊加到高清視頻圖像的對應(yīng)幀中，使虛擬數(shù)字圖像和高清視頻圖像進行融合，并將融合后的視頻圖像輸出至顯示模塊進行顯示。