[發(fā)明專利]一種基于視頻透視的智能眼鏡系統(tǒng)及其透視方法有效
| 申請?zhí)枺?/td> | 201610218731.2 | 申請日: | 2016-04-07 |
| 公開(公告)號: | CN107277495B | 公開(公告)日: | 2019-06-25 |
| 發(fā)明(設(shè)計)人: | 艾韜 | 申請(專利權(quán))人: | 深圳市易瞳科技有限公司 |
| 主分類號: | H04N13/30 | 分類號: | H04N13/30;G02B27/01 |
| 代理公司: | 深圳市世聯(lián)合知識產(chǎn)權(quán)代理有限公司 44385 | 代理人: | 劉華松 |
| 地址: | 518000 廣東省深圳市*** | 國省代碼: | 廣東;44 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 基于 視頻 透視 智能 眼鏡 系統(tǒng) 及其 方法 | ||
1.一種基于視頻透視的智能眼鏡系統(tǒng),包括智能眼鏡和數(shù)據(jù)處理裝置,其特征在于,所述智能眼鏡包括攝像模塊、圖像預(yù)處理模塊、圖像融合模塊和顯示模塊;
所述攝像模塊用于采集視頻圖像,并將采集到的視頻圖像傳輸至圖像預(yù)處理模塊;
所述圖像預(yù)處理模塊用于對視頻圖像進行預(yù)處理后,將視頻圖像中經(jīng)縮放的低清視頻圖像和未經(jīng)縮放的高清視頻圖像分別傳輸至數(shù)據(jù)處理裝置及圖像融合模塊;
所述數(shù)據(jù)處理裝置與圖像融合模塊連接,用于接收圖像預(yù)處理模塊傳輸?shù)牡颓逡曨l圖像,通過算法將數(shù)字內(nèi)容疊加至低清視頻圖像中,生成虛擬數(shù)字圖像,并將虛擬數(shù)字圖像傳輸至圖像融合模塊;
所述數(shù)據(jù)處理裝置包括場景分析單元、地圖構(gòu)建單元及地圖更新單元;
所述場景分析單元用于對觀測場景進行分析;
所述地圖構(gòu)建單元用于構(gòu)造地圖,實現(xiàn)自主定位;
所述地圖更新單元用于儲存位置環(huán)境的地圖信息,并在構(gòu)造的地圖上建造增量式地圖;
所述圖像融合模塊用于通過差值計算將虛擬數(shù)字圖像進行擴展,使虛擬數(shù)字圖像與高清視頻圖像的分辨率和幀率一致,并將虛擬數(shù)字圖像與高清視頻圖像進行融合后輸出至顯示模塊進行顯示。
2.根據(jù)權(quán)利要求1所述的基于視頻透視的智能眼鏡系統(tǒng),其特征在于:還包括姿態(tài)傳感模塊,所述姿態(tài)傳感模塊設(shè)于智能眼鏡上,并與數(shù)據(jù)處理裝置連接,用于采集智能眼鏡佩戴者的姿態(tài)信息,并將姿態(tài)信息傳輸至數(shù)據(jù)處理裝置。
3.根據(jù)權(quán)利要求2所述的基于視頻透視的智能眼鏡系統(tǒng),其特征在于:還包括光學(xué)器件,所述光學(xué)器件設(shè)于顯示模塊靠近人眼的一側(cè),用于幫助人眼對顯示模塊的顯示圖像進行對焦。
4.根據(jù)權(quán)利要求1所述的基于視頻透視的智能眼鏡系統(tǒng),其特征在于:所述攝像模塊為雙目攝像頭,所述雙目攝像頭分別設(shè)置于智能眼鏡的左右鏡片上,所述雙目攝像頭的前端還安裝有廣角鏡頭。
5.根據(jù)權(quán)利要求4所述的基于視頻透視的智能眼鏡系統(tǒng),其特征在于:所述圖像預(yù)處理模塊包括預(yù)處理單元、畸變矯正單元、立體校正單元、深度計算單元和圖像拼接單元;
所述預(yù)處理單元用于對攝像模塊傳輸?shù)囊曨l圖像進行處理加工,并通過加工結(jié)果得到攝像模塊的配置參數(shù);
所述畸變矯正單元用于通過配置參數(shù)對攝像模塊畸變進行修復(fù);
所述立體校正單元用于通過配置參數(shù)將雙目攝像頭的畫面拉回一個平面,并使雙目攝像頭同行對齊;
所述深度計算單元用于使用局部匹配算法計算最優(yōu)雙目匹配結(jié)果,并通過視差計算出深度視頻圖像;
所述圖像拼接單元用于將未經(jīng)縮放的高清視頻圖像進行拼接后輸出到圖像融合模塊,并將經(jīng)過縮放的低清視頻圖像、深度視頻圖像和輔助圖像進行拼接后輸出到數(shù)據(jù)處理裝置。
6.根據(jù)權(quán)利要求2或5所述的基于視頻透視的智能眼鏡系統(tǒng),其特征在于:所述數(shù)據(jù)處理裝置還包括圖像拆分單元、姿態(tài)分析單元、模型渲染單元和圖像疊加單元;
所述圖像拆分單元用于將拼接好的視頻圖像進行拆分;
所述姿態(tài)分析單元用于通過視覺算法與姿態(tài)傳感模塊融合,分析佩戴者的視角姿態(tài);
所述模型渲染單元用于通過視角姿態(tài)渲染數(shù)字模型;
所述圖像疊加單元用于將視角姿態(tài)及渲染的數(shù)字模型疊加到視頻圖像上,生成帶位姿信息的虛擬數(shù)字圖像,并將虛擬數(shù)字圖像輸出至圖像融合模塊。
7.根據(jù)權(quán)利要求6所述的基于視頻透視的智能眼鏡系統(tǒng),其特征在于:所述圖像融合模塊還包括擴展單元、同步單元和融合單元;
所述擴展單元用于通過差值計算將虛擬數(shù)字圖像進行擴展,使虛擬數(shù)字圖像與高清視頻圖像的分辨率和幀率一致;
所述同步單元用于通過高清視頻圖像的同步信號使虛擬數(shù)字圖像與高清視頻圖像的兩路視頻每幀對齊,并分析出融合時將要被虛擬數(shù)字圖像覆蓋的高清視頻圖像部分;
所述融合單元用于根據(jù)同步單元的分析結(jié)果將虛擬數(shù)字圖像疊加到高清視頻圖像的對應(yīng)幀中,使虛擬數(shù)字圖像和高清視頻圖像進行融合,并將融合后的視頻圖像輸出至顯示模塊進行顯示。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于深圳市易瞳科技有限公司,未經(jīng)深圳市易瞳科技有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201610218731.2/1.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。





