[發明專利]一種基于視頻透視的智能眼鏡系統及其透視方法

有效

• 申請號: 201610218731.2
• 申請日: 2016-04-07
• 公開（公告）號: CN107277495B
• 公開（公告）日: 2019-06-25
• 發明（設計）人: 艾韜
• 申請（專利權）人: 深圳市易瞳科技有限公司
• 主分類號: H04N13/30
• 分類號: H04N13/30;G02B27/01
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 劉華松

1.一種基于視頻透視的智能眼鏡系統，包括智能眼鏡和數據處理裝置，其特征在于，所述智能眼鏡包括攝像模塊、圖像預處理模塊、圖像融合模塊和顯示模塊；

所述攝像模塊用于采集視頻圖像，并將采集到的視頻圖像傳輸至圖像預處理模塊；

所述圖像預處理模塊用于對視頻圖像進行預處理后，將視頻圖像中經縮放的低清視頻圖像和未經縮放的高清視頻圖像分別傳輸至數據處理裝置及圖像融合模塊；

所述數據處理裝置與圖像融合模塊連接，用于接收圖像預處理模塊傳輸的低清視頻圖像，通過算法將數字內容疊加至低清視頻圖像中，生成虛擬數字圖像，并將虛擬數字圖像傳輸至圖像融合模塊；

所述數據處理裝置包括場景分析單元、地圖構建單元及地圖更新單元；

所述場景分析單元用于對觀測場景進行分析；

所述地圖構建單元用于構造地圖，實現自主定位；

所述地圖更新單元用于儲存位置環境的地圖信息，并在構造的地圖上建造增量式地圖；

所述圖像融合模塊用于通過差值計算將虛擬數字圖像進行擴展，使虛擬數字圖像與高清視頻圖像的分辨率和幀率一致，并將虛擬數字圖像與高清視頻圖像進行融合后輸出至顯示模塊進行顯示。

2.根據權利要求1所述的基于視頻透視的智能眼鏡系統，其特征在于：還包括姿態傳感模塊，所述姿態傳感模塊設于智能眼鏡上，并與數據處理裝置連接，用于采集智能眼鏡佩戴者的姿態信息，并將姿態信息傳輸至數據處理裝置。

3.根據權利要求2所述的基于視頻透視的智能眼鏡系統，其特征在于：還包括光學器件，所述光學器件設于顯示模塊靠近人眼的一側，用于幫助人眼對顯示模塊的顯示圖像進行對焦。

4.根據權利要求1所述的基于視頻透視的智能眼鏡系統，其特征在于：所述攝像模塊為雙目攝像頭，所述雙目攝像頭分別設置于智能眼鏡的左右鏡片上，所述雙目攝像頭的前端還安裝有廣角鏡頭。

5.根據權利要求4所述的基于視頻透視的智能眼鏡系統，其特征在于：所述圖像預處理模塊包括預處理單元、畸變矯正單元、立體校正單元、深度計算單元和圖像拼接單元；

所述預處理單元用于對攝像模塊傳輸的視頻圖像進行處理加工，并通過加工結果得到攝像模塊的配置參數；

所述畸變矯正單元用于通過配置參數對攝像模塊畸變進行修復；

所述立體校正單元用于通過配置參數將雙目攝像頭的畫面拉回一個平面，并使雙目攝像頭同行對齊；

所述深度計算單元用于使用局部匹配算法計算最優雙目匹配結果，并通過視差計算出深度視頻圖像；

所述圖像拼接單元用于將未經縮放的高清視頻圖像進行拼接后輸出到圖像融合模塊，并將經過縮放的低清視頻圖像、深度視頻圖像和輔助圖像進行拼接后輸出到數據處理裝置。

6.根據權利要求2或5所述的基于視頻透視的智能眼鏡系統，其特征在于：所述數據處理裝置還包括圖像拆分單元、姿態分析單元、模型渲染單元和圖像疊加單元；

所述圖像拆分單元用于將拼接好的視頻圖像進行拆分；

所述姿態分析單元用于通過視覺算法與姿態傳感模塊融合，分析佩戴者的視角姿態；

所述模型渲染單元用于通過視角姿態渲染數字模型；

所述圖像疊加單元用于將視角姿態及渲染的數字模型疊加到視頻圖像上，生成帶位姿信息的虛擬數字圖像，并將虛擬數字圖像輸出至圖像融合模塊。

7.根據權利要求6所述的基于視頻透視的智能眼鏡系統，其特征在于：所述圖像融合模塊還包括擴展單元、同步單元和融合單元；

所述擴展單元用于通過差值計算將虛擬數字圖像進行擴展，使虛擬數字圖像與高清視頻圖像的分辨率和幀率一致；

所述同步單元用于通過高清視頻圖像的同步信號使虛擬數字圖像與高清視頻圖像的兩路視頻每幀對齊，并分析出融合時將要被虛擬數字圖像覆蓋的高清視頻圖像部分；

所述融合單元用于根據同步單元的分析結果將虛擬數字圖像疊加到高清視頻圖像的對應幀中，使虛擬數字圖像和高清視頻圖像進行融合，并將融合后的視頻圖像輸出至顯示模塊進行顯示。