[發明專利]一種基于AR智能眼鏡的局部圖像識別方法及系統

有效

• 申請號: 201810909305.2
• 申請日: 2018-08-10
• 公開（公告）號: CN109086726B
• 公開（公告）日: 2020-01-14
• 發明（設計）人: 陳濤;蔡超;郭聞浩
• 申請（專利權）人: 陳濤
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T19/00;G06F3/01
• 代理公司: 11401 北京金智普華知識產權代理有限公司
• 代理人: 楊采良

本發明屬于AR智能眼鏡應用技術領域，公開了一種基于AR智能眼鏡的局部圖像識別方法及系統,對智能眼鏡成像屏幕、智能眼鏡前置攝像頭畫面、周圍真實環境的視域畫面的一致性校準標定；識別人眼圖像并計算眼球運動向量，獲取眼動坐標；識別人雙眼視覺延長線焦點落點是成像屏幕還是現實三維空間；獲取人眼在周圍真實世界的映射關系；根據內嵌映射算法分別獲取人眼注視點在眼鏡成像屏幕和前置攝像頭畫面的坐標位置。本發明通過眼動儀獲取人眼眼圖信息，并進行人眼眼圖與場景攝像頭的同步標定，獲取人眼在真實場景的注視點區域，在進行處理時，僅對注視點區域進行圖像識別，大大降低了GPU的圖像處理壓力，提高圖像處理效率。

技術領域

本發明屬于AR智能眼鏡應用技術領域，尤其涉及一種基于AR智能眼鏡的局部圖像識別方法及系統。

背景技術

目前，業內常用的現有技術是這樣的：

隨著近幾年AR/VR產業的高速發展，我們關注到AR智能眼鏡會是淘汰智能手機的下一代智能終端，那么AR智能眼鏡上的app就如同智能手機上在剛興起時的app，存在著巨大的市場價值。我們了解到眼動追蹤技術是未來AR智能眼鏡的重要人機交互方式，我們立足這樣的環境進行思考未來應用可能存在潛在市場，在未來時代來臨時可能爆發巨大的市場價值。

現有技術中，在VR虛擬現實技術中有一項通過眼動追蹤技術實現的眼鏡看哪里，計算機GPU對人眼注視的區域進行精細化的渲染處理-眼睛看哪里計算機渲染哪里。2016年CES上德國SMI展示了一項名為注視點渲染的技術，通過優先高清渲染人眼視野中心的部位，降低GPU的運算負荷，間接提升VR顯示的效果。以HTC Vive為例，單眼的分辨率為1080*1200，游戲的刷新率最低為90HZ。意味著需要每秒2.33億次像素渲染。而隨著刷新率和分辨率的提高，未來GPU的壓力會越來越大。而眼控注視點渲染技術，無疑間接的降低了VR體驗的門檻。通過上述的VR注視點圖像渲染技術和未來AR智能眼鏡上應用的聯想，促使本發明產生了通過眼動追蹤技術來實現通過由人的視覺注視點引導的局部圖像識別的方法。

綜上所述，現有技術存在的問題是：

在未來智能時代，AR智能眼鏡會為人類帶來更智能更人性化的生活，因此在智能眼鏡的應用設計中需要智能眼鏡系統能夠夠更好理解用戶周圍的事物和環境已作出智能的個性化服務，計算機系統將通過的分析和識別攝像頭拍攝到的實時畫面來進行優質的服務，這將是巨大的運算量造成CUP、GPU、TPU巨大的計算量且對能量的消耗很大，并且占用過高的網絡帶寬，這導致設備的續航時間減少。產品整體的用戶體驗下降。

同時本發明實現了針對于未來AR智能眼鏡的的局部圖片截取方法和信息彈出的新機制，及為由眼動視線引導的圖像截取進而識別局部圖片后彈出與圖像內容相關的信息(文字、聲音、圖片、視頻、三維模型)。目前縱觀全球AR智能眼鏡應用中內容信息的彈出是沒有經過篩選過濾的，其中存在著大量對用戶無用的信息，并且用戶不希望被無用的信息騷擾。而現有技術不能有效解決。

解決上述技術問題的難度和意義：

難點一：要實現讓AR智能眼鏡系統知道用戶看了哪里？

需要實現人的視場角FOV區域中的畫面、前置攝像頭的畫面、成像屏幕中的畫面、周圍真實環境的一致性校準標定。識別人眼圖像并計算眼球運動向量，獲取眼動坐標，并計算獲取人眼注視點在眼鏡成像屏幕和前置攝像頭畫面的坐標位置和周圍環境的坐標位置。

難點二：要實現讓AR智能眼鏡系統知道用戶看的是什么？

計算機截取人眼注視點區域圖像，AR眼鏡智能終端上傳云端服務器進行圖像識別，圖像識別、圖像的匹配需要大量的圖像數據庫進行人工智能機器學習的運算才能達到精準的識別匹配效果，因此在圖像數據庫、機器學習算法、超級計算機運算能力、數據上傳下傳的速度、AR智能眼鏡技術都提出了巨大的考驗。