[發(fā)明專利]一種基于AR智能眼鏡的局部圖像識別方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810909305.2
• 申請日: 2018-08-10
• 公開（公告）號: CN109086726B
• 公開（公告）日: 2020-01-14
• 發(fā)明（設(shè)計(jì)）人: 陳濤;蔡超;郭聞浩
• 申請（專利權(quán)）人: 陳濤
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T19/00;G06F3/01
• 代理公司: 11401 北京金智普華知識產(chǎn)權(quán)代理有限公司
• 代理人: 楊采良

1.一種基于AR智能眼鏡的局部圖像識別方法，其特征在于，所述基于AR智能眼鏡的局部圖像識別方法包括：

步驟一、所述局部圖像識別方法首先需要對智能眼鏡成像屏幕、智能眼鏡前置攝像頭畫面、周圍真實(shí)環(huán)境中的人眼視域畫面的一致性校準(zhǔn)標(biāo)定；所述一致性校準(zhǔn)標(biāo)定包括對AR眼鏡攝像頭進(jìn)行圖像畸變校正和標(biāo)定，通過所述的圖像畸變校正和標(biāo)定得到真實(shí)世界坐標(biāo)與AR眼鏡成像屏幕和智能眼鏡前置攝像頭畫面三者之間的坐標(biāo)的投影關(guān)系；

步驟二、識別人眼圖像并計(jì)算眼球運(yùn)動向量，獲取眼睛運(yùn)動坐標(biāo)；采用瞳孔-角膜反射光斑法或MEMS眼球追蹤技術(shù)，將人眼的運(yùn)動行為數(shù)字化，轉(zhuǎn)化為計(jì)算機(jī)系統(tǒng)計(jì)算的電子信號；

步驟三、識別人雙眼視覺延長線焦點(diǎn)落點(diǎn)是成像屏幕還是現(xiàn)實(shí)三維空間；注視點(diǎn)是成像屏幕則不開啟局部圖像識別，不進(jìn)行下一步，若注視點(diǎn)落點(diǎn)是真實(shí)世界則開啟局部圖像識別，進(jìn)行下一步；

步驟四、獲取人眼在周圍真實(shí)世界的映射關(guān)系；根據(jù)內(nèi)嵌映射算法分別獲取人眼注視點(diǎn)在眼鏡成像屏幕和前置攝像頭畫面的坐標(biāo)位置；

步驟五、過濾冗雜眼動行為；

步驟六、啟動局部圖像識別程序；

步驟七、截取人眼注視區(qū)域局部圖像；

步驟八、局部圖像通過5G上傳云端服務(wù)器處理，并對圖像進(jìn)行運(yùn)算、語義分割處理、識別、比對，獲得相關(guān)運(yùn)算結(jié)果；

步驟九、相關(guān)結(jié)果從云端通過5G回傳智能眼鏡終端進(jìn)行內(nèi)容呈現(xiàn)；

步驟四中，獲取人眼在周圍真實(shí)世界的映射關(guān)系；根據(jù)內(nèi)嵌映射算法分別獲取人眼注視點(diǎn)在眼鏡成像屏幕和前置攝像頭畫面的坐標(biāo)位置,具體包括：

i),通過人眼注視眼鏡成像屏幕的標(biāo)定點(diǎn)獲得人眼運(yùn)動坐標(biāo)與成像屏幕的映射關(guān)系；

ii),由于人眼透過半透明成像屏幕看到的真實(shí)世界場景與看到的半透明屏幕上正在呈現(xiàn)前置攝像頭拍到的虛擬場景影像無重影且保持一致；通過相似三角形原理，獲取人眼在真實(shí)世界的視覺注視區(qū)域；

步驟五中，過濾冗雜眼動行為包括：

I)低通濾波，對原始視線信號進(jìn)行濾波以獲取可以使用的視線信號；

II)T值自適應(yīng)調(diào)節(jié)，實(shí)時(shí)監(jiān)測當(dāng)前的眼動模式，眼動角速度的計(jì)算、眼跳速度與閾值的比對，以及濾波參數(shù)的調(diào)節(jié)；

III)識別區(qū)域控制，主要控制識別區(qū)域移動；

步驟六中，所述啟動局部圖像識別程序，獲取到人類生物電并識別出用戶興趣點(diǎn)時(shí)啟動圖像局部圖像識別程序，興趣識別條件包括：

A、對某一區(qū)域凝視時(shí)長超過閾值；

B、對某一區(qū)域回視次數(shù)超過預(yù)設(shè)次數(shù)；

C、對某一區(qū)域注視時(shí)眨眼次數(shù)或眨眼行為達(dá)到預(yù)設(shè)標(biāo)準(zhǔn)；

D、對某一事物產(chǎn)生規(guī)律性視覺注意模型；

E、同一時(shí)刻腦電波檢測模塊檢測出用戶對該視覺注視區(qū)域產(chǎn)生情緒波動；

F、同一時(shí)刻心率、血壓人體生物信息監(jiān)測模塊檢測出用戶情緒發(fā)生波動；

G、同一時(shí)刻人眼對當(dāng)下注視事物產(chǎn)生瞳孔放大或縮小的生理反應(yīng)數(shù)據(jù)；

步驟七中，截取人眼注視區(qū)域局部圖像，具體為，以注視點(diǎn)為圓心的某一固定值為半徑的圓形、以注視點(diǎn)為中心的某一固定值為邊長的正方形或眼動路徑所形成的不規(guī)則多邊形；

步驟八中，局部圖像通過5G上傳云端服務(wù)器進(jìn)行云端識別，具體包括：圖像特征點(diǎn)5G上傳云端服務(wù)器做云端識別、語義分割運(yùn)算、匹配、檢索，獲取相關(guān)信息內(nèi)容；

步驟九中，相關(guān)結(jié)果數(shù)據(jù)5G回傳智能眼鏡進(jìn)行內(nèi)容呈現(xiàn)，內(nèi)容包括文字、圖片、聲音、視頻、三維模型；

步驟一中，一致性校準(zhǔn)標(biāo)定包括：

步驟1)，

根據(jù)AR眼鏡內(nèi)參，獲取AR眼鏡前置攝像頭與AR眼鏡成像屏幕的投影關(guān)系；

根據(jù)所述AR眼鏡前置攝像頭與AR眼鏡成像屏幕的投影關(guān)系，并利用相機(jī)的畸變參數(shù)對獲取的真實(shí)世界坐標(biāo)與AR眼鏡成像屏幕和智能眼鏡前置攝像頭畫面三者之間的投影關(guān)系進(jìn)行調(diào)整，獲取真實(shí)世界坐標(biāo)與AR眼鏡成像屏幕和智能眼鏡前置攝像頭畫面三者之間的坐標(biāo)的投影關(guān)系；

步驟2)，

依次給出位于世界坐標(biāo)內(nèi)的多個(gè)校準(zhǔn)點(diǎn)及多個(gè)校準(zhǔn)點(diǎn)的坐標(biāo)；

分別捕捉注視所述多個(gè)校準(zhǔn)點(diǎn)時(shí)的眼圖，利用瞳孔-角膜反射光斑插值擬合算法或MEMS眼球追蹤技術(shù)，得到眼圖數(shù)據(jù)并生成注視點(diǎn)坐標(biāo)到攝像頭拍攝圖像的映射函數(shù)；

根據(jù)所述映射函數(shù)以及真實(shí)世界坐標(biāo)與AR眼鏡成像屏幕坐標(biāo)和智能眼鏡前置攝像頭的投影關(guān)系，得到人眼在真實(shí)世界的注視點(diǎn)坐標(biāo)到成像屏幕坐標(biāo)的標(biāo)定。