[發(fā)明專(zhuān)利]一種增強(qiáng)現(xiàn)實(shí)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201610708864.8
• 申請(qǐng)日: 2016-08-23
• 公開(kāi)（公告）號(hào): CN107765842A
• 公開(kāi)（公告）日: 2018-03-06
• 發(fā)明（設(shè)計(jì)）人: 孫其民;胡治國(guó);李煒
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳市掌網(wǎng)科技股份有限公司
• 主分類(lèi)號(hào): G06F3/01
• 分類(lèi)號(hào): G06F3/01;G06T19/00
• 代理公司: 深圳市順天達(dá)專(zhuān)利商標(biāo)代理有限公司44217
• 代理人: 郭偉剛

技術(shù)領(lǐng)域

本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，具體而言，涉及一種增強(qiáng)現(xiàn)實(shí)方法及系統(tǒng)。

背景技術(shù)

增強(qiáng)現(xiàn)實(shí)技術(shù)是借助計(jì)算機(jī)圖形技術(shù)和可視化技術(shù)產(chǎn)生現(xiàn)實(shí)環(huán)境中不存在的虛擬對(duì)象，并將虛擬對(duì)象準(zhǔn)確地“嵌入”到真實(shí)環(huán)境中，借助顯示設(shè)備將虛擬對(duì)象與真實(shí)環(huán)境融為一體，將虛擬的信息應(yīng)用到真實(shí)世界，從而呈現(xiàn)給用戶(hù)一個(gè)感官效果真實(shí)的新環(huán)境，以實(shí)現(xiàn)對(duì)現(xiàn)實(shí)的增強(qiáng)。

用于實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)技術(shù)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)需要通過(guò)分析大量的定位數(shù)據(jù)和場(chǎng)景信息來(lái)保證計(jì)算機(jī)生成的虛擬物體可以精確地定位在真實(shí)場(chǎng)景中。因此，在已知的增強(qiáng)現(xiàn)實(shí)技術(shù)中，其具體實(shí)現(xiàn)過(guò)程可以包括：獲取真實(shí)場(chǎng)景信息；對(duì)獲取的真實(shí)場(chǎng)景信息和攝像頭位置信息進(jìn)行分析；生成虛擬物體；根據(jù)攝像頭位置信息在可視平面上繪制虛擬物體，并將虛擬物體與真實(shí)場(chǎng)景信息一起顯示。在上述技術(shù)呈現(xiàn)中，由于使用圖像的整體特征匹配識(shí)別對(duì)象，因而相應(yīng)的處理過(guò)程中計(jì)算量較大。而且，對(duì)攝像頭采集到的目標(biāo)圖像的尺寸也有一定的要求，若目標(biāo)遠(yuǎn)離攝像頭，攝像頭采集到的目標(biāo)圖像過(guò)小，則將導(dǎo)致檢測(cè)到的目標(biāo)圖像中的特征過(guò)少，而無(wú)法達(dá)到要求的合理匹配特征個(gè)數(shù)，進(jìn)而導(dǎo)致無(wú)法檢測(cè)出目標(biāo)對(duì)象，使得無(wú)法完成將虛擬物體疊加到視頻中的處理。

另外，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的硬件設(shè)備通常是具有屏幕顯示的平板，或類(lèi)似手持電子設(shè)備。但針對(duì)新興的頭顯類(lèi)產(chǎn)品而言，低延時(shí)的交互體驗(yàn)與高速圖形渲染處理要求則有別于對(duì)一般手持類(lèi)電子產(chǎn)品，進(jìn)而也對(duì)設(shè)備提出更多的設(shè)計(jì)要求。例如，佩戴者對(duì)外界真實(shí)場(chǎng)景中的某一物體(商品，建筑物等)的即興情緒可能是短暫的，如何在短暫的臨時(shí)興趣維持期間在頭顯中一并將虛擬信息框或虛擬物體疊加于顯示的實(shí)景物體位置處是設(shè)計(jì)需要解決的技術(shù)問(wèn)題。除此之外，如何在繁雜的外界物體信息中，建立一種虛擬信息展現(xiàn)機(jī)制，僅將佩戴者此刻關(guān)注搜尋的現(xiàn)實(shí)中物體給與展現(xiàn)，對(duì)于頭戴設(shè)備而言，無(wú)需不間斷的拍攝前景、減少數(shù)據(jù)信息處理量、有效增強(qiáng)有效信息交互感體驗(yàn)等也是目前亟待解決的問(wèn)題。

發(fā)明內(nèi)容

為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種增強(qiáng)現(xiàn)實(shí)方法及系統(tǒng)，可減少頭戴設(shè)備的計(jì)算量，同時(shí)較好的使用戶(hù)此刻關(guān)注的現(xiàn)實(shí)圖像物體在頭帶設(shè)備中得到信息分析，并將虛擬信息和真實(shí)世界信息在顯示屏上疊加顯示。

本發(fā)明采用的技術(shù)方案是：提供一種增強(qiáng)現(xiàn)實(shí)方法，包括以下步驟，

S1將頭戴式設(shè)備顯示屏中展現(xiàn)的現(xiàn)實(shí)圖像劃分為若干個(gè)顯示區(qū)域；

S2預(yù)先測(cè)試并記錄頭戴式設(shè)備佩戴者雙眼凝視顯示屏上任一顯示區(qū)域以及該區(qū)域中具體像素顯示位置上時(shí)眼球的瞬間轉(zhuǎn)動(dòng)狀態(tài)；

S3將預(yù)先測(cè)試并記錄的眼球的瞬間轉(zhuǎn)動(dòng)狀態(tài)與顯示屏上任一顯示區(qū)域以及該區(qū)域中具體像素顯示位置之間構(gòu)成映射關(guān)系；

S4依據(jù)獲取的眼球的瞬間轉(zhuǎn)動(dòng)狀態(tài)判斷目光在顯示屏上的凝視區(qū)域；

S5采集該凝視區(qū)域展現(xiàn)的現(xiàn)實(shí)圖像，并將其上傳至云端數(shù)據(jù)庫(kù)處理，得到現(xiàn)實(shí)圖像中各目標(biāo)對(duì)象的關(guān)聯(lián)信息；

S6確定各目標(biāo)對(duì)象的位置，依據(jù)各目標(biāo)對(duì)象的位置信息，確定各目標(biāo)對(duì)象的關(guān)聯(lián)信息在顯示屏上的顯示位置；

S7在顯示屏上將各目標(biāo)對(duì)象的關(guān)聯(lián)信息分別與現(xiàn)實(shí)圖像中的各目標(biāo)對(duì)象疊加顯示。

本發(fā)明所述的增強(qiáng)現(xiàn)實(shí)方法，步驟S5還包括：

S51檢測(cè)所采集的現(xiàn)實(shí)圖像的整體/局部特征，識(shí)別出各目標(biāo)對(duì)象。

本發(fā)明所述的增強(qiáng)現(xiàn)實(shí)方法，步驟S51還包括：

S511將現(xiàn)實(shí)圖像的整體/局部特征與可能匹配的各目標(biāo)對(duì)象的整體/局部特征進(jìn)行匹配，根據(jù)整體/局部特征位置的幾何相對(duì)特征關(guān)系，保留合理的匹配，根據(jù)合理的匹配識(shí)別出各目標(biāo)對(duì)象。

本發(fā)明所述的增強(qiáng)現(xiàn)實(shí)方法，步驟S5中的關(guān)聯(lián)信息包括與目標(biāo)對(duì)象屬性直接相關(guān)的產(chǎn)品信息。

本發(fā)明還提供一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)，包括頭戴式設(shè)備，還包括：

紅外攝像頭，用于對(duì)頭戴式設(shè)備佩戴者的眼球進(jìn)行實(shí)時(shí)紅外拍照，得到眼球瞬間轉(zhuǎn)動(dòng)狀態(tài)的圖片；

眼球狀態(tài)判定單元，用于分析瞬間眼球轉(zhuǎn)動(dòng)狀態(tài)的圖片，判斷眼球的凝視區(qū)域；

眼球識(shí)別單元，用于根據(jù)眼球的凝視區(qū)域?qū)φ真I值映射表，確定佩戴者此刻關(guān)注的現(xiàn)實(shí)圖像；

屏幕控制單元，用于根據(jù)佩戴者此刻關(guān)注的現(xiàn)實(shí)圖像控制顯示屏上的顯示內(nèi)容。

本發(fā)明所述的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，所述鍵值映射表為預(yù)先測(cè)試并記錄的眼球的瞬間轉(zhuǎn)動(dòng)狀態(tài)與顯示屏上任一顯示區(qū)域以及該區(qū)域中具體像素顯示位置之間構(gòu)成的映射關(guān)系表。