[發(fā)明專利]用于將注解添加到全光光場(chǎng)的方法和設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201280077894.3
• 申請(qǐng)日: 2012-12-21
• 公開（公告）號(hào): CN104969264A
• 公開（公告）日: 2015-10-07
• 發(fā)明（設(shè)計(jì)）人: M·蒙尼;L·萊姆;S·艾爾
• 申請(qǐng)（專利權(quán)）人: 維迪諾蒂有限公司
• 主分類號(hào): G06T19/00
• 分類號(hào): G06T19/00;H04N5/272
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 申屠偉進(jìn);徐紅燕

背景技術(shù)

本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)（augmented?reality）方法和設(shè)備，特別地涉及用于將注解添加到對(duì)應(yīng)于場(chǎng)景（scene）的數(shù)據(jù)的方法和各種設(shè)備。

在手持便攜式裝置諸如智能手機(jī)、掌上型計(jì)算機(jī)、便攜式媒體播放器、個(gè)人數(shù)字助理（PDA）裝置等等的發(fā)展中的快速進(jìn)步已導(dǎo)致包含涉及圖像處理的新奇特征和應(yīng)用。比如增強(qiáng)現(xiàn)實(shí)應(yīng)用是已知的，其中用戶將便攜式裝置指向場(chǎng)景例如風(fēng)景、建筑物、海報(bào)、或博物館中的繪畫，并且顯示器將圖像與涉及該場(chǎng)景的疊加的信息一起示出。這樣的信息能夠包含：例如針對(duì)山和住所的名稱；人名；針對(duì)建筑物的歷史信息；和商業(yè)信息，諸如廣告，例如餐館菜單。這樣的系統(tǒng)的示例在EP1246080中和在EP2207113中被描述。

已知的是通過在無線通信網(wǎng)絡(luò)中的服務(wù)器將注解信息提供給便攜式裝置。包含帶有服務(wù)器和便攜式裝置的通信網(wǎng)絡(luò)的注解系統(tǒng)以及注解方法也是已知的。

許多注解方法包含將圖像諸如由帶有標(biāo)準(zhǔn)CCD或CMOS傳感器的標(biāo)準(zhǔn)針孔相機(jī)產(chǎn)生的2D圖像或計(jì)算機(jī)生成的圖像與儲(chǔ)存在數(shù)據(jù)庫中的參考圖像的集合相比較的步驟。因?yàn)閷?shí)際查看角度和照明條件能夠關(guān)于儲(chǔ)存在數(shù)據(jù)庫中的圖像是不同的，所以比較算法的目標(biāo)是去除這些參數(shù)的影響。

比如，WO2008134901描述其中使用與通信終端相關(guān)聯(lián)的數(shù)字相機(jī)拍攝第一圖像的方法。與第一圖像相關(guān)的詢問數(shù)據(jù)經(jīng)由通信網(wǎng)絡(luò)被傳輸?shù)竭h(yuǎn)程識(shí)別服務(wù)器，在該遠(yuǎn)程識(shí)別服務(wù)器處識(shí)別匹配參考圖像。通過用注解的圖像的至少部分代替第一圖像的部分，在通信終端處生成和顯示增強(qiáng)圖像。用相機(jī)拍攝的第一圖像的增強(qiáng)發(fā)生在平面空間中并且僅處理二維圖像和對(duì)象。

光線信息，諸如在空間的每個(gè)點(diǎn)中的光線的方向，在傳統(tǒng)的圖像注解系統(tǒng)中被拋棄。沒有光線信息的注解使注解的場(chǎng)景的現(xiàn)實(shí)視圖更困難。比如，捕捉或顯示在對(duì)象的表面上的紋理要求光線信息。盡管每個(gè)對(duì)象在它的表面上具有不同的紋理，但是在當(dāng)前注解系統(tǒng)中添加紋理信息是不可能的。這導(dǎo)致附著的注解實(shí)際不被集成在場(chǎng)景中。

另外，增強(qiáng)現(xiàn)實(shí)應(yīng)用的快速增長(zhǎng)可能在未來引起注解的泛濫。比如在城市中的一些場(chǎng)景含有與不同注解相關(guān)聯(lián)的許多元素，從而導(dǎo)致下述注解的圖像：該注解的圖像帶有非常大數(shù)目的注解，該注解覆蓋背景圖像的大部分。在許多情況中，用戶僅對(duì)有限數(shù)目的那些注解感興趣，并且另一些注解只會(huì)使人分心。因此，經(jīng)常將期望的是限制注解的數(shù)目并且提供一種選擇應(yīng)該被顯示的注解的方式。

此外，對(duì)于注解的場(chǎng)景查看而言計(jì)算開支是重要問題。將需要減少計(jì)算開支。

因此本發(fā)明的目標(biāo)是解決或至少減輕現(xiàn)有增強(qiáng)現(xiàn)實(shí)系統(tǒng)的以上提及的問題。

發(fā)明內(nèi)容

依據(jù)發(fā)明，這些目標(biāo)通過包括下述步驟的方法來實(shí)現(xiàn)：

用全光捕捉裝置檢索表示光場(chǎng)的數(shù)據(jù)；

執(zhí)行用于將捕捉的數(shù)據(jù)與對(duì)應(yīng)的參考數(shù)據(jù)匹配的程序代碼；

執(zhí)行用于檢索與所述參考數(shù)據(jù)的元素相關(guān)聯(lián)的在全光格式中的注解的程序代碼；

執(zhí)行用于從所述捕捉的數(shù)據(jù)和在全光格式中的所述注解生成注解的數(shù)據(jù)的程序代碼。

發(fā)明也通過用于捕捉和注解對(duì)應(yīng)于場(chǎng)景的數(shù)據(jù)的設(shè)備來實(shí)現(xiàn)，所述設(shè)備包括：

全光捕捉裝置，用于捕捉表示光場(chǎng)的數(shù)據(jù)；

處理器；

顯示器；

程序代碼，當(dāng)執(zhí)行所述程序代碼時(shí)，用于引起所述處理器檢索與用所述全光捕捉裝置捕捉的數(shù)據(jù)的元素相關(guān)聯(lián)的在全光格式中的至少一個(gè)注解，并且用于在所述顯示器上再現(xiàn)從捕捉的數(shù)據(jù)生成的且包含所述至少一個(gè)注解的視圖。

發(fā)明也提供用于確定注解的設(shè)備，所述設(shè)備包括：

處理器；

儲(chǔ)存器；

程序代碼，當(dāng)執(zhí)行所述程序代碼時(shí)，用于引起所述處理器接收表示光場(chǎng)的數(shù)據(jù)、將所述數(shù)據(jù)與一個(gè)參考數(shù)據(jù)匹配、從所述儲(chǔ)存器確定與所述參考數(shù)據(jù)相關(guān)聯(lián)的在全光格式中的注解并且將在全光格式中的所述注解或?qū)?yīng)于在全光格式中的注解的圖像的數(shù)據(jù)發(fā)送到遠(yuǎn)程裝置。

在全光格式中的注解的要求保護(hù)的添加允許在全光格式中在圖像中的注解的更現(xiàn)實(shí)的集成；注解似乎是捕捉的場(chǎng)景的元素，而不僅是疊加在圖像之上的文本。在全光格式中的注解（在本申請(qǐng)中也被稱為“全光注解”）含有比傳統(tǒng)的注解更完整的光場(chǎng)描述，包含如何修改光線的信息。

取決于在圖像的再現(xiàn)期間由用戶選擇的或比如基于他的興趣自動(dòng)選擇的焦距和/或視點(diǎn)，在全光格式中的注解提供也允許選擇應(yīng)該被顯示的注解。

由于注解與捕捉的數(shù)據(jù)相比較處于相同的空間（即全光空間）中，所以減少針對(duì)注解過程的計(jì)算開支。