[發(fā)明專利]注解方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201280076225.4
• 申請(qǐng)日: 2012-10-05
• 公開（公告）號(hào): CN104798128A
• 公開（公告）日: 2015-07-22
• 發(fā)明（設(shè)計(jì)）人: L.里梅;M.蒙內(nèi)伊;S.阿耶;M.維特里
• 申請(qǐng)（專利權(quán)）人: 維迪諾蒂有限公司
• 主分類號(hào): G09G5/00
• 分類號(hào): G09G5/00;G06F17/30;H04N5/232;H04N1/21
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 王岳;陳嵐

技術(shù)領(lǐng)域

本發(fā)明涉及一種用于向?qū)?yīng)于場(chǎng)景的數(shù)據(jù)添加注解的注解方法。

背景技術(shù)

諸如智能電話、掌上型計(jì)算機(jī)、便攜式媒體播放器、個(gè)人數(shù)字助理（PDA）設(shè)備等手持式便攜設(shè)備的開發(fā)的快速發(fā)展已導(dǎo)致提議包括涉及到圖像處理的新型特征和應(yīng)用。在此類應(yīng)用中（即圖像注解或加標(biāo)題），用戶使便攜式設(shè)備指向場(chǎng)景，例如風(fēng)景、建筑物、海報(bào)或博物館中的油畫，并且顯示器顯示圖像以及關(guān)于場(chǎng)景的疊加信息。此類信息可以包括例如用于山和居所的名稱、人名、用于建筑物的歷史信息以及諸如廣告之類的商業(yè)信息，例如飯店菜單。在EP1246080中和在EP2207113中描述了此類系統(tǒng)的示例。

可以由無線通信網(wǎng)絡(luò)中的服務(wù)器將注解信息供應(yīng)給便攜式設(shè)備。具有服務(wù)器和便攜式設(shè)備的通信網(wǎng)絡(luò)的相應(yīng)功能配置在這里將被指定為注解系統(tǒng)。

WO05114476描述了一種移動(dòng)式基于圖像信息取回系統(tǒng)，包括移動(dòng)電話和遠(yuǎn)程識(shí)別服務(wù)器。在此系統(tǒng)中，將用移動(dòng)電話的照相機(jī)拍攝的圖像發(fā)射到其中執(zhí)行識(shí)別過程的遠(yuǎn)程服務(wù)器。這導(dǎo)致用于發(fā)射圖像的高帶寬需要以及用于在服務(wù)器中計(jì)算注解并將其傳輸回到移動(dòng)電話的延遲。

許多注解系統(tǒng)和方法包括將由注解設(shè)備獲取的圖像與存儲(chǔ)在數(shù)據(jù)庫中的一組參考圖像相比較的步驟。由于實(shí)際觀看角和照明條件相對(duì)于存儲(chǔ)在數(shù)據(jù)庫中的圖像而言可以是不同的，所以比較算法應(yīng)去除這些參數(shù)的影響。

此外，更尖端的圖像注解技術(shù)使用3D參考模型。這常常涉及到配準(zhǔn)過程，即對(duì)捕捉（或目標(biāo)）圖像進(jìn)行空間變換以與參考3D模型對(duì)準(zhǔn)的過程。在建筑物的情況下，例如，將對(duì)象的3D模型連同要注解的細(xì)節(jié)一起存儲(chǔ)在參考數(shù)據(jù)庫中。用此模型對(duì)由便攜式設(shè)備獲取的2D圖像進(jìn)行配準(zhǔn)，并且如果可以找到匹配，則識(shí)別該對(duì)象并將相應(yīng)的注解疊加到2D圖像上。

基于3D模型的圖像注解模型相比于更不取決于觀看角的2D模型而言具有優(yōu)點(diǎn)。可以使用單個(gè)3D模型作為用于與從不同位置且以不同角度捕捉的多個(gè)不同2D圖像匹配的參考。然而，構(gòu)建許多3D模型是困難且麻煩的過程；這通常要求3D或立體照相機(jī)。此外，用3D模型來配準(zhǔn)2D捕捉圖像的過程是耗費(fèi)時(shí)間的。

因此本發(fā)明的目的是解決或至少緩解現(xiàn)有增強(qiáng)現(xiàn)實(shí)系統(tǒng)的上述問題。

發(fā)明內(nèi)容

根據(jù)本發(fā)明，經(jīng)由包括以下步驟的方法來實(shí)現(xiàn)這些目的：用全光捕捉設(shè)備來捕捉表示光場(chǎng)的數(shù)據(jù)；執(zhí)行用于使捕捉數(shù)據(jù)與相應(yīng)參考數(shù)據(jù)匹配的程序代碼；執(zhí)行用于取回與所述參考數(shù)據(jù)的元素相關(guān)聯(lián)的注解的程序代碼；執(zhí)行用于再現(xiàn)從所述捕捉數(shù)據(jù)生成的并包括至少一個(gè)注解的視圖的程序代碼。

還經(jīng)由用于捕捉對(duì)應(yīng)于場(chǎng)景的數(shù)據(jù)并加注解的裝置來實(shí)現(xiàn)本發(fā)明，包括：全光照相機(jī)，用于捕捉表示光場(chǎng)的數(shù)據(jù)；處理器；顯示器；程序代碼，用于引起所述處理器取回與用所述照相機(jī)捕捉的數(shù)據(jù)元素相關(guān)聯(lián)的注解并在執(zhí)行所述程序代碼時(shí)將其用于在所述顯示器上再現(xiàn)從捕捉數(shù)據(jù)生成的且包括至少一個(gè)注解的視圖。

本發(fā)明還提供了一種用于確定注解的裝置，包括：處理器；存儲(chǔ)器（store）；程序代碼，用于引起所述處理器接收表示光場(chǎng)的數(shù)據(jù)，使所述數(shù)據(jù)與所述存儲(chǔ)器中的一個(gè)參考數(shù)據(jù)匹配，確定與所述參考數(shù)據(jù)相關(guān)聯(lián)的注解，并在執(zhí)行所述程序代碼時(shí)將所述注解發(fā)送到遠(yuǎn)程設(shè)備。

因而全光照相機(jī)是已知的，并且在市場(chǎng)上以低成本可獲得。不同于在傳感器上簡(jiǎn)單地捕捉場(chǎng)景的2D投影的常規(guī)照相機(jī)，全光照相機(jī)捕捉表示光場(chǎng)的數(shù)據(jù)，即不僅指示每個(gè)像素上的光強(qiáng)度、而且指示到達(dá)此像素/子圖像的光的方向或者至少從各種方向到達(dá)每個(gè)單個(gè)子圖像的光強(qiáng)度的矩陣。

因此，全光傳感器與由常規(guī)2D圖像傳感器生成的常規(guī)2D圖像數(shù)據(jù)相比生成包含關(guān)于到達(dá)每個(gè)子圖像的光的更多信息的數(shù)據(jù)。

由全光傳感器生成的數(shù)據(jù)包括關(guān)于并非直接從常規(guī)3D傳感器、也非從立體照相機(jī)可獲得的場(chǎng)景的信息。因此，由于可獲得更多且不同的信息，所以使捕捉數(shù)據(jù)與參考數(shù)據(jù)匹配的過程比使2D圖像與2D或3D模型匹配的常規(guī)方法更加可靠。直覺的是具有關(guān)于捕捉場(chǎng)景的更多信息可以在改善識(shí)別性能以及改善配準(zhǔn)質(zhì)量方面有益。

由全光照相機(jī)提供的數(shù)據(jù)與模型的匹配也比2D或3D捕捉圖像數(shù)據(jù)與3D模型的匹配更加魯棒（robust）。

表示光場(chǎng)且由全光傳感器捕捉的數(shù)據(jù)的匹配可包括將光場(chǎng)數(shù)據(jù)投射到2D圖像上并使此2D圖像與2D或3D參考模型匹配的步驟。由于不同的投射是可能的（例如對(duì)應(yīng)于可以在全光圖像的再現(xiàn)期間選擇的不同焦點(diǎn)），所以此過程導(dǎo)致增加的匹配可能性。然而，需要附加資源以用于計(jì)算這個(gè)或那些投射，并且關(guān)于捕捉場(chǎng)景的信息在轉(zhuǎn)換期間丟失，導(dǎo)致更不精確且更慢的匹配。