[發(fā)明專利]融合聲對(duì)象信息的設(shè)備和方法

無效

• 申請(qǐng)?zhí)枺?/td>: 201110211993.3
• 申請(qǐng)日: 2011-07-27
• 公開（公告）號(hào): CN102404667A
• 公開（公告）日: 2012-04-04
• 發(fā)明（設(shè)計(jì)）人: 全海助;孫宰官;安相坤;李晟瑍;曺泰鉉;崔賢德
• 申請(qǐng)（專利權(quán)）人: 株式會(huì)社泛泰
• 主分類號(hào): H04R3/00
• 分類號(hào): H04R3/00;G10L15/26
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 李輝;孫海龍

技術(shù)領(lǐng)域

以下說明涉及增強(qiáng)現(xiàn)實(shí)(Augmented?Reality(“AR”))，更具體地講，涉及用于融合聲對(duì)象信息以提供將圖像與聲音融合起來的增強(qiáng)現(xiàn)實(shí)(“AR”)服務(wù)的設(shè)備和方法。

背景技術(shù)

增強(qiáng)現(xiàn)實(shí)(“AR”)是提供了其中用戶的眼睛所看到的真實(shí)世界與提供了附加信息的虛擬世界融合起來的圖像的虛擬現(xiàn)實(shí)(“VR”)的一種。AR類似于現(xiàn)有的VR。VR只為用戶提供了虛擬的空間和對(duì)象，而AR基于真實(shí)世界合成虛擬對(duì)象以提供不能在真實(shí)世界中容易地成為對(duì)象的附加信息。不同于基于完全虛擬世界的VR，AR將虛擬對(duì)象與真實(shí)環(huán)境結(jié)合起來以向用戶提供更逼真的感覺。在美國和日本已經(jīng)從1990年代的下半期開始對(duì)AR進(jìn)行研究。隨著諸如移動(dòng)電話和個(gè)人數(shù)字助理(“PDA”)之類的移動(dòng)裝置的計(jì)算能力的提高、以及無線網(wǎng)絡(luò)裝置的發(fā)展，各種AR服務(wù)當(dāng)前正被提供。

例如，與由移動(dòng)電話的相機(jī)拍攝到的真實(shí)環(huán)境中的對(duì)象相關(guān)聯(lián)的細(xì)節(jié)和附加信息被虛擬地生成且與對(duì)象的圖像融合起來，并且其后輸出到顯示器。然而，傳統(tǒng)的AR服務(wù)是基于圖像的服務(wù)，并且對(duì)于提供各種附加AR服務(wù)存在限制。

發(fā)明內(nèi)容

本發(fā)明的示例性實(shí)施方式提供了一種用于提供將實(shí)際圖像與聲音融合起來的增強(qiáng)現(xiàn)實(shí)(“AR”)服務(wù)的設(shè)備和方法。

本發(fā)明的附加特征將在以下描述中被闡述，并且將根據(jù)該描述部分地變得清楚，或者可通過對(duì)本發(fā)明的實(shí)踐而被了解。

本發(fā)明的示例性實(shí)施方式披露了一種聲對(duì)象信息融合設(shè)備，包括：聲對(duì)象化單元，用于估計(jì)接收到的聲音的方向和位置，用于基于估計(jì)出的接收到的聲音的方向和位置來對(duì)接收到的聲音的聲音模式進(jìn)行分類，并且用于基于接收到的聲音的聲音模式來識(shí)別接收到的聲音的對(duì)象；聲對(duì)象信息生成器，用于獲取與識(shí)別出的接收到的聲音的對(duì)象相關(guān)的附加信息，并且用于由此生成聲對(duì)象信息；以及融合單元，用于將聲對(duì)象信息與真實(shí)的圖像或真實(shí)的聲音融合起來。

本發(fā)明的示例性實(shí)施方式披露了一種生成與聲音相關(guān)聯(lián)的聲對(duì)象信息并且在用戶終端中將聲對(duì)象信息與真實(shí)的圖像或聲音融合起來的方法，包括步驟：估計(jì)通過麥克風(fēng)陣列接收到的聲音的方向和位置；基于估計(jì)出的接收到的聲音的方向和位置來對(duì)接收到的聲音的聲音模式進(jìn)行分類；通過參考存儲(chǔ)有多個(gè)對(duì)象的聲音峰值的聲音模式數(shù)據(jù)庫來識(shí)別與聲音模式的聲音峰值相關(guān)聯(lián)的對(duì)象；獲取與所確定的對(duì)象相關(guān)的附加信息以生成接收到的聲音的聲對(duì)象信息；以及將聲對(duì)象信息與真實(shí)的圖像或聲音融合起來。

應(yīng)該理解，前述總體描述和以下詳細(xì)描述是示例性的和說明性的，并且旨在提供對(duì)所要求保護(hù)的本發(fā)明的進(jìn)一步的說明。其它特征和方面將根據(jù)以下詳細(xì)的描述、附圖、和權(quán)利要求而變得清楚。

附圖說明

被包括以提供對(duì)本發(fā)明的進(jìn)一步理解并且結(jié)合到該說明書中且構(gòu)成該說明書的一部分的附圖說明了本發(fā)明的實(shí)施方式，并且與說明書一起用于說明本發(fā)明的原理。

圖1是說明根據(jù)示例性實(shí)施方式的聲對(duì)象信息融合設(shè)備的圖。

圖2示出了根據(jù)示例性實(shí)施方式的聲對(duì)象信息融合設(shè)備的麥克風(fēng)陣列。

圖3是描述了根據(jù)示例性實(shí)施方式的聲對(duì)象信息融合方法的流程圖。

圖4示出了根據(jù)示例性實(shí)施方式的對(duì)聲對(duì)象信息與真實(shí)的圖像或聲音的融合。

圖5示出了根據(jù)示例性實(shí)施方式的對(duì)聲對(duì)象信息與真實(shí)的圖像或聲音的融合。

圖6示出了根據(jù)示例性實(shí)施方式的對(duì)聲對(duì)象信息與真實(shí)的圖像或聲音的融合。

圖7示出了根據(jù)示例性實(shí)施方式的對(duì)聲對(duì)象信息與真實(shí)的圖像或聲音的融合。

具體實(shí)施方式

以下參照示出了本發(fā)明的實(shí)施方式的附圖來更全面地描述本發(fā)明。然而，本發(fā)明可以多種不同形式實(shí)施，并且不應(yīng)被理解為限于本文陳述的實(shí)施方式。相反，提供這些實(shí)施方式使本公開變得完善，并且將向本領(lǐng)域技術(shù)人員完全地傳達(dá)本發(fā)明的范圍。在附圖中，為了清楚起見可能夸大層和區(qū)域的大小和相對(duì)大小。在附圖中相同的標(biāo)號(hào)表示相同的元件。