[發(fā)明專利]用于具有相關聯(lián)的音頻內(nèi)容的對象的空間音頻信號處理

在審

• 申請?zhí)枺?/td>: 201680006841.0
• 申請日: 2016-01-21
• 公開（公告）號: CN107211180A
• 公開（公告）日: 2017-09-26
• 發(fā)明（設計）人: S·斯里尼瓦桑;R·S·梅內(nèi)澤斯;S·C·賴特;H·懷
• 申請（專利權(quán)）人: 微軟技術許可有限責任公司
• 主分類號: H04N21/414
• 分類號: H04N21/414;H04N21/422;H04N21/439
• 代理公司: 永新專利商標代理有限公司72002
• 代理人: 劉瑜,王英

背景技術

基于分組的通信系統(tǒng)允許設備的用戶(例如，個人計算機)使用分組協(xié)議(例如，因特網(wǎng)協(xié)議(IP))通過計算機網(wǎng)絡進行通信。基于分組的通信系統(tǒng)可以用于各種類型的通信事件。可以建立的通信事件包括語音通話、視頻通話、即時消息傳送、語音郵件、文件傳輸和其他。這些系統(tǒng)對用戶是有益的，因為它們通常比固定線路或移動網(wǎng)絡具有顯著降較低的成本。遠距離通信的情況可能尤其如此。要使用基于分組的系統(tǒng)，用戶在其設備上安裝并執(zhí)行客戶端軟件。客戶端軟件提供基于分組的連接以及其他功能，如注冊和認證。

通信系統(tǒng)允許設備的用戶通過諸如因特網(wǎng)的計算機網(wǎng)絡進行通信。可以建立的通信事件包括語音通話、視頻通話、即時消息傳送、語音郵件、文件傳輸和其他。利用視頻通話，呼叫者可以觀看視頻圖像。

發(fā)明內(nèi)容

提供本發(fā)明內(nèi)容以便以簡化的形式來引入在下面的具體實施方式中進一步描述的概念的選擇。本發(fā)明內(nèi)容不是要識別所要求保護的主題的關鍵特征或主要特征，也不是要用于限定所要求保護的主題的范圍。所要求保護的主題也不限于解決所提到的缺點中的任何或所有缺點的實現(xiàn)方式。

本公開的實施例涉及用于具有相關聯(lián)的音頻數(shù)據(jù)內(nèi)容的對象的空間音頻信號處理。例如，共享場景中的具有相關聯(lián)的音頻數(shù)據(jù)內(nèi)容的對象例如是在協(xié)作混合現(xiàn)實應用中被生成的。在協(xié)作混合現(xiàn)實應用中，參與者可以使對象在共享場景中可視化、將對象放置在共享場景中以及與共享場景中的對象進行交互。該共享場景通常表示參與者之一的周圍空間，例如，場景可以包括來自于參與者之一的視點的視頻圖像。對象或虛擬對象可以“被放置”在場景中并且可以具有可以被參與者“看到”并且與參與者進行交互的視覺表示。此外，對象可以具有相關聯(lián)的內(nèi)容。例如，對象可以具有諸如音頻、圖像、視頻或文本內(nèi)容之類的相關聯(lián)的內(nèi)容。例如，參與者可以將視頻播放器對象放置于共享場景中，并與其進行交互以開始針對所有要觀看的參與者播放視頻。然后，另一參與者可以與視頻播放器對象進行交互以控制重播或改變視頻播放器對象在場景中的位置。類似地，對象可以是接觸式圖像或是可以被顯示給場景的參與者的類似物。該對象還可以與音頻數(shù)據(jù)相關聯(lián)。以這種方式，“音頻”電話通話可以位于該場景內(nèi)。類似地，視頻會議會話參與者在場景中可以由具有來自參與者的相關聯(lián)的視頻和音頻數(shù)據(jù)的對象來表示。

發(fā)明人已經(jīng)認識到，用戶可能不總會在視覺上感知場景內(nèi)的這些對象的位置，并因此可能“丟失”對象相對于用戶的位置/方向的位置。

根據(jù)本公開的第一方面，提供了一種用于生成場景的用戶設備，該用戶設備包括：對象確定器，其被配置為確定場景的對象，該對象與至少一個音頻信號相關聯(lián)；相對位置/方向確定器，其被配置為確定用戶設備的用戶與該對象之間的相對位置/方向；音頻位置處理器，其被配置為基于相對位置/方向?qū)χ辽僖粋€音頻信號進行空間音頻信號處理以生成至少兩個信道音頻信號。

根據(jù)本公開的第二方面，提供了一種在用戶設備處實現(xiàn)的用于生成場景的方法，該方法包括：確定該場景的對象，該對象與至少一個音頻信號相關聯(lián)；確定用戶設備的用戶與該對象之間的相對位置/方向；以及基于相對位置/方向?qū)χ辽僖粋€音頻信號進行空間音頻信號處理以生成至少兩個信道音頻信號。

根據(jù)本公開的第三方面，提供了一種計算機程序產(chǎn)品，該計算機程序產(chǎn)品被包含在非暫時性計算機可讀介質(zhì)上，并被配置為當在用戶設備的處理器上執(zhí)行以用于生成場景時實施以下操作：確定該場景的對象，該對象與至少一個音頻信號相關聯(lián)；確定用戶設備的用戶與該對象之間的相對位置/方向；以及基于相對位置/方向?qū)χ辽僖粋€音頻信號進行空間音頻信號處理以生成至少兩個信道音頻信號。

附圖說明

為了更好地理解本公開內(nèi)容并且示出如何可以實施本公開，現(xiàn)在將通過舉例的方式參考以下附圖，其中：

圖1示出了通信系統(tǒng)的示意圖；

圖2示出了用戶設備的示意圖；

圖3示出了作為可穿戴式頭戴式耳機的用戶設備的示意圖；

圖4a和圖4b示出了用于組合的視頻和表面再現(xiàn)(SR)數(shù)據(jù)的示例發(fā)射機和接收機流水線的示意圖；

圖5示出了用于具有相關聯(lián)的音頻數(shù)據(jù)內(nèi)容的對象的空間音頻信號處理的示例架構(gòu)的示意圖；

圖6示出了用于具有相關聯(lián)的音頻數(shù)據(jù)內(nèi)容的對象的空間音頻信號處理的初始化過程的流程圖；

圖7示出了用于具有相關聯(lián)的音頻數(shù)據(jù)內(nèi)容的對象的空間音頻信號處理的示例過程的流程圖；以及

圖8a和圖8b示出了用于在具有相關聯(lián)的音頻數(shù)據(jù)內(nèi)容的對象的空間音頻信號處理與音頻源的常規(guī)音頻表示之間進行切換的示例過程的流程圖。

具體實施方式