[發明專利]增強現實系統中定向音頻的技術

有效

• 申請號: 201780009744.1
• 申請日: 2017-02-02
• 公開（公告）號: CN108604439B
• 公開（公告）日: 2021-12-28
• 發明（設計）人: G·A·桑格;S·A·米勒;B·施密特;A·A·塔吉克
• 申請（專利權）人: 奇躍公司
• 主分類號: G09G5/00
• 分類號: G09G5/00;G02B27/01;G02B27/18
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 賀月嬌;楊曉光

一種助聽器包括：傳感器，其被配置為檢測終端用戶對一真實聲源的關注；麥克風組件，其被配置為將聲音轉換為電信號；揚聲器，其被配置為將電信號轉換為聲音；以及控制子系統，其被配置為基于所檢測到的關注而修改麥克風組件的最大靈敏度的方向和/或距離。一種虛擬圖像生成系統包括：存儲器，其存儲三維場景；傳感器，其被配置為檢測終端用戶對一聲源的關注；揚聲器，其被配置為向終端用戶傳送聲音；以及控制子系統，其被配置為響應于檢測到關注而使揚聲器優先地傳送源自聲源的聲音，并且被配置為渲染場景的圖像幀；以及顯示子系統，其被配置為向終端用戶順序地顯示圖像幀。

技術領域

本發明一般地涉及頭戴式助聽設備，例如可以在增強現實環境中使用的助聽設備。

背景技術

現代計算和顯示技術促進了用于所謂的“虛擬現實”或“增強現實”體驗的系統的發展，其中數字再現的圖像或其部分以其看起來是真實的或者可被感知為真實的方式呈現給用戶。虛擬現實(VR)場景通常涉及數字或虛擬圖像信息的呈現，而對于其它實際的真實世界的視覺輸入不透明，而增強現實(AR)場景通常涉及數字或虛擬圖像信息的呈現作為對終端用戶周圍的實際世界的可視化的增強。

例如，參考圖1，描繪了增強現實場景4，其中AR技術的用戶看到以人、樹木、背景中的建筑物和混凝土平臺8為特征的真實世界公園狀設置6。除了這些項目之外，AR技術的終端用戶同樣感知到他“看到”站在真實世界平臺8上的機器人雕像10，以及飛過的卡通式化身角色12，該化身角色看起來是大黃蜂的化身，即使這些元素10、12在真實世界中不存在。事實證明，人類的視覺感知系統是非常復雜的，并且產生有助于連同其他虛擬或真實世界的圖像元素一起的虛擬圖像元素的舒適、自然、豐富呈現是具有挑戰性的。

VR和AR系統通常利用至少松散地耦接到用戶頭部的頭戴式顯示器(或頭盔式顯示器或智能眼鏡)，并且因此在終端用戶的頭部移動時移動。如果顯示系統檢測到終端用戶的頭部運動，則可以更新正顯示的數據，以考慮頭部姿態(即用戶頭部的取向和/或位置)的變化。

作為示例，如果佩戴頭戴式顯示器的用戶在顯示器上觀看三維(3D)對象的虛擬表示并且在3D對象出現的區域周圍走動，則該3D對象可以對于每一個視點被重新渲染，給終端用戶他或她在占據真實空間的對象周圍走動的感覺。如果頭戴式顯示器被用于在虛擬空間(例如，豐富的虛擬世界)內呈現多個對象，則頭部姿態的測量可用于重新渲染場景以匹配終端用戶的動態變化的頭部位置和取向并提供增強的在虛擬空間中的沉浸感。

使能AR(即，現實和虛擬對象的同時觀看)的頭戴式顯示器可以具有若干種不同類型的配置。在通常被稱為“視頻透視”顯示器的一個這種配置中，相機捕捉真實場景的元素，計算系統將虛擬元素疊加到捕捉的真實場景上，并且非透明顯示器將合成圖像呈現給眼睛。另一種配置通常被稱為“光學透視”顯示器，其中終端用戶可以透視顯示系統中的透明(或半透明)元素以直接觀看來自環境中真實對象的光。通常被稱為“合成器”的透明元素將來自顯示器的光疊加在終端用戶對真實世界的視圖之上。

為了加強用戶的VR/AR體驗，可以經由并入頭戴式顯示器中或以其它方式連接到頭戴式顯示器的揚聲器，向用戶傳送由真實聲源生成的聲音和/或由虛擬聲源生成的聲音。無論聲音是從真實聲源還是從虛擬聲源生成的，期望優先在用戶關注(focus)的方向上和/或用戶關注的距離處接收聲音，以使得用戶只聽到來自他或她感興趣的一個或多個對象的聲音。盡管可以將定向麥克風與頭戴式顯示器進行關聯，以便優先接收來自位于特定方向上和/或特定距離處的真實或虛擬聲源的聲音，同時消除來自其它源的噪聲，但是定向麥克風的對聲源的最大靈敏度的方向和/或距離不一定對應于用戶關注的方向和/或用戶關注的距離。

因此，存在優先接收并向終端用戶傳送來自用戶關注的真實或虛擬聲源的聲音的需求。

發明內容