[發明專利]一種完全沉浸式的耳機立體聲實現方法及系統

在審

• 申請號: 201710461993.6
• 申請日: 2017-06-19
• 公開（公告）號: CN107249166A
• 公開（公告）日: 2017-10-13
• 發明（設計）人: 袁振華;蔣國珠
• 申請（專利權）人: 依偎科技（南昌）有限公司
• 主分類號: H04S5/00
• 分類號: H04S5/00;H04S7/00
• 代理公司: 北京卓嵐智財知識產權代理事務所(特殊普通合伙)11624
• 代理人: 任漱晨

技術領域

本發明涉及虛擬現實技術領域，尤其涉及一種完全沉浸式的耳機立體聲實現方法及系統。

背景技術

隨著虛擬現實的畫面日趨逼真，人們逐漸發現虛擬現實音頻對于人腦的3D畫面重建不可或缺的作用。對于一般的消費型電子終端設備來說，耳機是最實惠有效的實現虛擬現實音頻的載體，多聲道音頻信號經過處理后由耳機輸出，從而使用戶在游戲和電影中有較好的身臨其境的體驗。然而，當人腦轉動時，相應的聲音方向也會隨著人腦的轉動而轉動，產生了所謂的“頭中效應”，從而破壞了虛擬現實音頻的沉浸感。很多互聯網/音頻廠商均作了不少努力去解決這個問題，但還遠遠沒有達到完全沉浸式的效果。如Waves提出通過在耳機上小配件或利用手機攝像頭來實現對人頭轉動方向的監控，從而相對應地調整虛擬環繞聲的音頻參數，使聽者感覺到聲場方向不隨人頭轉動而轉動。但此技術需要在耳機上增加一個小配件，提高了實現沉浸式虛擬環繞聲的復雜程度和攜帶難度。

另一種方式是通過移動終端上的攝像頭來監視人頭轉動，從而及時調整虛擬環繞聲的音頻參數來實現聲場方向的調整，此方法能不需要增加小配件，對用戶來說更為方便。然而，用戶使用尺寸較小的移動終端時經常是采用手持的方式，移動終端本身的方向會隨著用戶游戲的投入而發生變化，從而對用戶人頭轉動方向產生較大的誤判或誤差。當用戶人頭未移動而手持的移動終端發生方向的變化，會使聲場方向調整，從而造成對虛擬環繞聲沉浸感的破壞。

另外，用戶在觀看虛擬現實/3D視頻時，或在體驗虛擬現實游戲時，人們會在畫面中對聲音方向產生一定的判斷(如左側的敵人跑過來時會伴隨左側方位傳來的腳步聲)，這時候如果用戶手持的移動終端方向發生轉動，應使聲場方向伴隨屏幕方向的變化而變化，使畫面和聲場方向所傳遞的信息難以保持一致。這就需要使虛擬音頻的聲場方向綜合人頭轉動方向和移動終端轉動方向信息來進行調整，使用戶完全沉浸于虛擬現實游戲/視頻中的畫面的虛擬環繞聲中。而當前各大虛擬音頻廠商所提出的方案均無法實現對移動終端方向和人頭轉動方向的同時監測和聲場方向調整，無法實現完全沉浸式的虛擬環繞聲體驗。

發明內容

本發明實施例提供一種完全沉浸式的耳機立體聲實現方法及系統，使用戶在不佩戴任何其它配件情況下，僅需要具備陀螺儀和攝像頭的移動終端和普通耳機即可實現完全避免“頭中效應”的虛擬環繞聲，大大提高了用戶在體驗3D視頻或游戲時的音頻體驗。無論用戶頭部如何轉動，或手持的移動終端處于何種方位，均可實現與畫面信息一致的虛擬環繞聲。

一方面，本發明實施例提供了一種完全沉浸式的耳機立體聲實現方法，所述方法包括：

移動終端的前置攝像頭實時監控，并將成像數據實時傳輸給DSP進行處理；

DSP根據圖像識別算法識別人臉，并分析人臉是否在指定距離內；若人臉在指定距離內，通過移動終端前置攝像頭獲取人臉數據，監控人的頭部轉動狀態；若人臉不在指定距離內，通過移動終端后置攝像頭獲取人臉數據，監控人的頭部轉動狀態；

通過移動終端的內置陀螺儀的角度檢測數據，監控移動終端轉動狀態，結合攝像頭監控的人頭部轉動狀態，綜合分析人頭與移動終端之間的實際相對轉動狀態；

DSP根據計算的實際相對轉動狀態對標準音源進行處理，調整虛擬環繞音頻參數。

另一方面，本發明實施例提供了一種完全沉浸式的耳機立體聲實現系統，其特征在于，包括：

DSP、前置攝像頭、后置攝像頭、陀螺儀、音源和耳機，所述DSP與前置攝像頭、后置攝像頭、陀螺儀、音源均電連接，所述音源和耳機連接，所述DSP、前置攝像頭、后置攝像頭、陀螺儀、音源均集成在移動終端上。

上述技術方案具有如下有益效果：

1、本發明使用戶在不佩戴任何其它配件情況下，僅需要具備陀螺儀和攝像頭的移動終端和普通耳機即可實現完全避免“頭中效應”的虛擬環繞聲，大大提高了用戶在體驗3D視頻或游戲時的音頻體驗。無論用戶頭部如何轉動，或手持的移動終端處于何種方位，均可實現與畫面信息一致的虛擬環繞聲。

2、本發明所述的耳機虛擬環繞聲實現方式的優勢還在于，其方案可集成于智能移動終端上，并不需要在現有方案添加更多組件就可實現，實現成本低，可行性強。用戶只需要佩戴普通耳機就可以體驗，無需其它配件，對用戶來說更容易接受。

3、另外，本發明所述方案綜合利用移動終端的前置和后置攝像頭來全角度監控人頭運動狀態，使用戶能盡情投入于游戲或視頻中而不致影響虛擬環繞聲體驗。

附圖說明