[發明專利]用于控制音頻的系統和方法

在審

• 申請號: 202310094432.2
• 申請日: 2023-01-20
• 公開（公告）號: CN116504265A
• 公開（公告）日: 2023-07-28
• 發明（設計）人: J·斯維茨
• 申請（專利權）人: 索尼互動娛樂歐洲有限公司
• 主分類號: G10L21/0272
• 分類號: G10L21/0272;A63F13/424
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 張曉明

一種系統，包括：事件檢測單元，其被配置為檢測與視頻游戲環境相關聯的重要事件，并且選擇性地輸出檢測到的事件的指示；和分離單元，其被配置為根據來自事件檢測單元的指示對回放的音樂執行源分離，和音頻輸出單元，被配置為輸出從由分離單元進行的源分離的結果得到的音頻以用于回放。

技術領域

以下公開涉及用于處理視聽娛樂內的音頻的系統和方法，具體涉及用于處理視頻游戲環境內的音頻的系統和方法。還描述了實現這些方法的計算機程序、系統和設備。

背景技術

諸如電影和視頻游戲的視聽娛樂組合了大量的音頻、視覺和/或感官內容以向用戶遞送多媒體體驗。每個感覺介質利用大組組成資產來生成并提供期望的用戶體驗。例如，視頻游戲環境伴隨有各種音頻軌，諸如背景音樂、角色對話和各種各樣的音響(sound)效果。在一些情況下，由通過網絡連接并通過可聽語音聊天(voice?chat)通信的多個用戶也玩視頻游戲。

雖然每個音頻軌被實現的目的是增強沉浸感和集成設計為協調地結合在一起以創建總體用戶體驗，但是在一些特定情況下，在一些或所有音頻元素之間可能存在干擾。例如，在視頻游戲環境伴隨有具有聲軌的音樂的情況下，游戲中的或與游戲相關聯的對話可能被聲軌中的單詞模糊。此類同時(或接近同時)的語音(speech)可能對用戶造成聽覺混亂，從而可能錯過一個或多個音樂或對話，甚至可能導致用戶感到諸如惡心的不良影響。

當在游戲環境或其他視聽媒體中存在對話時，有可能降低混合中的音樂或其他音頻元素的音量，這是一種被稱為閃避(ducking)的技術。這是相對強力的解決方案，并且可能導致音樂軌的音量不斷變化，這有損于沉浸感和總體用戶體驗，并且還可能導致用戶厭煩的效果。

因此，希望提供一種視聽體驗，其保持完整的視聽體驗，同時提供重要語音和其他音頻元素被用戶識別和理解的能力。

發明內容

根據第一方面，本公開提供了一種系統，包括：事件檢測單元，其被配置為檢測與視頻游戲環境相關聯的重要事件，并且選擇性地輸出檢測到的事件的指示；和分離單元，其被配置為根據來自事件檢測單元的指示對回放的音樂執行源分離，和音頻輸出單元，其被配置為輸出由分離單元進行的源分離的結果導出的音頻以用于回放。

通過檢測重大事件并對音頻體驗的某些元素執行源分離，可以動態地適配預先產生的音頻以更好地伴隨視頻游戲環境中的或與視頻游戲環境相關聯的其他音頻元素。這樣，在無縫地移除可能與游戲中的或與游戲相關聯的其他音頻元素沖突的音樂的某些元素的同時，仍然可以保留回放的音樂的關鍵特征。此外，由于系統被配置為動態地檢測和實時調整某些音頻元素，因此可以為任何預先制作的音樂提供定制的解決方案，并且不需要針對每個場景具體地調整音樂。

視頻游戲環境中的重要事件可以是任意數量的事件之一，或者與任意數量的事件之一相關聯。例如，諸如配音、旁白和其他第二音樂中的音軌的對話，或者來自與游戲相關聯的語音聊天的對話，可以被認為是重要事件。因此，事件檢測單元可以被配置為將與視頻游戲環境相關聯的對話檢測為重要事件。如本文所公開的，音樂和其他音頻軌可以在回放中模糊對話，并且對用戶造成混淆(和其他不期望的效果)。通過檢測游戲環境中的或與游戲環境相關聯的對話的存在，并通過源分離來改變諸如回放的音樂之類的某些其他音頻元素，可以動態地調整音頻體驗以提供預期的用戶體驗，同時提高語音的可理解性。

在重要事件包括對話的情況下，與視頻游戲環境相關聯的對話可以包括在視頻游戲環境內具有源的對話。例如，事件可以與來自游戲中角色的語音或旁白相關聯。事件也可以與來自用戶或其他用戶的預先記錄的語音相關聯。在一些示例中，與視頻游戲相關聯的對話可以包括來自與視頻游戲環境相關或相關聯的語音聊天的音頻。來自語音聊天的語音可以被理解為表示由用戶產生的音頻-例如用戶話語，而不是與音頻事件相關聯的僅由計算機生成的音頻。此類語音通常具有來自連接到計算機或游戲系統的麥克風的源，麥克風被配置為接收用戶的聲音并通常通過網絡發送語音音頻。