[發明專利]視頻對象語音播放方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202211540203.0
• 申請日: 2022-12-02
• 公開（公告）號: CN116017033A
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 趙冠博
• 申請（專利權）人: 歌爾科技有限公司
• 主分類號: H04N21/439
• 分類號: H04N21/439;H04N21/44
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 高莎

1.一種視頻對象語音播放方法，其特征在于，所述視頻對象語音播放方法包括：

確定音視頻畫面中的目標視頻對象和語音收聽者之間的空間位置信息；

根據所述空間位置信息和所述目標視頻對象在所述音視頻畫面中的音源畫面位置信息，確定所述目標視頻對象對應的初始語音的音源空間位置信息；

根據所述音源空間位置信息，對所述初始語音進行空間渲染，得到空間渲染語音；

向所述語音收聽者播放所述空間渲染語音。

2.如權利要求1所述視頻對象語音播放方法，其特征在于，所述空間位置信息包括實際空間位置信息和虛擬空間位置信息，

所述確定音視頻畫面中的目標視頻對象和語音收聽者之間的空間位置信息的步驟包括：

檢測所述音視頻畫面是否為虛擬畫面；

若所述音視頻畫面為所述虛擬畫面，則將預設虛擬距離作為所述虛擬空間位置信息；

若所述音視頻畫面不為所述虛擬畫面，則通過檢測所述目標視頻對象和所述語音收聽者之間的實際距離，得到所述實際空間位置信息。

3.如權利要求2所述視頻對象語音播放方法，其特征在于，在所述根據所述空間位置信息和所述目標視頻對象在所述音視頻畫面中的音源畫面位置信息，確定所述目標視頻對象對應的初始語音的音源空間位置信息的步驟之前，所述視頻對象語音播放方法還包括：

獲取所述目標視頻對象對應的初始語音；

根據所述初始語音，確定所述目標視頻對象的音源發聲部位；

根據所述音源發聲部位，在所述目標視頻對象對應的音源區域圖像確定音源畫面位置信息。

4.如權利要求3所述視頻對象語音播放方法，其特征在于，所述根據所述音源發聲部位，在所述目標視頻對象對應的音源區域圖像確定音源畫面位置信息的步驟包括：

檢測所述音源區域圖像是否存在所述音源發聲部位；

若存在，則將所述音源發聲部位的第一部位特征點對應的位置信息作為所述音源畫面位置信息；

若不存在，則通過所述音源區域圖像預測所述音源發聲部位對應的第二部位特征點，并將所述第二部位特征點的位置信息作為所述音源畫面位置信息。

5.如權利要求4所述視頻對象語音播放方法，其特征在于，所述通過所述音源區域圖像預測所述音源發聲部位對應的第二部位特征點，包括：

在所述音源區域圖像提取所述目標視頻對象的對象特征信息；

將所述對象特征信息輸入至預設身高預測模型，得到所述目標視頻對象的對象身高；

根據所述對象身高對應的身體生理比例，確定所述音源發聲部位對應的第二部位特征點。

6.如權利要求3所述視頻對象語音播放方法，其特征在于，所述根據所述初始語音，確定所述目標視頻對象的音源發聲部位的步驟包括：

根據所述初始語音，識別所述目標視頻對象所屬的語音群體；

根據所述目標視頻對象的語音頻率和所述語音群體對應的語音頻率范圍，確定所述目標視頻對象的音源發聲部位。

7.如權利要求1所述視頻對象語音播放方法，其特征在于，所述初始語音包括初始單軌語音，

所述根據所述音源空間位置信息，對所述初始語音進行空間渲染，得到空間渲染語音的步驟包括：

對所述初始單軌語音進行聲音分離，得到所述目標視頻對象的對象單軌語音和背景單軌語音；

根據所述音源空間位置信息，分別對所述對象單軌語音和所述背景單軌語音進行渲染，得到渲染對象單軌語音和渲染背景單軌語音；

將所述渲染對象單軌語音和所述渲染背景單軌語音拼接為所述空間渲染語音。