[發(fā)明專利]直播間內(nèi)的音頻替換方法、系統(tǒng)、裝置及計(jì)算機(jī)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202210208196.8
• 申請(qǐng)日: 2022-03-03
• 公開(kāi)（公告）號(hào): CN114630144A
• 公開(kāi)（公告）日: 2022-06-14
• 發(fā)明（設(shè)計(jì)）人: 曾家樂(lè)
• 申請(qǐng)（專利權(quán)）人: 廣州方硅信息技術(shù)有限公司
• 主分類號(hào): H04N21/233
• 分類號(hào): H04N21/233;H04N21/2187;H04N21/258;H04N21/439;G10L15/22;G10L15/26;G10L15/30;G10L13/02
• 代理公司: 廣州駿思知識(shí)產(chǎn)權(quán)代理有限公司 44425
• 代理人: 潘桂生;孫小玉

1.一種直播間內(nèi)的音頻替換方法，其特征在于，所述方法包括步驟：

服務(wù)器響應(yīng)于音頻轉(zhuǎn)化指令，獲取第一發(fā)言人信息和所述第一發(fā)言人信息對(duì)應(yīng)的第一音頻流數(shù)據(jù)；將所述第一音頻流數(shù)據(jù)轉(zhuǎn)化為第一文本流數(shù)據(jù)；根據(jù)所述第一發(fā)言人信息，確定所述第一文本流數(shù)據(jù)對(duì)應(yīng)的第一發(fā)言人標(biāo)識(shí)，將所述第一文本流數(shù)據(jù)和所述第一文本流數(shù)據(jù)對(duì)應(yīng)的第一發(fā)言人標(biāo)識(shí)發(fā)送至直播間內(nèi)的觀眾客戶端；其中，所述第一發(fā)言人信息為所述直播間內(nèi)的當(dāng)前發(fā)言人對(duì)應(yīng)的發(fā)言人信息；

所述觀眾客戶端響應(yīng)于音頻生成指令，獲取所述第一文本流數(shù)據(jù)和所述第一文本流數(shù)據(jù)對(duì)應(yīng)的第一發(fā)言人標(biāo)識(shí)；輸入所述第一文本流數(shù)據(jù)至所述第一發(fā)言人標(biāo)識(shí)對(duì)應(yīng)的預(yù)訓(xùn)練好的音頻生成模型，得到第二音頻流數(shù)據(jù)；其中，所述第一發(fā)言人標(biāo)識(shí)對(duì)應(yīng)的預(yù)訓(xùn)練好的音頻生成模型為根據(jù)所述第一發(fā)言人標(biāo)識(shí)對(duì)應(yīng)的音頻流訓(xùn)練數(shù)據(jù)和所述第一發(fā)言人標(biāo)識(shí)對(duì)應(yīng)的文本流訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練得到的，所述第一發(fā)言人標(biāo)識(shí)對(duì)應(yīng)的文本流訓(xùn)練數(shù)據(jù)為轉(zhuǎn)換所述第一發(fā)言人標(biāo)識(shí)對(duì)應(yīng)的音頻流訓(xùn)練數(shù)據(jù)得到的；

所述觀眾客戶端替換所述直播內(nèi)輸出的所述第一音頻流數(shù)據(jù)為所述第二音頻流數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的直播間內(nèi)的音頻替換方法，其特征在于：所述第一發(fā)言人信息在視頻直播下為所述直播間內(nèi)所述當(dāng)前發(fā)言人對(duì)應(yīng)的人臉信息，所述第一發(fā)言人信息在語(yǔ)音直播下為所述直播間內(nèi)所述當(dāng)前發(fā)言人對(duì)應(yīng)的麥序信息。

3.根據(jù)權(quán)利要求1所述的直播間內(nèi)的音頻替換方法，其特征在于，所述獲取第一發(fā)言人信息和所述第一發(fā)言人信息對(duì)應(yīng)的第一音頻流數(shù)據(jù)，包括步驟：

所述服務(wù)器接收主播客戶端采集的音視頻流數(shù)據(jù)；其中，所述音視頻流數(shù)據(jù)包括音頻流數(shù)據(jù)和視頻流數(shù)據(jù)；所述視頻流數(shù)據(jù)中包括若干幀視頻畫(huà)面；

所述服務(wù)器在所述視頻畫(huà)面中進(jìn)行人臉定位，得到至少一個(gè)人臉區(qū)域，并在所述視頻畫(huà)面中的所述人臉區(qū)域內(nèi)監(jiān)測(cè)發(fā)言動(dòng)作，確定所述當(dāng)前發(fā)言人和所述當(dāng)前發(fā)言人對(duì)應(yīng)的人臉區(qū)域；

所述服務(wù)器根據(jù)所述視頻畫(huà)面和所述當(dāng)前發(fā)言人對(duì)應(yīng)的人臉區(qū)域，獲取所述當(dāng)前發(fā)言人對(duì)應(yīng)的人臉信息為所述第一發(fā)言人信息；

所述服務(wù)器獲取當(dāng)前接收的所述音頻流數(shù)據(jù)為所述第一發(fā)言人信息對(duì)應(yīng)的第一音頻流數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的直播間內(nèi)的音頻替換方法，其特征在于，所述服務(wù)器在所述視頻畫(huà)面中進(jìn)行人臉定位，得到至少一個(gè)人臉區(qū)域之后，包括步驟：

所述服務(wù)器在所述視頻畫(huà)面中的所述人臉區(qū)域內(nèi)進(jìn)行活體檢測(cè)，獲取所述直播間內(nèi)的發(fā)言人對(duì)應(yīng)的人臉區(qū)域和所述直播間內(nèi)的發(fā)言人數(shù)量；

若所述直播間內(nèi)的發(fā)言人數(shù)量不少于兩個(gè)，所述在所述視頻畫(huà)面中的所述人臉區(qū)域內(nèi)監(jiān)測(cè)發(fā)言動(dòng)作，確定所述當(dāng)前發(fā)言人和所述當(dāng)前發(fā)言人對(duì)應(yīng)的人臉區(qū)域，包括步驟：

所述服務(wù)器在所述視頻畫(huà)面中的所述發(fā)言人對(duì)應(yīng)的人臉區(qū)域內(nèi)監(jiān)測(cè)發(fā)言動(dòng)作，確定所述當(dāng)前發(fā)言人和所述當(dāng)前發(fā)言人對(duì)應(yīng)的人臉區(qū)域；

若所述直播間內(nèi)的發(fā)言人數(shù)量為一個(gè)，所述在所述視頻畫(huà)面中的所述人臉區(qū)域內(nèi)監(jiān)測(cè)發(fā)言動(dòng)作，確定所述當(dāng)前發(fā)言人和所述當(dāng)前發(fā)言人對(duì)應(yīng)的人臉區(qū)域，包括步驟：

所述服務(wù)器確定所述直播間內(nèi)的發(fā)言人為所述當(dāng)前發(fā)言人，所述直播間內(nèi)的發(fā)言人對(duì)應(yīng)的人臉區(qū)域?yàn)樗霎?dāng)前發(fā)言人對(duì)應(yīng)的人臉區(qū)域。

5.根據(jù)權(quán)利要求1所述的直播間內(nèi)的音頻替換方法，其特征在于，所述服務(wù)器響應(yīng)于音頻轉(zhuǎn)化指令之前，包括步驟：

所述主播客戶端響應(yīng)于開(kāi)播指令，采集音視頻流數(shù)據(jù)；其中，所述音視頻流數(shù)據(jù)包括音頻流數(shù)據(jù)和視頻流數(shù)據(jù)；所述視頻流數(shù)據(jù)中包括若干幀視頻畫(huà)面；

所述主播客戶端在所述視頻畫(huà)面中進(jìn)行人臉定位，得到至少一個(gè)人臉區(qū)域，并在所述視頻畫(huà)面中的所述人臉區(qū)域內(nèi)監(jiān)測(cè)發(fā)言動(dòng)作，確定所述當(dāng)前發(fā)言人和所述當(dāng)前發(fā)言人對(duì)應(yīng)的人臉區(qū)域；

所述主播客戶端根據(jù)所述視頻畫(huà)面和所述當(dāng)前發(fā)言人對(duì)應(yīng)的人臉區(qū)域，獲取所述當(dāng)前發(fā)言人對(duì)應(yīng)的人臉信息為所述第一發(fā)言人信息；

所述主播客戶端獲取當(dāng)前采集的所述音頻流數(shù)據(jù)為所述第一發(fā)言人信息對(duì)應(yīng)的第一音頻流數(shù)據(jù)。