[發(fā)明專利]直播互動(dòng)方法、裝置、電子設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011508099.8
• 申請(qǐng)日: 2019-05-05
• 公開（公告）號(hào): CN112562705A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 徐子豪;劉爐
• 申請(qǐng)（專利權(quán)）人: 廣州虎牙信息科技有限公司
• 主分類號(hào): G10L21/013
• 分類號(hào): G10L21/013;H04L29/06
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 張欣欣

1.一種直播互動(dòng)方法，其特征在于，應(yīng)用于主播端，所述主播端中存儲(chǔ)有至少一種風(fēng)格轉(zhuǎn)換模型，每種風(fēng)格轉(zhuǎn)換模型與一種音色風(fēng)格相對(duì)應(yīng)，所述方法包括：

根據(jù)接收到的音色轉(zhuǎn)換請(qǐng)求，每間隔預(yù)設(shè)時(shí)間，將主播輸入的第一音頻數(shù)據(jù)進(jìn)行切分，得到多個(gè)音頻片段，并從所述多個(gè)音頻片段中提取出音頻特征圖，所述音頻特征圖包括內(nèi)容特征圖，所述音色轉(zhuǎn)換請(qǐng)求包括目標(biāo)音色風(fēng)格；

將所述內(nèi)容特征圖輸入到預(yù)設(shè)的特征向量提取網(wǎng)絡(luò)，提取所述內(nèi)容特征圖的內(nèi)容特征向量；

采用所述目標(biāo)音色風(fēng)格對(duì)應(yīng)的風(fēng)格轉(zhuǎn)換模型對(duì)所述內(nèi)容特征向量進(jìn)行轉(zhuǎn)換，得到具有所述目標(biāo)音色風(fēng)格的風(fēng)格轉(zhuǎn)換圖；

對(duì)所述內(nèi)容特征圖和所述風(fēng)格轉(zhuǎn)換圖進(jìn)行特征反轉(zhuǎn)換，得到具有該目標(biāo)音色風(fēng)格的第二音頻數(shù)據(jù)；

根據(jù)所述第二音頻數(shù)據(jù)生成該主播對(duì)應(yīng)的虛擬形象的互動(dòng)視頻流，并發(fā)送給客戶端進(jìn)行播放。

2.根據(jù)權(quán)利要求1所述的直播互動(dòng)方法，其特征在于，所述風(fēng)格轉(zhuǎn)換模型利用第一音頻樣本和任意主播的第二音頻樣本基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練獲得，其中，所述第一音頻樣本具有所述目標(biāo)音色風(fēng)格。

3.根據(jù)權(quán)利要求1所述的直播互動(dòng)方法，其特征在于，在所述根據(jù)接收到的音色轉(zhuǎn)換請(qǐng)求，每間隔預(yù)設(shè)時(shí)間，將主播輸入的第一音頻數(shù)據(jù)進(jìn)行切分，得到多個(gè)音頻片段，并從所述多個(gè)音頻片段中提取出音頻特征圖之前，所述方法還包括：

預(yù)先根據(jù)訓(xùn)練樣本訓(xùn)練得到所述目標(biāo)音色風(fēng)格對(duì)應(yīng)的風(fēng)格轉(zhuǎn)換模型，具體包括：

獲取訓(xùn)練樣本，所述訓(xùn)練樣本包括第一音頻樣本和任意主播的第二音頻樣本，其中，所述第一音頻樣本具有所述目標(biāo)音色風(fēng)格；

分別提取所述第一音頻樣本的參考風(fēng)格特征圖和所述第二音頻樣本的內(nèi)容特征圖；

通過(guò)所述特征向量提取網(wǎng)絡(luò)分別提取所述參考風(fēng)格特征圖對(duì)應(yīng)的參考風(fēng)格特征向量和所述內(nèi)容特征圖對(duì)應(yīng)的內(nèi)容特征向量；

根據(jù)所述內(nèi)容特征向量和所述參考風(fēng)格特征向量訓(xùn)練初始轉(zhuǎn)換模型，得到所述目標(biāo)音色風(fēng)格對(duì)應(yīng)的風(fēng)格轉(zhuǎn)換模型，并存儲(chǔ)在所述主播端中。

4.根據(jù)權(quán)利要求3所述的直播互動(dòng)方法，其特征在于，所述根據(jù)所述內(nèi)容特征向量和所述參考風(fēng)格特征向量訓(xùn)練初始轉(zhuǎn)換模型，得到所述目標(biāo)音色風(fēng)格對(duì)應(yīng)的風(fēng)格轉(zhuǎn)換模型的步驟，包括：

將所述內(nèi)容特征向量輸入到初始轉(zhuǎn)換模型中，生成所述內(nèi)容特征向量的參考風(fēng)格轉(zhuǎn)換圖；

通過(guò)所述特征向量提取網(wǎng)絡(luò)提取所述參考風(fēng)格轉(zhuǎn)換圖對(duì)應(yīng)的參考風(fēng)格轉(zhuǎn)換特征向量；

根據(jù)所述內(nèi)容特征向量、所述參考風(fēng)格特征向量以及所述參考風(fēng)格轉(zhuǎn)換特征向量調(diào)整所述初始轉(zhuǎn)換模型的網(wǎng)絡(luò)參數(shù)。

5.根據(jù)權(quán)利要求4所述的直播互動(dòng)方法，其特征在于，所述根據(jù)所述內(nèi)容特征向量、所述參考風(fēng)格特征向量以及所述參考風(fēng)格轉(zhuǎn)換特征向量調(diào)整所述初始轉(zhuǎn)換模型的網(wǎng)絡(luò)參數(shù)的步驟，包括：

計(jì)算所述參考風(fēng)格特征向量與所述參考風(fēng)格轉(zhuǎn)換特征向量之間的第一向量差異值以及所述參考風(fēng)格轉(zhuǎn)換特征向量與所述內(nèi)容特征向量之間的第二向量差異值；

根據(jù)所述第一向量差異值和所述第二向量差異值進(jìn)行反向傳播訓(xùn)練，并計(jì)算所述初始轉(zhuǎn)換模型的網(wǎng)絡(luò)參數(shù)的梯度；

根據(jù)計(jì)算得到的所述梯度，采用隨機(jī)梯度下降法更新所述初始轉(zhuǎn)換模型的網(wǎng)絡(luò)參數(shù)后繼續(xù)訓(xùn)練，直到所述初始轉(zhuǎn)換模型滿足訓(xùn)練終止條件時(shí)，輸出訓(xùn)練得到的所述目標(biāo)音色風(fēng)格對(duì)應(yīng)的風(fēng)格轉(zhuǎn)換模型。

6.根據(jù)權(quán)利要求5所述的直播互動(dòng)方法，其特征在于，所述計(jì)算所述參考風(fēng)格特征向量與所述參考風(fēng)格轉(zhuǎn)換特征向量之間的第一向量差異值以及所述參考風(fēng)格轉(zhuǎn)換特征向量與所述內(nèi)容特征向量之間的第二向量差異值的步驟，包括：

生成所述內(nèi)容特征向量對(duì)應(yīng)的內(nèi)容特征灰度圖、所述參考風(fēng)格特征向量對(duì)應(yīng)的參考風(fēng)格灰度圖以及所述參考風(fēng)格轉(zhuǎn)換特征向量對(duì)應(yīng)的參考風(fēng)格轉(zhuǎn)換特征灰度圖；

計(jì)算所述參考風(fēng)格灰度圖與所述參考風(fēng)格轉(zhuǎn)換特征灰度圖之間的像素差異值作為所述第一向量差異值，并計(jì)算所述參考風(fēng)格轉(zhuǎn)換特征灰度圖與所述內(nèi)容特征灰度圖之間的像素差異值作為所述第二向量差異值。