[發(fā)明專利]一種將語音轉(zhuǎn)換成唇形的方法、系統(tǒng)、裝置和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010079894.3
• 申請日: 2020-02-04
• 公開（公告）號: CN111370020B
• 公開（公告）日: 2023-02-14
• 發(fā)明（設(shè)計(jì)）人: 黃桂芳;王倫基;葉俊杰;李權(quán);任勇;韓藍(lán)青
• 申請（專利權(quán)）人: 清華珠三角研究院;賽業(yè)（廣州）生物科技有限公司
• 主分類號: G10L21/10
• 分類號: G10L21/10;G10L25/24;G10L25/30;G10L19/02;G10L19/26;G06V40/20;G06V10/77;G06T13/20;G06T13/40
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 何文聰

本發(fā)明公開了一種將語音轉(zhuǎn)換成唇形的方法、系統(tǒng)、裝置和存儲介質(zhì)，所述方法包括：獲取語音序列；利用訓(xùn)練好的生成對抗網(wǎng)絡(luò)模型接收所述語音序列并進(jìn)行處理；獲取所述訓(xùn)練好的生成對抗網(wǎng)絡(luò)模型輸出的唇形圖像。本發(fā)明通過訓(xùn)練生成對抗網(wǎng)絡(luò)模型（GAN），并利用訓(xùn)練好的生成對抗網(wǎng)絡(luò)模型將語音轉(zhuǎn)換唇形，能夠得到高質(zhì)量、高分辨率的唇形圖像；生成對抗網(wǎng)絡(luò)模型采用的是一種無監(jiān)督的學(xué)習(xí)方式訓(xùn)練，能夠明顯改善語音質(zhì)量，減少語音失真，增強(qiáng)系統(tǒng)的魯棒性；當(dāng)持續(xù)輸入變化的語音時(shí)，最終能夠輸出動態(tài)的唇形圖像，能夠提供流暢的視覺效果；同時(shí)，將生成的唇形圖像與語音結(jié)合，能夠合成高質(zhì)量的人臉說話視頻。本發(fā)明廣泛應(yīng)用于語音數(shù)據(jù)技術(shù)領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及語音數(shù)據(jù)技術(shù)領(lǐng)域，尤其是一種將語音轉(zhuǎn)換成唇形的方法、系統(tǒng)、裝置和存儲介質(zhì)。

背景技術(shù)

落經(jīng)過近些年的探索和發(fā)展，計(jì)算機(jī)視覺已經(jīng)在數(shù)字娛樂、醫(yī)療健康、安防監(jiān)控等很多領(lǐng)域具有應(yīng)用場景。合成逼真的視覺內(nèi)容不僅具有很大的商業(yè)價(jià)值，而且也是業(yè)界一直所期望的。如果沒有計(jì)算機(jī)合成的綜合視覺效果，許多電影特效也是不可能實(shí)現(xiàn)的。目前，網(wǎng)絡(luò)上就已經(jīng)存在著大量的人工合成視頻。此外，語音識別與文本合成語音技術(shù)也已廣泛應(yīng)用于聊天機(jī)器人中，但是，現(xiàn)有技術(shù)普遍存在著計(jì)算量龐大、消耗時(shí)間多等缺點(diǎn)，多數(shù)研究基于音頻的說話人臉視頻生成問題都是基于圖形學(xué)的方法，但是這類方法通常需要對特定的目標(biāo)對象的大量視頻進(jìn)行訓(xùn)練和建模；現(xiàn)有的基于深度學(xué)習(xí)的方法使用Image-to-Image的方式，通過單張圖像生成整個(gè)人臉說話的視頻，這種方式已經(jīng)足以得到很好的與提供的語音匹配的唇形，但是生成圖像的質(zhì)量卻大打折扣，生成的結(jié)果不但分辨率不高，甚至可能出現(xiàn)人物的面部特征丟失或是出現(xiàn)色差等問題。

發(fā)明內(nèi)容

針對上述至少一個(gè)技術(shù)問題，本發(fā)明的目的在于提供一種將語音轉(zhuǎn)換成唇形的方法、系統(tǒng)、裝置和存儲介質(zhì)。

本發(fā)明所采取的技術(shù)方案是：一方面，本發(fā)明實(shí)施例包括一種將語音轉(zhuǎn)換成唇形的方法，包括：

獲取語音序列；

利用訓(xùn)練好的生成對抗網(wǎng)絡(luò)模型接收所述語音序列并進(jìn)行處理；

獲取所述訓(xùn)練好的生成對抗網(wǎng)絡(luò)模型輸出的唇形圖像。

進(jìn)一步地，所述將語音轉(zhuǎn)換成唇形的方法還包括對生成對抗網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，包括：

構(gòu)建訓(xùn)練集；所述訓(xùn)練集由語音樣本和唇形關(guān)鍵點(diǎn)樣本組成；

獲取所述訓(xùn)練集以對生成對抗網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

進(jìn)一步地，所述構(gòu)建訓(xùn)練集這一步驟，包括：

拍攝講話人進(jìn)行講話的視頻；

從所述視頻中分離出語音和圖像流；

對所述語音進(jìn)行重采樣，從而獲得所述語音樣本；

從所述圖像流中分離出圖像，并對所述圖像進(jìn)行人臉關(guān)鍵點(diǎn)檢測，從而獲得所述唇形關(guān)鍵點(diǎn)樣本。

進(jìn)一步地，所述將語音轉(zhuǎn)換成唇形的方法還包括對構(gòu)建的訓(xùn)練集進(jìn)行預(yù)處理，包括：

對所述語音樣本進(jìn)行分幀處理；

對分幀所得的每一幀進(jìn)行短時(shí)傅里葉變換，從而將所述語音轉(zhuǎn)換為語音頻譜圖；

使用梅爾濾波器組對每一幀對應(yīng)的功率譜進(jìn)行濾波；

將唇形關(guān)鍵點(diǎn)樣本中的每個(gè)唇形關(guān)鍵點(diǎn)的坐標(biāo)減去唇形中心點(diǎn)的坐標(biāo)，以保持平移不變性；

對每一組唇形關(guān)鍵點(diǎn)進(jìn)行標(biāo)準(zhǔn)化。

進(jìn)一步地，所述生成對抗網(wǎng)絡(luò)模型包括生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)；所述生成網(wǎng)絡(luò)包括多個(gè)子網(wǎng)絡(luò)和多個(gè)卷積網(wǎng)絡(luò)層，其中包括第一子網(wǎng)絡(luò)和第二子網(wǎng)絡(luò)；