[發(fā)明專利]使用深度信息凈化聲音的方法和系統(tǒng)以及計(jì)算機(jī)可讀介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201980052488.3
• 申請(qǐng)日: 2019-08-22
• 公開(kāi)（公告）號(hào): CN112567455A
• 公開(kāi)（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 林袁;蕭人豪;何朝文
• 申請(qǐng)（專利權(quán)）人: OPPO廣東移動(dòng)通信有限公司
• 主分類(lèi)號(hào): G10L15/02
• 分類(lèi)號(hào): G10L15/02
• 代理公司: 深圳市威世博知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 唐雙

1.一種方法，其特征在于，包括：

至少一個(gè)處理器接收多個(gè)第一圖像，多個(gè)所述第一圖像至少包括發(fā)出聲音的人的與嘴相關(guān)的部分，且每一所述第一圖像均具有深度信息；

所述至少一個(gè)處理器獲取噪聲譜，所述噪聲譜包括人的聲音的第一表示；

所述至少一個(gè)處理器使用所述第一圖像提取多個(gè)視覺(jué)特征，其中，多個(gè)所述視覺(jué)特征中的一個(gè)使用多個(gè)所述第一圖像中的第二圖像的深度信息獲得；

所述至少一個(gè)處理器使用所述噪聲譜提取多個(gè)音頻特征；

所述至少一個(gè)處理器使用所述視覺(jué)特征和所述音頻特征確定第一譜；

所述至少一個(gè)處理器從所述噪聲譜中減去所述第一譜，以獲得人的聲音的凈化表示；以及

通過(guò)與輸入/輸出(I/O)相關(guān)的輸出設(shè)備使用人的聲音的凈化表示輸出響應(yīng)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，多個(gè)所述視覺(jué)特征中的一個(gè)使用多個(gè)所述第一圖像中的所述第二圖像的深度信息中的人的舌頭的深度信息來(lái)獲得。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

在人發(fā)出聲音時(shí)，通過(guò)攝像頭產(chǎn)生紅外光，所述紅外光照亮與嘴相關(guān)的部分；以及

通過(guò)所述攝像頭捕捉所述第一圖像。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述至少一個(gè)處理器接收多個(gè)所述第一圖像的步驟包括：

接收多個(gè)圖像集，其中每一所述圖像集包括所述第一圖像中的對(duì)應(yīng)的第三圖像以及對(duì)應(yīng)的第四圖像，所述對(duì)應(yīng)的第四圖像具有顏色信息，且所述第四圖像的顏色信息用于增強(qiáng)所述對(duì)應(yīng)的第三圖像的深度信息；以及

所述至少一個(gè)處理器提取所述視覺(jué)特征的步驟包括：

使用多個(gè)所述圖像集提取所述視覺(jué)特征，且多個(gè)所述視覺(jué)特征中的一個(gè)使用多個(gè)所述圖像集中的第一圖像集的深度信息和顏色信息來(lái)獲得。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述視覺(jué)特征中的一個(gè)通過(guò)使用多個(gè)所述第一圖像中的多個(gè)第五圖像的深度信息來(lái)獲得。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述至少一個(gè)處理器確定所述第一譜的步驟包括：

使用所述視覺(jué)特征和所述音頻特征之間的關(guān)聯(lián)確定第二表示。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，

所述第二表示為所述第一譜；以及

確定所述第二表示的步驟通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)執(zhí)行。

8.根據(jù)權(quán)利要求6所述的方法，其特征在于，

第二表示為視聽(tīng)表示；

確定所述第二表示的步驟通過(guò)RNN執(zhí)行；以及

所述至少一個(gè)處理器確定所述第一譜的步驟還包括：

通過(guò)全連接網(wǎng)絡(luò)使用所述第二表示確定所述第一譜。

9.一種系統(tǒng)，包括：

至少一個(gè)存儲(chǔ)器，用于存儲(chǔ)程序指令；

至少一個(gè)處理器，用于執(zhí)行所述程序指令，且所述程序指令使所述至少一個(gè)處理器執(zhí)行步驟：

接收多個(gè)第一圖像，多個(gè)所述第一圖像至少包括發(fā)出聲音的人的與嘴相關(guān)的部分，且每一所述第一圖像均具有深度信息；

獲取噪聲譜，所述噪聲譜包括人的聲音的第一表示；

使用所述第一圖像提取多個(gè)視覺(jué)特征，其中，多個(gè)所述視覺(jué)特征中的一個(gè)通過(guò)使用多個(gè)所述第一圖像中的第二圖像的深度信息獲得；

使用所述噪聲譜提取多個(gè)音頻特征；

使用所述視覺(jué)特征和所述音頻特征確定第一譜；以及

從所述噪聲譜中減去所述第一譜，以獲得人的聲音的凈化表示；以及

輸入/輸出(I/O)相關(guān)的輸出設(shè)備，用于使用人的聲音的凈化表示輸出響應(yīng)。

10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，多個(gè)所述視覺(jué)特征中的一個(gè)通過(guò)使用多個(gè)所述第一圖像的所述第二圖像的深度信息中的人的舌頭的深度信息來(lái)獲得。