[發明專利]使用深度信息凈化聲音的方法和系統以及計算機可讀介質

在審

• 申請號: 201980052488.3
• 申請日: 2019-08-22
• 公開（公告）號: CN112567455A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 林袁;蕭人豪;何朝文
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 唐雙

在一實施例中，方法包括：接收多個第一圖像，多個所述第一圖像至少包括發出聲音的人的與嘴相關的部分，且每一所述第一圖像均具有深度信息；獲取噪聲譜，所述噪聲譜包括人的聲音的第一表示；使用所述第一圖像提取多個視覺特征，多個所述視覺特征中的一個通過使用多個所述第一圖像中的第二圖像的深度信息獲得；使用所述噪聲譜提取多個音頻特征；使用所述視覺特征和所述音頻特征確定第一譜；從所述噪聲譜中減去所述第一譜，以獲得人的聲音的凈化表示；以及驅使與輸入/輸出相關的輸出設備使用人的聲音的凈化表示輸出響應。

技術領域

本申請涉及語音增強領域，特別涉及一種使用深度信息凈化聲音的方法和系統以及計算機可讀介質。

背景技術

聲音凈化(voice purification)是一種語音增強或語音去噪技術，其旨在將噪聲音頻中的特定人的聲音與背景噪聲以及和該人處于同一環境中的其他人的聲音分開。伴隨噪聲音頻的人的視覺信息可用于聲音凈化。聲音凈化可提高人和/或機器的語音的質量和/或清晰度。

發明內容

本申請的目的在于提出一種使用深度信息凈化聲音的方法和系統以及計算機可讀介質。

在本申請的第一方面，方法包括：

至少一個處理器接收多個第一圖像，多個所述第一圖像至少包括發出聲音的人的與嘴相關的部分，且每一所述第一圖像均具有深度信息；

所述至少一個處理器獲取噪聲譜，所述噪聲譜包括人的聲音的第一表示；

所述至少一個處理器使用所述第一圖像提取多個視覺特征，其中，多個所述視覺特征中的一個使用多個所述第一圖像中的第二圖像的深度信息獲得；

所述至少一個處理器使用所述噪聲譜提取多個音頻特征；

所述至少一個處理器使用所述視覺特征和所述音頻特征確定第一譜；

所述至少一個處理器從所述噪聲譜中減去所述第一譜，以獲得人的聲音的凈化表示；以及

通過與輸入/輸出(I/O)相關的輸出設備使用人的聲音的凈化表示輸出響應。

根據本申請第一方面的實施例，多個所述視覺特征中的一個使用多個所述第一圖像中的所述第二圖像的深度信息中的人的舌頭的深度信息來獲得。

根據本申請第一方面的實施例，所述方法還包括：

在人發出聲音時，通過攝像頭產生紅外光，所述紅外光照亮與嘴相關的部分；以及

通過所述攝像頭捕捉所述第一圖像。

根據本申請第一方面的實施例，所述至少一個處理器接收多個所述第一圖像的步驟包括：接收多個圖像集，其中每一所述圖像集包括所述第一圖像中的對應的第三圖像以及對應的第四圖像，所述對應的第四圖像具有顏色信息，且所述第四圖像的顏色信息用于增強所述對應的第三圖像的深度信息；以及所述至少一個處理器提取所述視覺特征的步驟包括：使用多個所述圖像集提取所述視覺特征，且多個所述視覺特征中的一個使用多個所述圖像集中的第一圖像集的深度信息和顏色信息來獲得。

根據本申請第一方面的實施例，所述視覺特征中的一個通過使用多個所述第一圖像中的多個第五圖像的深度信息來獲得。

根據本申請第一方面的實施例，所述至少一個處理器確定所述第一譜的步驟包括：使用所述視覺特征和所述音頻特征之間的關聯確定第二表示。

根據本申請第一方面的實施例，所述第二表示為所述第一譜；以及確定所述第二表示的步驟通過循環神經網絡(recurrent neural network，RNN)執行。

根據本申請第一方面的實施例，第二表示為視聽表示；確定所述第二表示的步驟通過RNN執行；以及所述至少一個處理器確定所述第一譜的步驟還包括：通過全連接網絡使用所述第二表示確定所述第一譜。