[發(fā)明專利]一種從源說話人到目標說話人的聲音轉換方法及裝置

在審

• 申請?zhí)枺?/td>: 202010543805.6
• 申請日: 2020-06-15
• 公開（公告）號: CN113808595A
• 公開（公告）日: 2021-12-17
• 發(fā)明（設計）人: 顏蔚
• 申請（專利權）人: 顏蔚
• 主分類號: G10L17/02
• 分類號: G10L17/02;G10L17/04;G10L17/18;G10L17/14;G10L25/93
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種從源說話人到目標說話人的聲音轉換方法，其特征在于，包括：

接收源說話人的語音數據，并進行分幀預處理；

從所述源說話人語音數據中提取源說話人的語音數據的內容特征和聲學特征，將其存儲為基于不同濁音的源說話人特征數據向量；

將所述源說話人特征數據向量與預先存儲的濁音的內容特征比較，并按照不同濁音進行分類存儲；

獲取目標說話人的語音數據，并進行分幀預處理；

從所述目標說話人的語音數據中提取目標說話人的語音數據的內容特征和聲學特征，將其建立為基于不同濁音的目標說話人特征數據向量；

將所述目標說話人特征數據向量與預先存儲的濁音的內容特征比較，并按照不同濁音進行分類存儲，分類存儲完成后提取目標說話人多次發(fā)出同一濁音時的聲學特征波動數據；

根據分類存儲，將屬于同一濁音的目標說話人特征向量與源說話人特征向量中的聲學特征輸入至預先訓練的聲音轉換模型，生成基于內容特征的目標說話人語音轉換參數；

將所述語音轉換參數輸入語音合成模型，得到目標說話人語音合成數據，且合成內容與源說話人內容一致。

2.根據權利要求1所述的方法，其特征在于，對所述源說話人的語音數據進行特征提取，得到的內容特征和聲學特征包括：

所述提取的源說話人語音數據的內容信息，包括：源說話人語音數據的語義信息，源說話人不同語音幀中包含的濁音的內容特征數據；

所述提取的源說話人語音數據的聲學特征，包括：不同語音幀中包含的濁音所對應的共振峰分布；

將屬于同一幀語音中的濁音的內容特征與聲學特征作為不同元素存儲為源說話人的一個特征數據向量。

3.根據權利要求1所述的方法，其特征在于，對所述目標說話人的語音數據進行特征提取，得到的內容特征和聲學特征及聲學特征的隨機分布信息包括：

所述提取的目標說話人語音數據的內容信息，包括：目標說話人不同語音幀中包含的濁音的內容特征數據；

所述提取的目標說話人語音數據的聲學特征，包括：不同語音幀中濁音所對應的共振峰分布；將屬于同一幀語音中的濁音的內容特征與聲學特征作為不同元素存儲為目標說話人的特征數據向量。

4.根據權利要求1所述的方法，其特征在于，所述將所述源說話人特征數據向量與預先存儲的濁音的內容特征比較，并按照不同濁音進行分類存儲，其步驟包括：

預先建立包含所有濁音的內容特征數據的數據庫；

通過DTW法，在數據庫中進行比較查找，得到與當前進行比較的源說話人特征數據向量中表征濁音的內容特征數據最相近的一組數據；

將當前源說話人特征數據向量存儲至查找結果對應的濁音在數據庫中的源說話人數據區(qū)域。

5.根據權利要求1所述的方法，其特征在于，所述將所述目標說話人特征數據向量與預先存儲的濁音的內容特征比較，并按照不同濁音進行分類存儲，其步驟包括：

預先建立包含所有濁音的內容特征數據的數據庫；

通過DTW法，在數據庫中進行比較查找，得到與當前進行比較的目標說話人特征數據向量中表征濁音的內容特征數據最相近的一組數據；

將當前目標說話人特征數據向量存儲至查找結果對應的濁音在數據庫中的目標說話人數據區(qū)域。

6.根據權利要求1所述的方法，其特征在于，源說話人與目標說話人之間的語音轉換參數的提取模型包括：

利用預先訓練的徑向基函數神經網絡構建語音轉換參數提取模型；

利用分類存儲后的數據，在數據庫中提取同屬一個濁音下的源說話人與目標說話人特征數據向量，訓練得到基于不同濁音的源說話人到目標說話人的聲學特征映射參數；

預先設置一個松弛量，例如目標說話人的聲學特征隨機波動范圍，檢驗所得聲學特征映射參數的精度，并對當前映射參數進行優(yōu)化。