[發(fā)明專利]一種信息轉(zhuǎn)換方法及裝置、交互輔助系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811577433.8
• 申請日: 2018-12-20
• 公開（公告）號: CN109670073B
• 公開（公告）日: 2021-03-23
• 發(fā)明（設(shè)計）人: 陸有松;陶飛;王翔翔;黃志華;陳鈺
• 申請（專利權(quán)）人: 科大訊飛股份有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G10L13/08;G06N3/04
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 楊華;王寶筠

1.一種信息轉(zhuǎn)換方法，其特征在于，包括：

提取語音的音素特征序列；

通過以下處理確定提取的音素特征序列對應(yīng)的手語特征序列：依據(jù)孿生神經(jīng)網(wǎng)絡(luò)預(yù)先建立的音素特征序列與手語特征序列的對應(yīng)關(guān)系，從所述提取的音素特征序列中確定目標(biāo)音素特征序列，所述目標(biāo)音素特征序列為與手語特征序列i-1匹配的音素特征序列；由所述目標(biāo)音素特征序列預(yù)測得到第i個手語特征序列；

依據(jù)所述手語特征序列生成與所述語音對應(yīng)的手語圖。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取語音的音素特征序列包括：

將所述語音轉(zhuǎn)換為語譜圖；

將所述語譜圖作為預(yù)先訓(xùn)練的孿生神經(jīng)網(wǎng)絡(luò)的第一輸入端的輸入，得到所述孿生神經(jīng)網(wǎng)絡(luò)輸出的所述音素特征序列。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，依據(jù)孿生神經(jīng)網(wǎng)絡(luò)預(yù)先建立的音素特征序列與手語特征序列的對應(yīng)關(guān)系，從所述提取的音素特征序列中確定目標(biāo)音素特征序列，由所述目標(biāo)音素特征序列預(yù)測得到所述手語特征序列包括：

將所述音素特征序列作為預(yù)先訓(xùn)練的特征翻譯網(wǎng)絡(luò)的輸入，得到所述特征翻譯網(wǎng)絡(luò)輸出的手語特征序列；

其中，所述特征翻譯網(wǎng)絡(luò)用于：利用所述音素特征序列之間的時序關(guān)系，得到預(yù)測序列，從所述預(yù)測序列中，搜索與手語特征序列i-1的相似度滿足第一預(yù)設(shè)條件的目標(biāo)音素特征序列i，并依據(jù)所述目標(biāo)音素特征序列i、所述目標(biāo)音素特征序列的前一個音素特征序列和所述手語特征序列i-1，預(yù)測得到手語特征序列i，所述手語特征序列i-1為所述手語特征序列i的時序之前的一個手語特征序列。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述孿生神經(jīng)網(wǎng)絡(luò)和所述特征翻譯網(wǎng)絡(luò)構(gòu)成手語特征預(yù)測模型；

所述手語特征預(yù)測模型的訓(xùn)練過程包括：

將樣本語音的語譜圖作為所述孿生神經(jīng)網(wǎng)絡(luò)的第一輸入端的輸入，將與所述樣本語音對應(yīng)的樣本手語圖作為所述孿生神經(jīng)網(wǎng)絡(luò)的第二輸入端的輸入，得到所述孿生神經(jīng)網(wǎng)絡(luò)輸出的音素特征序列和手語特征序列；

將所述音素特征序列和所述手語特征序列作為所述特征翻譯網(wǎng)絡(luò)的輸入，以使所述特征翻譯網(wǎng)絡(luò)基于所述音素特征序列和所述手語特征序列，搜索與手語特征序列i-1的相似度滿足第三預(yù)設(shè)條件的音素特征序列，作為目標(biāo)音素特征序列i；手語特征序列i-1為任意一個手語特征序列；

依據(jù)所述目標(biāo)音素特征序列i、所述目標(biāo)音素特征序列i的前一個音素特征序列和所述手語特征序列i-1，得到預(yù)測手語特征序列i；手語特征序列i為手語特征序列i-1的時序之后的手語特征序列；

依據(jù)手語特征預(yù)測模型的損失函數(shù)、預(yù)測手語圖i和樣本手語圖i，訓(xùn)練所述手語特征預(yù)測模型；所述預(yù)測手語圖i為與所述預(yù)測手語特征序列i匹配的手語圖，所述樣本手語圖i為與所述預(yù)測手語圖i對應(yīng)的樣本手語圖。

5.根據(jù)權(quán)利要求1至4中任一項所述的方法，其特征在于，所述依據(jù)所述手語特征序列生成與所述語音對應(yīng)的手語圖包括：

在預(yù)設(shè)的手語圖庫中，按照預(yù)設(shè)的分類，檢索與所述手語特征的相似度滿足第四預(yù)設(shè)條件的手語圖，得到所述手語圖；

其中，所述預(yù)設(shè)的手語圖庫中的手語圖按照預(yù)設(shè)規(guī)則分類，形成至少兩個分類。

6.一種信息轉(zhuǎn)換裝置，其特征在于，包括：

提取模塊，用于提取語音的音素特征；

確定模塊，用于通過以下處理確定提取的音素特征序列對應(yīng)的手語特征序列：依據(jù)孿生神經(jīng)網(wǎng)絡(luò)預(yù)先建立的音素特征序列與手語特征序列的對應(yīng)關(guān)系，從所述提取的音素特征序列中確定目標(biāo)音素特征序列，所述目標(biāo)音素特征序列為與手語特征序列i-1匹配的音素特征序列；由所述目標(biāo)音素特征序列預(yù)測得到第i個手語特征序列；

生成模塊，用于依據(jù)所述手語特征序列生成與所述語音對應(yīng)的手語圖。

7.一種輔助交互系統(tǒng)，其特征在于，包括：

處理服務(wù)器，用于實現(xiàn)權(quán)利要求1-5任一項所述的方法；

用戶端設(shè)備，用于接收語音，并將所述語音上傳至所述處理服務(wù)器；接收并顯示所述處理服務(wù)器發(fā)送的手語圖。