[發(fā)明專利]一種信息轉換方法及裝置、交互輔助系統

有效

• 申請?zhí)枺?/td>: 201811577433.8
• 申請日: 2018-12-20
• 公開（公告）號: CN109670073B
• 公開（公告）日: 2021-03-23
• 發(fā)明（設計）人: 陸有松;陶飛;王翔翔;黃志華;陳鈺
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G10L13/08;G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 楊華;王寶筠

本申請?zhí)峁┑男畔⑥D換方法及裝置、交互輔助系統，提取語音的音素特征序列，依據預設的音素特征序列與手語特征序列的對應關系，確定提取的音素特征序列對應的手語特征序列，并依據手語特征序列生成與語音對應的手語圖，從而解決聾啞人理解語音的問題。

技術領域

本申請涉及電子信息領域，尤其涉及一種信息轉換方法及裝置、交互輔助系統。

背景技術

溝通是每個人最基本的生活需求，而聾啞人由于先天的缺陷，溝通需求，特別是與正常人的溝通需求，往往需要借助特殊手段才能得到滿足。

目前常見的輔助聾啞人溝通的設備為手語處理移動終端，該終端能夠采集手語圖像，并將手語圖像轉換為語音，從而使得正常人理解聾啞人的表達。但該終端只能滿足聾啞人的表達需求，而無法滿足聾啞人的聆聽需求，也就是說，聾啞人還是無法使用該終端獲知語音表達的含義。

發(fā)明內容

本申請?zhí)峁┝艘环N信息轉換方法及裝置、交互輔助系統，目的在于解決如何使得聾啞人理解語音的問題。

為了實現上述目的，本申請?zhí)峁┝艘韵录夹g方案：

一種信息轉換方法，包括：

提取語音的音素特征序列；

依據預設的音素特征序列與手語特征序列的對應關系，確定提取的音素特征序列對應的手語特征序列；

依據所述手語特征序列生成與所述語音對應的手語圖。

可選的，所述依據預設的音素特征序列與手語特征序列的對應關系，確定提取的音素特征序列對應的手語特征序列包括：

依據孿生神經網絡預先建立的音素特征序列與手語特征序列的對應關系，從所述提取的音素特征序列中確定目標音素特征序列，所述目標音素序列為與所述手語特征序列匹配的音素特征序列；

由所述目標音素特征預測得到所述手語特征序列。

可選的，所述提取語音的音素特征序列包括：

將所述語音轉換為語譜圖；

將所述語譜圖作為預先訓練的孿生神經網絡的第一輸入端的輸入，得到所述孿生神經網絡輸出的所述音素特征序列。

可選的，所述依據孿生神經網絡預先建立的音素特征序列與手語特征的對應關系，從所述提取的音素特征序列中確定目標音素特征，由所述目標音素特征預測得到所述手語特征序列包括：

將所述音素特征序列作為預先訓練的特征翻譯網絡的輸入，得到所述特征翻譯網絡輸出的手語特征序列；

其中，所述特征翻譯網絡用于：利用所述音素特征序列之間的時序關系，得到預測序列，從所述預測序列中，搜索與手語特征序列i-1的相似度滿足第一預設條件的目標音素特征序列i，并依據所述目標音素特征序列i、所述目標音素特征序列的前一個音素特征序列和手語特征序列i-1，預測得到手語特征i，所述手語特征序列i-1為所述手語特征序列i的時序之前的一個手語特征序列。

可選的，所述孿生神經網絡和所述特征翻譯網絡構成手語特征預測模型；

所述手語特征預測模型的訓練過程包括：

將樣本語音的語譜圖作為所述孿生神經網絡的第一輸入端的輸入，將與所述樣本語音對應的樣本手語圖作為所述孿生神經網絡的第二輸入端的輸入，得到所述孿生神經網絡輸出的音素特征序列和手語特征序列；

將所述音素特征序列和所述手語特征序列作為所述特征翻譯網絡的輸入，得到所述音素特征序列和所述手語特征序列；

搜索與手語特征序列i-1的相似度滿足第三預設條件的音素特征序列，作為目標音素特征序列i；手語特征序列i-1為任意一個手語特征序列；