[發明專利]一種自動調節的咽腔電子喉語音通訊系統及方法

有效

• 申請號: 200910020897.3
• 申請日: 2009-01-14
• 公開（公告）號: CN101474104A
• 公開（公告）日: 2009-07-08
• 發明（設計）人: 萬明習;吳亮;王素品;吳輝雄;劉菲;翟健東
• 申請（專利權）人: 西安交通大學
• 主分類號: A61F2/50
• 分類號: A61F2/50;A61F2/70;G06K9/00;G06K9/62;G10L15/24
• 代理公司: 西安通大專利代理有限責任公司
• 代理人: 徐文權

1.一種自動調節的咽腔電子喉語音通訊系統，包括電子喉振蕩器(2)，音視頻采集模塊與計算機軟硬件系統，音視頻采集模塊包括麥克風、攝像頭，攝像頭和麥克風(3)固定于麥克風支架上，耳機(1)下方設置有固定帶，電子喉施加裝置設置于固定帶(5)上，其特征在于：

該系統包括下述三個主要模塊：

1)發聲過程中面部和頸部運動圖像采集與處理模塊，實現從運動圖像的分析到視覺語音特征參數的提取；

2)咽腔嗓音源動態合成模塊，將提取的視覺語音特征參數轉換為嗓音源合成模型參數，并按照咽腔嗓音源數學模型合成波形；

3)咽腔電子喉重建語音實時增強與網絡通訊模塊，對采集的咽腔電子喉重建語音進行實時增強處理，并將處理后的語音進行遠程網絡傳輸，實現網絡通訊功能；

攝像頭通過數據連接線將采集到的運動圖像作為輸入信號傳輸給運動圖像處理模塊進行視覺語音特征參數提??；運動圖像處理后輸出的視覺語音特征參數，又作為輸入信號進入咽腔嗓音源動態合成模塊控制波形的合成；合成的咽腔嗓音源波形再次通過數據線輸出給電子喉施加裝置，施加于頸部咽腔處；重建的咽腔電子喉語音經麥克風設備采集后，通過數據線輸入語音實時增強模塊，同時語音實時增強模塊也接收咽腔嗓音源動態合成模塊的輸入信號；通訊模塊的輸入則包括攝像頭采集的視頻信號與增強后輸出的語音信號兩部分，最終經過網絡輸出到另一個客戶端，同時另一個客戶端發出的音視頻信號也是在通訊模塊接收并播放；

由電子喉施加裝置向計算機軟硬件系統傳輸音視頻信號進行處理，計算機軟硬件系統提取的圖像采集與處理模塊產生的開關信號與合成的咽腔嗓音源信號傳輸給電子喉施加裝置，電子喉施加裝置工作所需的電能由計算機軟硬件系統提供。

2.根據權利要求1所述的一種自動調節的咽腔電子喉語音通訊系統，其特征在于：音視頻采集模塊同時開始工作，利用攝像頭獲取發聲過程中使用者面部和頸部的運動圖像作為系統輸入，圖像處理模塊對輸入圖像進行預處理，去除干擾信號，再利用人臉膚色特征目標區域定位、分割、特征參數提取，以及特征區域運動的跟蹤，得到與發聲特征相關的視覺語音特征參數，再經自動控制合成系統通過關系轉換由視覺語音特征參數推導出咽腔嗓音源合成所需的模型參數和圖像采集與處理模塊產生的開關信號，控制咽腔嗓音源波形合成以及電子喉施加裝置的振動；與此同時，麥克風記錄下咽腔電子喉重建語音信號，結合圖像采集與處理模塊產生的開關信號和咽腔嗓音源合成波形，指導泄露周期噪聲和環境噪聲的估計，以及譜減參數的調整，并對音頻采集模塊采集的信號進行譜減語音增強處理，最終將得到的視頻圖像和增強的音頻信號整合后，由網絡通訊模塊完成發送、接收和本地播放，實現遠程通訊。

3.根據權利要求2所述的自動調節的咽腔電子喉語音通訊系統，其特征在于：所述的面部運動圖像處理主要是利用嘴唇形狀特征反應發聲起止的變化提取電子喉開關信號，具體步驟如下：

1)初始化參數，采集一幀視頻圖像；

2)利用唇色濾波器計算規定矩形范圍的唇色特征值，并歸一化為0-255灰度級，得到唇色特征值圖像，如果存在前一幀，利用前一幀唇部區域范圍和膚色平均特征值，指導這一幀計算；

3)利用改進的最大類間方差Otsu法計算最佳分割閾值，以此進行圖像二值化分割，得到唇部預分割圖像，如果存在前一幀，利用前一幀分割閾值指導這一幀分割閾值的計算；

4)對嘴唇預分割圖像進行閾值面積消去處理，消除較小的圖像噪聲和背景干擾塊；

5)對嘴唇區域進行輪廓和中心點提取，利用改進的一維哈夫Hough變換檢測得到匹配嘴唇的橢圓模型長短軸參數，同時得到嘴唇區域范圍，用于指導下一幀唇色特征值計算，如果存在前一幀，利用前一幀的長短軸指導這一幀的橢圓匹配；

6)以長短軸之比作為嘴形判別，通過與閾值比較，得到開關電平信號，輸出作為電子喉開關控制信號。