[發明專利]一種智能語音增強的實時電子耳蝸調試系統

有效

• 申請號: 202010024316.X
• 申請日: 2020-01-10
• 公開（公告）號: CN111050262B
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 宮琴
• 申請（專利權）人: 杭州耳青聰科技有限公司;清華大學
• 主分類號: H04R25/00
• 分類號: H04R25/00;G10L21/0208;A61N1/36
• 代理公司: 無錫盛陽專利商標事務所(普通合伙) 32227
• 代理人: 顧吉云;黃瑩

1.一種智能語音增強的實時電子耳蝸調試系統，其包括調試上位機軟件模塊、信號采集處理模塊、嵌入式處理器模塊；

所述調試上位機軟件模塊向用戶提供可選擇的工作模式，用以支持用戶對待測試的電子耳蝸前端算法的調試；所述工作模式包括：離線模式，所述離線模式啟動后，允許用戶下載待測試的電子耳蝸前端算法到所述調試上位機軟件模塊中，然后根據用戶的選擇，設置參數不同的聽覺場景，使用預先存儲的語音數據，對用戶指定的待測試的電子耳蝸前端算法的性能分別進行離線調試；

其特征在于：

所述工作模式還包括：在線模式，所述在線模式中，所述調試上位機軟件模塊把需要調試的待測試的電子耳蝸前端算法、言語編碼策略下載到所述嵌入式處理器模塊中后，基于USB協議傳遞命令切換所述嵌入式處理器模塊中需要調試的內容，以及傳遞調試使用的參數到所述嵌入式處理器模塊中；用戶使用所述嵌入式處理器模塊和所述信號采集處理模塊組成的便攜式調試裝置，完成基于實時對話語音對算法進行調試的工作，進而確認待測試電子耳蝸前端算法的效果；

所述嵌入式處理器模塊負責對待測試電子耳蝸前端算法進行實時調試，實時地進行智能語音信號增強處理、不同言語編碼策略的處理以及與所述調試上位機軟件模塊進行通訊；其包括：言語處理器、音頻編解碼器；經過所述信號采集處理模塊采集的實時信號，經過預處理后，傳輸到所述音頻編解碼器中進行編碼，然后傳入到所述言語處理器中；所述言語處理器中集成了不同的電子耳蝸前端增強算法和言語編碼策略，其實時接收到所述調試上位機軟件模塊傳入的指令，選擇相應的算法和言語策略、設置相應的參數后，對所述信號采集處理模塊傳入的實時語音信號進行語音信號處理，進行離線的聽覺仿真，同時控制所述音頻編解碼器將實時輸出的數字信號轉換為模擬信號，以LINE-OUT的形式輸出處理后的語音信號，以便用戶實時進行效果確認；

所述信號采集處理模塊包括：麥克風結構、信號預處理模塊和電源管理模塊；所述麥克風結構用于采集實際場景中的實時聲音信號；所述信號預處理模塊電連接所述麥克風結構，對所述麥克風結構采集到的聲音信號進行信號處理，處理后的信號傳輸到所述音頻編解碼器中進行解碼；所述電源管理模對所述麥克風結構、所述信號預處理模塊進行供電服務；

所述信號處理模塊和所述嵌入式處理器模塊構成所述便攜式調試裝置，通過USB端口可拆卸的與所述調試上位機軟件模塊進行通信連接；

所述調試上位機軟件模塊中的所述離線模式的子模塊包括：模塊選擇、數據導入、數據庫選擇、場景模擬、算法選擇、效果展示；

所述模塊選擇模塊定義所述離線模式的主要工作方式，其主要工作模塊包括：語音增強算法調試模塊、言語編碼策略調試模塊、硬件通信模塊；

所述語音增強算法調試模塊支持用戶使用預置的算法進行調試，同時提供一套標準接口形式以支持用戶導入新算法進行調試；所述言語編碼策略調試模塊中預置了現有的言語編碼策略，同時也支持用戶下載新的言語編碼策略到模塊中進行調試；

所述模塊選擇模塊支持的調試方式包括：單調和聯調；所述單調是指所述語音增強算法調試模塊中的算法和所述言語編碼策略調試模塊中的言語策略分別單獨調試，所述單調模式中，單獨調試言語編碼策略時在所述場景模擬模塊中選擇安靜模式；所述聯調是指所述語音增強算法調試模塊中的算法和所述言語編碼策略調試模塊中的言語策略同時調試，所述聯調模式中，在言語編碼策略調試時在所述場景模擬模塊中選擇帶噪聲的模式，然后同時設置語音增強算法和言語編碼算法；

所述硬件通信模塊中基于USB協議，把在所述語音增強算法調試模塊、言語編碼策略調試模塊中對算法和言語策略調試后產生的電子耳蝸刺激電流幅度信息、速率信息以文件的形式傳遞到所述言語處理器中；

所述數據導入模塊提供導入符合標準接口形式要求的現有語音增強算法、言語編碼策略以及用戶自己設計的語音增強算法、言語編碼策略的服務；導入后的現有及自定義的語音增強算法、言語編碼策略，在所述算法選擇模塊中，提供給用戶進行選擇；

所述數據庫選擇模塊中存儲了預置的離線調試用語音包，所述語音包包括不同語言類型的語音包；

所述場景模擬模塊中設置調試的具體場景，根據麥克風接收到的噪聲信號組合種類的不同，將語音增強算法的應用場景分為強噪模式、會議模式和日常模式；所述強噪模式只設置背景噪音，即目標語音只受背景噪聲的干擾；所述會議模式只設置競爭性語音噪音，即目標語音會遭受預設的競爭性語音的影響，但是沒有背景噪聲的影響；所述日常模式同時設置背景噪音和競爭性語音，即目標語音不僅會遭受競爭性語音的影響，還有背景噪聲的干擾；

所述算法選擇模塊中，用戶根據自己的需要選擇在所述語音增強算法調試模塊、所述言語編碼策略調試模塊中進行調試的待測試的算法、言語編碼策略以及調試時相應的參數配置；所述算法選擇模塊中具體設置內容包括：語音增強算法、言語編碼策略、編碼通道數、刺激通道數、聽覺產生的最小電刺激強度T值、佩戴者的最大舒適閾C值、刺激速率、脈沖寬度、刺激模式；在所述算法選擇模塊選擇需要調試的內容之后，基于所述語音增強算法調試模塊、所述言語編碼策略調試模塊進行調試；

所述效果展示模塊支持通過不同的形式展示算法的性能，其展示方式包括：語譜圖、灰度圖、時域波形圖、音頻播放、性能指標計算；所述語音增強算法調試模塊、所述言語編碼策略調試模塊調試的結果傳遞到所述效果展示模塊從不同的角度，使用不同的形式進行展示。