[發明專利]基于肌電信號和運動傳感器的手語翻譯和顯示發聲系統

在審

• 申請號: 201410376205.X
• 申請日: 2014-08-03
• 公開（公告）號: CN104134060A
• 公開（公告）日: 2014-11-05
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海威璞電子科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F3/01;G06F17/27
• 代理公司: 無
• 代理人: 無

技術領域

本發明涉及一種常用手語到自然語言文字或語音的實時翻譯系統，實現原理是基于用戶左右手臂的多路表面肌肉電流信號和手臂的移動和轉動姿態檢測，進行手語動作的區分識別，并通過顯示發聲系統進行上下文語義的自動調整，最終以文字或語音的方式呈現出來。

背景技術

聽障和語言障礙群體基數巨大，群體和外界交流的主要方式是手語，而受限于普通人群接受手語訓練的機會很低，語言障礙群體和普通人群的交流非常困難。在為聽障和語言障礙群體提供實時的手語識別和翻譯方面，受限于手勢識別的難度，當前市場上尚缺成熟的技術方案。

手語識別和翻譯的基礎是連續手勢識別。基于機器視覺的手勢識別方案是目前主要的技術方向，但因存在著背景光線、遮擋、移動性、系統功耗、識別率等多方面的限制因素，使其在手語的識別和實時翻譯應用中存在較高難度。手勢識別的另外方式是采用數據手套，其帶有的關節彎曲角度檢測、加速度等運動量檢測技術原理使得手勢的識別效果良好，但是其復雜的電子和機械結構，帶來的成本過高，體積過大問題，再加上使用者在佩戴上手套后，影響了雙手的其他操作，使其實用性大為降低。

通過查詢公開文獻，中國專利申請號為：201310101297.6的“新型的智能手語翻譯與人機交互系統及其使用方法”提出了一種只通過手臂肌電信號進行手語檢測的方案。此種方案通過佩戴在手臂上的設備，可以實時監測手臂的肌電信號，但依據其原理事實上只能檢測手部的相對姿態，卻不能檢測手臂和手部在三維空間的運動姿態，而手語動作恰恰是這兩種姿態缺一不可的緊密組合，所以此方法用于手語翻譯的難度非常高，存在巨大的技術缺陷。

本發明采用佩戴在用戶雙臂，通過連續追蹤多路手臂表面肌肉電流來檢測手指、手掌和手腕姿態，并通過多軸運動傳感器跟蹤手臂的三維運動姿態，結合這兩種傳感器數據，實現手勢特征參數連續提取，并通過分類器實現手勢識別，實現手語到自然語言的翻譯。本發明基于佩戴在使用者手臂的優勢，不影響用戶雙手的其他操作，用戶體驗良好，采用的基于表面肌電信號和運動傳感器的手勢識別技術同時具有功耗低、移動性強、應用場合不受限、成本低、識別率高、適合推廣等多種優勢。系統配置的語義顯示發聲系統，具有語義上下文分析和糾錯、預測功能，可以有效的增強語言障礙群體和普通人群的交流的效率。

發明內容

本發明提出的技術方案有效的改進和增強現有手語翻譯技術或方案在實際應用中的不足，通過表面肌電技術追蹤手臂主要肌肉的活動來檢測手指、手掌和手腕姿態，通過多軸運動傳感器檢測和跟蹤手臂的三維運動姿態，結合手勢動作的這兩點關鍵參數，實現精確的手勢特征值提取，使得分類器對手勢進行區分的結果更加精確。發明配置的語義顯示和發聲系統，具有上下文語義分析功能，例如糾錯、預測等，使得手勢到自然語言的翻譯效果更佳。

本發明主要分為手勢識別子系統和語義顯示與發聲子系統。手勢識別子系統分割為主從設備佩戴在用戶雙臂，并有多路表面肌肉電流信號檢測電極和用戶手臂皮膚直接接觸以提取雙臂的肌電信號，同時通過多軸運動傳感器進行雙臂的運動姿態檢測，兩種數據對本發明的實現是缺一不可的。

本發明的手勢識別子系統包含有線或無線連接的左右臂設備，每個設備具有多個通道的表面肌肉電流信號拾取電極、信號濾波、信號放大、模擬信號數字轉換器、多軸運動傳感器、無線通訊模塊、數據和指令存儲模塊、數據和信號處理及控制模塊、活動段檢測程序、特征值提取程序、分類器程序、供電電路等軟硬件結構。手勢識別系統將協調運算由左右臂設備提取的肌電信號數據和運動傳感器數據，并通過特征值提取程序提取各個手勢的特征參數，然后經過分類器進行手勢分類，生成基本語義信息，有線或無線方式送往語義顯示發聲子系統進行進一步處理。

本發明的語義顯示發聲子系統包含有通訊模塊、處理器、存儲模塊、顯示模塊、揚聲器發聲模塊、用戶輸入控制模塊、供電模塊等基本結構。此系統可用運行了配套的語義顯示發聲程序，并帶通訊模塊的智能手機、電腦等終端直接代替，出于成本控制，也可用專用的軟硬件設計來實現。本系統將實時處理由手勢識別子系統發送到本子系統的基本語義信息，經過上下文語義分析，進行例如糾錯、預測、填空等多個環節的處理，實現更自然的語言映射，并根據需要進行文字顯示，或者自然語音合成和播放。