[發明專利]基于肌電信號和運動傳感器的手語翻譯和顯示發聲系統

在審

• 申請號: 201410376205.X
• 申請日: 2014-08-03
• 公開（公告）號: CN104134060A
• 公開（公告）日: 2014-11-05
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海威璞電子科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F3/01;G06F17/27
• 代理公司: 無
• 代理人: 無

1.一種基于肌肉電流信號和運動傳感器的手語翻譯和顯示發聲系統，其特征在于：有線或者無線方式相連的手勢識別子系統和手勢到語義的顯示發聲系統，手勢識別子系統又分為主從設備，分別佩戴在使用者的雙臂，有多通道非入侵式差分電極和使用者手臂表皮直接接觸以接收原始表面肌肉電流信號，結合主從設備內各自的多軸運動傳感器數據，實現對使用者的手語動作進行識別的目的，并翻譯成基本語義發送到手勢到語義的顯示發聲系統，進一步對基本語義進行上下文分析和組織后，播放對應的語音或者顯示文字。

2.如權利要求1所示的基于肌肉電流信號和運動傳感器的手語翻譯和顯示發聲系統，其特征在于：手勢識別子系統包括分別佩戴在用戶左右手臂上的主從設備，配置但不局限于有和用戶手臂皮膚直接接觸的多通道表面肌肉電流信號采集電極、濾波和放大電路、模擬到數字信號轉換電路、多軸運動傳感器、運行活動段檢測，特征值提取和分類器程序的信號處理及控制電路、數據和命令通訊模塊、數據和程序存儲電路、電池和電源管理等電路。

3.如權利要求2所示的手勢識別子系統，其特征在于：所述表面肌肉電流信號采集電極可采用雙差分或單差分電路實現，并在左右手臂上配置有多路電極以實現多路表面肌肉電流信號的實時監測，肌電信號通過信號處理和運算電路，提取雙手手指、手掌、手腕的運動狀態特征值。

4.如權利要求2，3所示的手勢識別子系統，其特征在于：所述多軸運動傳感器包括三軸加速度傳感器，三軸角速度傳感器，三軸磁場傳感器，或其中兩個或一個的組合，用于檢測左右手臂在三維空間的移動和轉動，以達到手臂姿態的檢測，并結合權利要求3所示的提取出的雙手手指、手掌、手腕的運動狀態特征值，來實現手語的分類檢測。

5.如權利要求2，3，4所示的手勢識別子系統，其特征在于：兩個外形為環形的設備，具有可伸縮的機械結構，可適應不同用戶手臂的粗細，并緊貼在用戶手臂上，以獲得良好的表面肌肉電流信號。

6.如權利要求2，3，4，5所示的手勢識別子系統，其特征在于：使用者可以在一定范圍內調節設備在手臂上的佩戴位置和角度，通過系統自帶的自適應算法，可實現穩定和一致的手勢識別。

7.如權利要求2，3，4，5，6所示的手勢識別子系統，其特征在于：手勢識別子系統具有識別單手手語和雙手手語的能力，以及將多個連續手語動作組合成語句的能力。

8.如權利要求1所示的基于肌肉電流信號和運動傳感器的手語翻譯和顯示發聲系統，其特征在于：手勢到語義的顯示發聲子系統，配置但不局限于有信號處理和控制電路、語義分析程序、語音控制、揚聲器、通訊模塊、數據和程序存儲電路、電池和電源管理電路、顯示模塊等。

9.如權利要求8所示的顯示與發聲子系統，其特征在于：除了可以和手勢識別子系統組合在一起，或者是配套設計的獨立的配件，也可為獨立的帶有通訊模塊的智能手表、智能手機、平板電腦、計算機、智能電視等終端，通過和手勢識別子系統配對，并運行實時的手語處理程序，進行語義翻譯，顯示文字或播放語音。

10.如權利要求1所示的基于肌肉電流信號和運動傳感器的手語翻譯和顯示發聲系統的使用方法，其特征在于：使用者在訓練模式下，通過訓練程序的指導，對系統所提供的可識別手語項目進行學習和培訓，并在訓練過程中生成使用者的手語特征參數識別模板；在使用模式下，上述生成的特征參數識別模板被用于輔助識別使用者的手語動作，以提高識別率。