[發明專利]一種基于彎曲傳感器的手勢識別裝置和手語翻譯方法

在審

• 申請號: 201610117644.8
• 申請日: 2016-03-02
• 公開（公告）號: CN105759970A
• 公開（公告）日: 2016-07-13
• 發明（設計）人: 曾明;蔡健鵬;葉杰煒
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 羅觀祥

技術領域

本發明涉及手語動作識別裝置和手語翻譯方法領域，特別涉及一種基于彎曲傳感器的手勢識別裝置和手語翻譯方法。

背景技術

據資料統計說明，我國聽力語言殘疾居視力殘疾、肢殘、智殘等五大殘疾之首，超過2000萬人，我國聾啞癥的發病率約為2‰，按年均人口出生率計算，連同出生后2～3歲嬰幼兒，每年總的群體達5700萬，聽損傷的發病人數約為17萬。我國每年有2000萬新生兒出生，約有3萬聽力損害的新生兒出現。在這樣一種情形之下，我們希望能夠研發一種便攜式的手勢識別裝置與手語翻譯設備。

研究發現，現有的手語翻譯方案，有來自微軟公司的US20100199228A1(公開日為2010年8月5日)提供了利用深度攝像頭捕獲并分析用戶的身體姿態并將其解釋為命令的方案，來Nintendo公司的US20080291160A1(公開日為2008年11月27日)提供了利用紅外傳感器和加速度傳感器捕獲用戶手部位置的方案。這些方案實現了對手部運動的識別，但也存在著各種不足，而且價格昂貴。

發明內容

本發明的目的在于克服現有技術的缺點與不足，提供一種基于彎曲傳感器的手勢識別裝置和手語翻譯方法。

本發明的目的通過如下技術方案實現：一種基于彎曲傳感器的手勢識別裝置，包括：微處理器一、微處理器二，以及分別與微處理器一相連的彎曲傳感器一、九軸姿態傳感器一和無線通信模塊一，分別于微處理器二相連的無線通信模塊二、顯示模塊、SD卡模塊和網絡模塊，微處理器一與微處理器二之間選用藍牙4.0BLE模塊作為近場通信無線通信方式，微處理器一通過串行輸入輸出口將發送緩存由無線通信模塊一發送給與無線通信模塊二，由無線通信模塊二將接收緩存通過串行輸入輸出口傳輸給微處理器二。

所述彎曲傳感器一隨著使用者手指彎曲度的改變而改變自身彎曲度，并轉換成模擬電流信號，輸入到微處理器一的AD輸入輸出口。

所述九軸姿態傳感器一隨著使用者雙手手心平移、旋轉和雙手相對位置的變化而改變自身加速度、旋轉角和磁場強度參數，并通過串行總線將信息傳輸到微處理器一。

所述微處理器一以一預先設置的采樣率，開始記錄使用者單位時間內的手部手指彎曲度、手掌加速度、旋轉角和磁場參數，存入發送緩存，直到讀取到特定的語句結束動作。

微處理器二將接收緩存經過數據封裝，通過網絡模塊發送給后臺服務器，數據由后臺服務器根據選定的翻譯語言，以特定的算法進行匹配；后臺服務器將匹配好的翻譯語言轉換成通用文字編碼，回傳給微處理器二，微處理器二通過顯示模塊將文字顯示在TFT-LCD顯示屏上。

一種基于彎曲傳感器的手語翻譯方法，包含以下順序的步驟：

S1.使用者將手勢識別裝置佩戴在雙手上，進行手語交流，以特定的動作標志語句的開始和結束；

S2.每只手上佩戴的手勢識別裝置，有5個彎曲傳感器一，分別固定在使用者手指背部，并連接到微處理器一的AD模擬信號轉數字信號輸入輸出口，所述彎曲傳感器一隨著使用者手指彎曲度的改變而改變自身彎曲度，并轉換成模擬電流信號，輸入到微處理器一的AD輸入輸出口。

S3.每只手上佩戴的手勢識別裝置，有一個九軸姿態傳感器一，固定在使用者手掌中心，并通過串行總線連接到微處理器一的輸入輸出口，所述九軸姿態傳感器一隨著使用者雙手手心平移、旋轉和雙手相對位置的變化而改變自身加速度、旋轉角和磁場強度參數，微處理器一以預先設定的時間間隔讀取九軸姿態傳感器一的參數。

S4.當微處理器一讀取到特定的語句開始動作，開始記錄使用者單位時間內的手部手指彎曲度、手掌加速度、旋轉角和磁場參數，存入發送緩存，直到讀取到特定的語句結束動作。

S5.微處理器一通過串行輸入輸出口將發送緩存由無線通信模塊一發送給與無線通信模塊二，由無線通信模塊二將接收緩存通過串行輸入輸出口傳輸給微處理器二。

S6.微處理器二將接收緩存經過數據封裝，通過網絡模塊發送給后臺服務器，數據由后臺服務器根據選定的翻譯語言，以特定的算法進行匹配。

S7.后臺服務器將匹配好的翻譯語言轉換成通用文字編碼，回傳給微處理器二，微處理器二通過顯示模塊將文字顯示在TFT-LCD顯示屏上。

S8.使用者可以根據顯示結果，用特定手勢對結果進行刪除、清屏和保存等操作。

步驟S2中，所述的手勢識別裝置以輕質手套的形式將彎曲傳感器一固定在使用者手指背部。

步驟S3中，所述的九軸姿態傳感器是一種具有多自由度的傳感器，用于檢測在空間中的3個加速度自由度、3個旋轉角自由度以及3個磁場強度自由度。