[發明專利]基于體感設備的聾啞人手語機器翻譯方法

在審

• 申請號: 201710692405.X
• 申請日: 2017-08-14
• 公開（公告）號: CN107451578A
• 公開（公告）日: 2017-12-08
• 發明（設計）人: 楊全
• 申請（專利權）人: 西安文理學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/46;G06K9/62
• 代理公司: 西安銘澤知識產權代理事務所(普通合伙)61223
• 代理人: 李振瑞

技術領域

本發明涉及視頻圖像處理技術領域，特別是涉及基于體感設備的聾啞人手語機器翻譯方法。

背景技術

聾啞人使用的手語，屬于肢體語言的范疇，與健全人的口語一樣具有豐富的表意功能，是一種進行信息交流、傳遞思想最自然的方法，在聾啞學校教學和聾啞人交流方面起著非常重要的作用。手語是由手的形狀、手腕和手臂的運動、與之對應的人臉表情、嘴唇讀音形狀以及其他身體姿態相結合的人體語言。

目前手語識別研究包括：基于佩戴式設備的手語識別。基于數據手套(即佩戴式設備)的手語識別方法需由手語使用者佩戴位置跟蹤器、數據手套等傳感設備，利用多點傳感器和位置跟蹤器反饋的手指關節運動信息、手相對身體的位置等數據進行分析研究。由于佩戴式位置跟蹤器與數據手套的價格較高，并且穿戴方式復雜，所以很難推廣到實際應用中。

發明內容

本發明實施例提供了基于體感設備的聾啞人手語機器翻譯方法，可以解決現有技術中存在的問題。

基于體感設備的聾啞人手語機器翻譯方法，該方法包括：

步驟S1，采集包括深度視頻和彩色視頻在內的手語視頻；

步驟S2，采用DI_CamShift算法對深度視頻進行處理，以對彩色視頻中的手語手勢圖像進行檢測和追蹤；

步驟S3，對追蹤獲得的手語手勢圖像進行分割，將手語手勢圖像中的手語手勢和背景分割開；

步驟S4，提取手語手勢的完備特征集，對完備特征集量化生成手語視覺單詞，最終采用BoW方法構建手語手勢的視覺單詞詞包；

步驟S5，將所述手語視覺單詞詞包中的一部分單詞作為訓練樣本，應用基于H_Kernel的混合核函數SVM對訓練樣本的融合特征進行學習，對另一部分手語視覺單詞進行識別并輸出翻譯結果。

本發明實施例中的基于體感設備的聾啞人手語機器翻譯方法，采用Microsoft Kinect for Xbox 360獲取手語手勢的3D深度影像信息，通過對視頻信息的分析，實現手語手勢的檢測、跟蹤、分割、提取手勢中能夠區別于其他手勢的特征進行手勢建模，采用機器學習的方選取一定數量的手語手勢樣本對分類器進行訓練后，用分類器去進行未知手語手勢的識別并以自然語言的方式輸出識別結果，最終實現聾啞人手語到自然語言的自動翻譯，使用成本低，且翻譯快速準確。

具體實施方式

下面將對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

本發明實施例提供了基于體感設備的聾啞人手語機器翻譯方法，該方法包括：

步驟100，使用Microsoft Kinect for Xbox 360采集手語視頻，采集的手語視頻包括深度視頻和彩色視頻，深度視頻和彩色視頻可以分別逐幀采集得到深度圖像和彩色圖像；

步驟110，采用DI_CamShift算法對深度視頻進行處理，以對彩色視頻中的手語手勢圖像進行檢測和追蹤；該步驟具體包括：

子步驟111，將整個深度視頻作為搜索區域，采用幀差法檢測深度圖像中的手語手勢圖像，對追蹤窗口進行初始化，定位其尺寸和位置；

子步驟112，對追蹤窗口內的區域，即手語手勢圖像，計算其深度直方圖的概率分布；

子步驟113，分別計算手語手勢圖像的長軸和短軸的方向θ₁、θ₂，具體方法為：

定義深度圖像I(x,y)的(p+q)階二維原點矩M_pq為：

M_pq＝∑_x∑_yx^py^qD(x,y)p,q＝0,1,2,... (1)

定義I(x,y)的(p+q)階中心距μ_pq為：

其中，為為D(x,y)為深度圖像I(x,y)在(x,y)處的深度值。

根據下式計算手語手勢主軸的方向：

采用公式(2)，根據最大二階中心距和最小二階中心距分別確定長軸和短軸的方向。

子步驟114，使用MeanShift算法計算追蹤窗口內手語手勢圖像的質心位置，根據質心位置和長軸、短軸方向θ₁、θ₂調整追蹤窗口的尺寸；