[發明專利]基于體感設備的聾啞人手語機器翻譯方法

在審

• 申請號: 201710692405.X
• 申請日: 2017-08-14
• 公開（公告）號: CN107451578A
• 公開（公告）日: 2017-12-08
• 發明（設計）人: 楊全
• 申請（專利權）人: 西安文理學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/46;G06K9/62
• 代理公司: 西安銘澤知識產權代理事務所(普通合伙)61223
• 代理人: 李振瑞

1.基于體感設備的聾啞人手語機器翻譯方法，其特征在于，該方法包括：

步驟S1，采集包括深度視頻和彩色視頻在內的手語視頻；

步驟S2，采用DI_CamShift算法對深度視頻進行處理，以對彩色視頻中的手語手勢圖像進行檢測和追蹤；

步驟S3，對追蹤獲得的手語手勢圖像進行分割，將手語手勢圖像中的手語手勢和背景分割開；

步驟S4，提取手語手勢的完備特征集，對完備特征集量化生成手語視覺單詞，最終采用BoW方法構建手語手勢的視覺單詞詞包；

步驟S5，將所述手語視覺單詞詞包中的一部分單詞作為訓練樣本，應用基于H_Kernel的混合核函數SVM對訓練樣本的融合特征進行學習，對另一部分手語視覺單詞進行識別并輸出翻譯結果。

2.如權利要求1所述的基于體感設備的聾啞人手語機器翻譯方法，其特征在于，步驟S2具體包括：

子步驟S21，將整個深度視頻作為搜索區域，采用幀差法檢測深度圖像中的手語手勢圖像，對追蹤窗口進行初始化，定位其尺寸和位置；

子步驟S22，對追蹤窗口內的區域，即手語手勢圖像，計算其深度直方圖的概率分布；

子步驟S23，分別計算手語手勢圖像的長軸和短軸的方向θ₁、θ₂，具體方法為：

定義深度圖像I(x,y)的(p+q)階二維原點矩M_pq為：

M_pq＝∑_x∑_yx^py^qD(x,y)p,q＝0,1,2,...(1)

定義I(x,y)的(p+q)階中心距μ_pq為：

μpq=ΣxΣy(x-x‾)p(y-y‾)qD(x,y)---(2)]]>

其中，為為D(x,y)為深度圖像I(x,y)在(x,y)處的深度值；

根據下式計算手語手勢主軸的方向：

θ=12tan-12μ11μ20-μ02---(3)]]>

采用公式(2)，根據最大二階中心距和最小二階中心距分別確定長軸和短軸的方向；

子步驟S24，使用MeanShift算法計算追蹤窗口內手語手勢圖像的質心位置，根據質心位置和長軸、短軸方向θ₁、θ₂調整追蹤窗口的尺寸；

子步驟S25，對于下一幀的深度圖像，使用調整尺寸和質心后的追蹤窗口，返回子步驟S22繼續運行；

子步驟S26，如果檢測到多個手語手勢圖像，則分別計算各個手語手勢圖像的零階距，選擇具有最小零階距值的手語手勢圖像作為真實手語手勢；

子步驟S27，在確定深度視頻中的追蹤窗口后，同步將該追蹤窗口繪制到彩色視頻中的對應位置處，以實現對彩色視頻中手語手勢的追蹤。