[發明專利]一種基于深度圖像動態手語語義識別系統及方法

在審

• 申請號: 201910269214.1
• 申請日: 2019-04-04
• 公開（公告）號: CN109993130A
• 公開（公告）日: 2019-07-09
• 發明（設計）人: 劉禹欣;李文越;杜國銘;趙雪潔;寧可
• 申請（專利權）人: 哈爾濱拓博科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度圖像動態手語語義識別系統，其特征在于，包括：

圖像捕獲模塊，用于捕獲操作者的深度圖像視頻數據并將每一幀深度圖像傳輸給圖像分析模塊；

圖像分析模塊，用于處理深度圖像視頻數據，得到手部關節3d坐標并輸出給手語分析模塊；

手語分析模塊，用于獲取足夠長度的手部關節3d坐標隊列，并提取子隊列進行分析，獲得子隊列可能表示的單詞，并將所述單詞傳遞給語義分析模塊；

語義分析模塊，用于獲得足夠表明一組完整的單詞，并通過語義語境分析，對獲取的單詞矯正，并組合成完整正確語義的語句或者命令，并通過輸出的語句或者命令進行控制操作。

2.根據權利要求1所述的系統，其特征在于，所述圖像分析模塊具體工作流程如下：

步驟21： 接收圖像捕獲模塊傳輸過來的深度圖像視頻數據；

步驟22： 進行人手部矩形框選坐標的識別；

步驟23： 通過循環神經網絡進行基于時序信息的跟蹤；

步驟24： 通過提取深度圖像框選區域為感興趣區域，并對框選區域深度圖像進行手部關節3d坐標提取；

步驟25：將提取的手部關節3d坐標輸入到手語分析模塊。

3.根據權利要求2所述的系統，其特征在于，所述步驟22具體為：

步驟221： 通過圖像發現并提取手部信息；

步驟222： 對視頻前后幀圖像時序信息進行手部跟蹤，根據檢測結果確定目標矩形框選區域；

步驟223： 持續跟蹤手部，直到跟蹤的手部信息消失，并返回步驟221。

4.根據權利要求2所述的系統，其特征在于，所述對框選區域深度圖像進行手部關節3d坐標提取，具體為：

步驟241：接收框選后截取的深度圖像；

步驟242：將深度圖像以圖像像素值最高點為基準截取到閾值的所有像素；

步驟243：將深度圖像歸一化到相同尺寸；

步驟244：以像素最低點的像素值為0，像素最高點的像素值為1，將圖像進行歸一化操作；

步驟245：將歸一化后圖像輸入基于深度參差網絡模型輸出手部關節三維坐標；

步驟246：將手部關節三維坐標輸出到手語分析模塊中。

5.根據權利要求2、3或4所述的系統，其特征在于，所述手語分析模塊具體用于將手部的三維坐標進行序列化存儲，并通過訓練得到的長短期記憶網絡模型進行將坐標時序信息轉化為手語單詞的操作；輸入為坐標序列幀，并將可能輸出的單詞通過獨熱編碼進行重新編碼，輸出為通過softmax得到的所有概率密度分布，取前五高概率的單詞的獨熱編碼及其概率，從而實現從動作上識別操作者可能表達的單詞。

6.根據權利要求5所述的系統，其特征在于，所述語義分析模塊具體用于輸入獨熱編碼組和概率組序列，并通過訓練得到的N-gram網絡模型進行將單詞組序列轉化為具體語義的操作。

7.一種基于深度圖像動態手語語義識別方法，其特征在于，具體包括以下步驟：

步驟1： 調用圖像捕獲模塊捕獲操作者的深度圖像視頻數據將每一幀深度圖像傳輸給圖像分析模塊；

步驟2： 調用圖像分析模塊處理深度圖像視頻數據，得到手部關節3d坐標并輸出給手語分析模塊；

步驟3： 重復步驟2，直到獲取足夠長度的手部關節3d坐標隊列，并提取子隊列進行分析，獲得子隊列可能表示的單詞，并將所述單詞傳遞給語義分析模塊；

步驟4： 重復步驟3，直到獲得足夠表明一組完整的的單詞，并通過語義語境分析，對獲取的單詞矯正，并組合成完整正確語義的語句或者命令，并通過輸出的語句或者命令進行控制操作。

8.根據權利要求7所述的方法，其特征在于，所述步驟3具體為：

步驟31： 將手部關節3d坐標隊列輸入到長短期記憶網絡模型中；

步驟32： 通過所述長短期記憶網絡模型得到前五高概率的單詞獨熱編碼及其概率；

步驟33： 將獨熱編碼組和概率組輸入到語義分析模塊中。