[發明專利]一種基于深度學習模型的手語識別系統和方法

在審

• 申請號: 202210369930.9
• 申請日: 2022-04-08
• 公開（公告）號: CN114863554A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 溫遠征;呂永勝;陳宗陽;沙香港;房海波;沙建軍;彭銳暉;歐陽亞雄;汪嘉鑫
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/82;G06N3/04;G06N3/08;G06N3/063
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學習模型的手語識別系統，其特征在于：包括圖像采集模塊、嵌入式處理平臺、顯示模塊及人機交互模塊；

所述嵌入式處理平臺將圖像采集模塊采集的手語圖像輸入神經網絡中，包括硬件部分和軟件部分；

所述硬件部分包括輸入輸出接口、中央處理器、圖形處理器、存儲器、集成主板；

所述圖像采集模塊和人機交互模塊通過輸入輸出接口將輸入的信息傳入嵌入式處理平臺，嵌入式處理平臺再通過輸入輸出接口將輸出的信息傳輸給顯示模塊；

所述中央處理器和圖形處理器用于為運行深度學習網絡模型提供必要的數據運算處理能力；中央處理器用于執行線性指令，圖形處理器通過并行計算為深度神經網絡訓練加速；

所述存儲器用于存儲配置好的手語識別模型；

所述集成主板用于各設備間協作與聯通；

所述軟件部分包括基于卷積神經網絡的手語識別模型。

2.根據權利要求1所述的一種基于深度學習模型的手語識別系統，其特征在于：所述基于卷積神經網絡的手語識別模型使用了改進的Yolov4-tiny模型；所述改進的Yolov4-tiny模型增加了DSPBlock模塊。

3.一種基于深度學習模型的手語識別方法，其特征在于：

步驟1：制作手語識別數據集；

步驟2：構建神經網絡模型；

步驟3：對神經網絡模型進行訓練；

步驟4：對訓練好的模型進行性能測試；

步驟5：將訓練好的模型部署在嵌入式開發板中，通過手語識別系統對手語圖像進行實時跟蹤與識別。

4.根據權利要求3所述的一種基于深度學習模型的手語識別方法，其特征在于：其中步驟1具體包括以下步驟：

步驟1.1：采集待識別手語類型的原始樣本圖像

使用圖像采集模塊采集26個英文字母手語樣本圖像；

步驟1.2：將采集到的手語樣本圖像進行預處理

包括圖像尺寸調整和像素值歸一化；

步驟1.2.1：圖像尺寸調整將圖像采集模塊拍攝的輸入圖像利用雙線性插值法對尺寸進行調整，雙線性插值法的計算過程如下式所示：

其中，相同縱坐標下的兩點Q₁₁、Q₂₁進行插值計算得到新的點(x,y₁)，相同橫坐標下下的兩點Q₁₁、Q₁₂進行插值計算得到的新的點x₁,y，f()表示點的取值；

步驟1.2.2：像素值歸一化將圖像各像素點上的像素值除以255，使得像素值處于0～1之間；

步驟1.3：在圖像預處理后使用labeling標注工具為每個手語信息打上標簽和外接矩形，得到手語檢測數據集，并將手語檢測數據集按照0.85:0.15的比例進行訓練集和測試集數據劃分。

5.根據權利要求3所述的一種基于深度學習模型的手語識別方法，其特征在于：其中步驟2具體包括以下步驟：

步驟2.1：確定神經網絡模型類型

使用改進的Yolov4-tiny模型對手語目標進行檢測；改進的Yolov4-tiny模型使用一個CSPBlock后使用了兩個DSRBlock，且在DSRBlock之后，特征通道數調整率為1.5；

步驟2.2：選擇模型優化器與代價函數

在神經網絡訓練的過程中尋找到一組參數θ，使得代價函數J^*(θ)的值盡可能的小，其計算公式如下：

其中，L是每個樣本的損失函數，f(x；θ)是輸入x時所預測的輸出，P_data為數據生成分布，y是目標輸出；

評估當前訓練得到的概率分布與真實分布的差異情況，代價函數采用交叉熵損失函數，其計算公式如下：

其中，y為期望的輸出，a為神經元實際輸出。