[發明專利]基于二次遷移學習的地方手語識別方法、裝置

在審

• 申請號: 202011361432.7
• 申請日: 2020-11-27
• 公開（公告）號: CN112464816A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 蔣賢維
• 申請（專利權）人: 南京特殊教育師范學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于二次遷移學習的地方手語識別方法，其特征在于，包括：

采用地方手語識別模型，對地方手語圖像進行識別；所述地方手語識別模型的學習訓練步驟包括如下：

采用普通圖片作為訓練集對卷積神經網絡模型進行訓練，得到初始圖像識別模型；

將輸出層的分類輸出數量修改為與手語類別數量相對應后，保持初始圖像識別模型的部分網絡層不變，對其他網絡層進行替換，采用全國手語圖像作為訓練集對初始圖像識別模型進行訓練，得到一次遷移學習手語識別模型；

對一次遷移學習手語識別模型進行參數調整，采用地方手語圖像作為訓練集，得到二次遷移學習手語識別模型，將二次遷移學習手語識別模型作為所述地方手語識別模型。

2.根據權利要求1所述的基于二次遷移學習的地方手語識別方法，其特征在于，所述卷積神經網絡模型為AlexNet網絡模型，應用ReLU函數作為激活函數，應用dropout函數，應用本地響應規范化層用于對相鄰數據進行歸一化，應用重疊池化層。

3.根據權利要求2所述的基于二次遷移學習的地方手語識別方法，其特征在于，所述AlexNet網絡模型的網絡層依次包括輸入層、五層卷積層、三層全連接層、softmax層和輸出層，其中每層卷積層對應有ReLU層、歸一化層和池化層。

4.根據權利要求3所述的基于二次遷移學習的地方手語識別方法，其特征在于，所述保持初始圖像識別模型的部分網絡層不變，對其他網絡層進行替換，包括：

保持五層卷積層和前兩層全連接層不變，基于最后一層全連接層與輸出層的分類輸出數量相對應，隨機初始化最后一層全連接層后，對初始圖像識別模型進行訓練。

5.根據權利要求4所述的基于二次遷移學習的地方手語識別方法，其特征在于，所述采用地方手語圖像作為訓練集，包括：

采用數據增強擴充訓練集；所述數據增強包括：PCA色彩增強，仿射變換，噪聲注入，圖像縮放，圖像隨機移位和圖像伽瑪校正。

6.根據權利要求4所述的基于二次遷移學習的地方手語識別方法，其特征在于，所述在對一次遷移學習手語識別模型進行參數調整，得到二次遷移學習手語識別模型之后，還包括：

應用自適應動量算法對二次遷移學習手語識別模型進行優化訓練。

7.根據權利要求4所述的基于二次遷移學習的地方手語識別方法，其特征在于，所述在對一次遷移學習手語識別模型進行參數調整，得到二次遷移學習手語識別模型之后，還包括：

基于二次遷移學習手語識別模型的混淆矩陣和各分類類別對應的ROC曲線，對識別準確率低于預設閾值的手語類別的訓練數據進行標簽修正后，再次進行訓練。

8.一種基于二次遷移學習的地方手語識別裝置，其特征在于，包括：識別單元、初始訓練單元、一次遷移單元和二次遷移單元，其中：

所述識別單元，用于采用地方手語識別模型，對地方手語圖像進行識別；所述地方手語識別模型的學習訓練步驟包括如下：

所述初始訓練單元，用于采用普通圖片作為訓練集對卷積神經網絡模型進行訓練，得到初始圖像識別模型；

所述一次遷移單元，用于將輸出層的分類輸出數量修改為與手語類別數量相對應后，保持初始圖像識別模型的部分網絡層不變，對其他網絡層進行替換，采用全國手語圖像作為訓練集對初始圖像識別模型進行訓練，得到一次遷移學習手語識別模型；

所述二次遷移單元，用于對一次遷移學習手語識別模型進行參數調整，采用地方手語圖像作為訓練集，得到二次遷移學習手語識別模型，將二次遷移學習手語識別模型作為所述地方手語識別模型。

9.根據權利要求8所述的基于二次遷移學習的地方手語識別裝置，其特征在于，所述卷積神經網絡模型為AlexNet網絡模型，所述AlexNet網絡模型的網絡層依次包括輸入層、五層卷積層、三層全連接層、softmax層和輸出層，其中每層卷積層對應有ReLU層、歸一化層和池化層。

10.根據權利要求9所述的基于二次遷移學習的地方手語識別裝置，其特征在于，所述一次遷移單元，用于保持五層卷積層和前兩層全連接層不變，基于最后一層全連接層與輸出層的分類輸出數量相對應，隨機初始化最后一層全連接層后，對初始圖像識別模型進行訓練。