[發明專利]基于二次遷移學習的地方手語識別方法、裝置

在審

• 申請號: 202011361432.7
• 申請日: 2020-11-27
• 公開（公告）號: CN112464816A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 蔣賢維
• 申請（專利權）人: 南京特殊教育師范學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種基于二次遷移學習的地方手語識別方法、裝置，其中地方手語識別模型的學習訓練步驟包括：采用普通圖片作為訓練集對卷積神經網絡模型進行訓練，得到初始圖像識別模型；保持初始圖像識別模型的部分網絡層，對其他網絡層進行替換，得到一次遷移學習手語識別模型；采用地方手語圖像作為訓練集，對一次遷移學習手語識別模型進行參數調整，得到二次遷移學習手語識別模型。采用上述方案，對地方手語訓練模型進行訓練的過程中，采用二次遷移學習，降低模型對于地方手語標簽樣本數據的依賴性，提高地方手語訓練模型的識別準確率，降低訓練學習成本。

技術領域

本發明涉及手語識別領域，尤其涉及一種基于二次遷移學習的地方手語識別方法、裝置。

背景技術

手語識別可以通過計算機技術把手語信息轉換成文本、語音、視頻或其他自然語言表現等容易理解和交流的信息，一定程度上解決了在眾多場合下很難專門投入手語翻譯人員長期進行手語翻譯，可以幫助聾人和聽障人士融入社會生活。但在我國的手語體系之中，除了中殘聯組織專家編制的《國家通用手語詞典》標準，各個地方還有自己的手語表達方式，根據“中國手語使用調查”，59.6％的成年聾人和33％的聾人學生更愿意使用地方手語，甚至77.3％的特殊學校教師相信同省同行們使用和表達的手語是有所不同或非常不同的。因此，地方手語的識別研究成為中國手語識別新的挑戰，同時也為將來進一步完成地方手語的調查和保護提供支撐。

由于神經網絡的深度訓練學習依賴于海量的標簽樣本數據，因此在在足夠數據訓練集的模式下，國家標準手語識別準確率得到了很大提升，但是對于地方手語而言，由于標簽樣本數據的數量很小，因此難以訓練得到識別準確率較高的地方手語識別模型。

發明內容

發明目的：本發明旨在提供一種基于二次遷移學習的地方手語識別方法，對于地方手語的識別結果準確率較高。

技術方案：本發明提供一種基于二次遷移學習的地方手語識別方法，包括：

采用地方手語識別模型，對地方手語圖像進行識別；所述地方手語識別模型的學習訓練步驟包括如下：

采用普通圖片作為訓練集對卷積神經網絡模型進行訓練，得到初始圖像識別模型；

將輸出層的分類輸出數量修改為與手語類別數量相對應后，保持初始圖像識別模型的部分網絡層不變，對其他網絡層進行替換，采用全國手語圖像作為訓練集對初始圖像識別模型進行訓練，得到一次遷移學習手語識別模型；

對一次遷移學習手語識別模型進行參數調整，采用地方手語圖像作為訓練集，得到二次遷移學習手語識別模型，將二次遷移學習手語識別模型作為所述地方手語識別模型。

具體的，所述卷積神經網絡模型為AlexNet網絡模型，應用ReLU函數作為激活函數，應用dropout函數，應用本地響應規范化層用于對相鄰數據進行歸一化，應用重疊池化層。

具體的，所述AlexNet網絡模型的網絡層依次包括輸入層、五層卷積層、三層全連接層、softmax層和輸出層，其中每層卷積層對應有ReLU層、歸一化層和池化層。

具體的，保持五層卷積層和前兩層全連接層不變，基于最后一層全連接層與輸出層的分類輸出數量相對應，隨機初始化最后一層全連接層后，對初始圖像識別模型進行訓練。

具體的，采用數據增強擴充訓練集；所述數據增強包括：PCA色彩增強，仿射變換，噪聲注入，圖像縮放，圖像隨機移位和圖像伽瑪校正。

具體的，應用自適應動量算法對二次遷移學習手語識別模型進行優化訓練。

具體的，基于二次遷移學習手語識別模型的混淆矩陣和各分類類別對應的ROC曲線，對識別準確率低于預設閾值的手語類別的訓練數據進行標簽修正后，再次進行訓練。

本發明提供一種基于二次遷移學習的地方手語識別裝置，包括：識別單元、初始訓練單元、一次遷移單元和二次遷移單元，其中：