[發明專利]一種唇語學習云平臺建立的方法和系統

在審

• 申請號: 201711432189.1
• 申請日: 2017-12-26
• 公開（公告）號: CN108171148A
• 公開（公告）日: 2018-06-15
• 發明（設計）人: 高升
• 申請（專利權）人: 上海斐訊數據通信技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/063;G06N3/04;G06N3/08
• 代理公司: 上海碩力知識產權代理事務所(普通合伙) 31251
• 代理人: 郭桂峰

1.一種唇語學習云平臺建立的方法，其特征在于，包括：

獲取唇語，所述唇語包括嘴唇舌頭動作以及對應的語句；

對所述唇語進行提取，將所述嘴唇舌頭動作劃分為圖像數據以及所述語句劃分為語音數據，并將所述圖像數據和語音數據傳輸至唇語學習云平臺進行數據訓練；

將訓練好的數據存儲在唇語學習云平臺設定的主節點上，形成訓練數據庫；

搭建唇語學習云平臺的分布式數據管理系統，并根據需要將訓練數據庫的數據組織到唇語學習云平臺的其他節點上。

2.根據權利要求1所述的唇語學習云平臺建立的方法，其特征在于，所述方法還包括：

進行分布式系統硬件平臺搭建，至少搭建兩個節點，每個節點包括中央處理單元CPU和圖形處理單元GPU；

底層進程通信使用gRPC支持庫，使用Tensorflow提供的工具，定義集群的cluster_spec數，配置多機多卡模式。

3.根據權利要求2所述的唇語學習云平臺建立的方法，其特征在于，對所述唇語進行提取，具體為：

通過Tensorflow對所述唇語進行提取。

4.根據權利要求3所述的唇語學習云平臺建立的方法，其特征在于，將所述圖像數據和語音數據傳輸至唇語學習云平臺進行數據訓練，形成訓練數據庫包括：

將所述嘴唇舌頭動作劃分為圖像數據以及所述語句劃分為語音數據；

將數據按照數據關聯模型的劃分算法，語音數據與圖像數據打包成訓練任務，分配到不同工作節點中；

每個工作節點由CPU指派到多個GPU中，GPU每次完成訓練任務后，發送訓練數據給CPU，CPU計算平均訓練數據，更新參數；

當單節點訓練任務完成后，用廣播形式向唇語學習云平臺內的其他節點發送數據，并等待其他節點的訓練數據；

所有節點完成計算任務后，由設定的Master節點存儲最終的訓練數據，形成訓練數據庫。

5.根據權利要求4所述的唇語學習云平臺建立的方法，其特征在于，所述唇語學習云平臺的神經網絡框架，選擇卷積神經網絡結構，選擇128個卷積核，16層卷積層，其中，16層卷積層的層名稱和描述定義為：init，網絡初始化；conv1，實現卷積以及整流線性激活；pool1，最大池；norm1，局部響應歸一化；conv2，實現卷積以及整流線性激活；pool2，最大池；som，自組織結構輸入層；som2，自組織結構輸出層；norm2，局部響應歸一化；hand1，根據中間結果人為增加網絡擾動；conv3，實現卷積以及整流線性激活；pool3，最大池；re，遞歸改變的殘差計算；local3，基于修正線性激活的全連接層；local4，基于修正線性激活的全連接層；以及softmax_linear，進行線性變換以輸出logits。

6.根據權利要求5所述的唇語學習云平臺建立的方法，其特征在于，所述卷積神經網絡結構中，包括：反饋自激機制允許跨層傳遞信息，具體為pool3層回向hand1層傳遞殘差信息。

7.根據權利要求5所述的唇語學習云平臺建立的方法，其特征在于，所述卷積神經網絡結構中，包括：re處有遞歸結構，具體為采用Elman網絡結構，把hand1，conv3，pool3，re層作為一個隱層進行遞歸反饋。

8.根據權利要求5所述的唇語學習云平臺建立的方法，其特征在于，所述卷積神經網絡結構中，包括：SOM網絡結構，具體為som，som2層分別是自組織結構輸入層、自組織結構輸出層，som層神經元以矩陣方式排列在二維空間中，每個神經元都有一個權向量，som層在接受輸入向量后，會激活som2層的神經元，som2神經元之間會按照自組織網絡訓練的方法進行調整。