[發明專利]一種唇語學習云平臺建立的方法和系統

在審

• 申請號: 201711432189.1
• 申請日: 2017-12-26
• 公開（公告）號: CN108171148A
• 公開（公告）日: 2018-06-15
• 發明（設計）人: 高升
• 申請（專利權）人: 上海斐訊數據通信技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/063;G06N3/04;G06N3/08
• 代理公司: 上海碩力知識產權代理事務所(普通合伙) 31251
• 代理人: 郭桂峰

本發明提供一種唇語學習云平臺建立的方法和系統，包括：獲取唇語，所述唇語包括嘴唇舌頭動作以及對應的語句；對所述唇語進行提取，將所述嘴唇舌頭動作劃分為圖像數據以及所述語句劃分為語音數據，并將所述圖像數據和語音數據傳輸至唇語學習云平臺進行數據訓練；將訓練好的數據存儲在唇語學習云平臺設定的主節點上，形成訓練數據庫；搭建唇語學習云平臺的分布式數據管理系統，并根據需要將訓練數據庫的數據組織到唇語學習云平臺的其他節點上。本發明通過提升唇讀模型提取句子的準確性，來提高唇語學習的效率，推進唇語學習的發展。

技術領域

本發明實施方式涉及通訊技術領域，尤其涉及一種唇語學習云平臺建立的方法和系統。

背景技術

唇讀在人類的交流和語音理解中發揮了很關鍵的作用，當一個音素在一個人的說話視頻中的配音是某個人說的另一個不同的音素時，聽話人會感知到第三個不同的音素。

在實施本發明的過程中，發明人發現現有技術至少存在如下問題：

唇讀對人類來說是一項眾所周知的艱難任務。除了嘴唇和有時候的舌頭和牙齒，大多數唇讀信號都是隱晦的，難以在沒有語境的情況下分辨。

因此，實現唇讀的自動化是一個很重要的目標。機器讀唇器有很大的實用潛力，比如可以應用于改進助聽器、公共空間的靜音聽寫、秘密對話、嘈雜環境中的語音識別、生物特征識別和默片電影處理。機器唇讀是很困難的，因為需要從視頻中提取時空特征，比如位置和運動等特征。雖然深度學習方法試圖通過端到端的方式提取這些特征。但是，所有的已有工作都只是執行單個詞的分類，而非句子層面的序列預測。

目前的唇語學習大多數都是通過線下人工培訓，以及網上的學習軟件。但是，人類語言受到了地域差異、國籍差異等影響，各個地方都有方言的存在。同時，線下的人工培訓基于官方的標準語言，在各個地域的適用性遠沒有預想的那么高，因此，在學習時無法達到預期的效果。而網上的唇語學習軟件，也都只考慮官方的標準語言，而為考慮到地方的方言。而且，對于所提取的內容，都是基于一句話中的單詞而言，并沒有從整個句子層面來進行預測，因此，有著很大的弊端，提取的準確率也達不到預期的要求。

應該注意，上面對技術背景的介紹只是為了方便對本發明的技術方案進行清楚、完整的說明，并方便本領域技術人員的理解而闡述的。不能僅僅因為這些方案在本發明的背景技術部分進行了闡述而認為上述技術方案為本領域技術人員所公知。

發明內容

針對上述問題，本發明實施方式的目的在于提供一種唇語學習云平臺建立的方法和系統，通過提升唇讀模型提取句子的準確性，來提高唇語學習的效率，推進唇語學習的發展。

為實現上述目的，本發明實施方式提供一種唇語學習云平臺建立的方法，包括：獲取唇語，所述唇語包括嘴唇舌頭動作以及對應的語句；對所述唇語進行提取，將所述嘴唇舌頭動作劃分為圖像數據以及所述語句劃分為語音數據，并將所述圖像數據和語音數據傳輸至唇語學習云平臺進行數據訓練；將訓練好的數據存儲在唇語學習云平臺設定的主節點上，形成訓練數據庫；搭建唇語學習云平臺的分布式數據管理系統，并根據需要將訓練數據庫的數據組織到唇語學習云平臺的其他節點上。

進一步地，所述方法還包括：進行分布式系統硬件平臺搭建，至少搭建兩個節點，每個節點包括中央處理單元CPU和圖形處理單元GPU；底層進程通信使用gRPC支持庫，使用Tensorflow提供的工具，定義集群的cluster_spec數，配置多機多卡模式。

進一步地，對所述唇語進行提取，具體為：通過Tensorflow對所述唇語進行提取。