[發明專利]一種可穿戴智能設備及手語學習方法

在審

• 申請號: 202010594519.2
• 申請日: 2020-06-28
• 公開（公告）號: CN111580614A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 畢克;施時雨;王衛民;張海洋;李翠鋒;華豆豆
• 申請（專利權）人: 江蘇科技大學
• 主分類號: G06F1/16
• 分類號: G06F1/16;G06F3/01;G06F40/289;G09B21/00
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 盧霞

一種可穿戴智能設備及手語學習方法，可穿戴智能設備包括語音獲取模塊、文字獲取模塊、手語詞匯動畫庫、自然語言處理模塊、動畫生成模塊以及反饋模塊。手語學習方法包括以下步驟：獲取使用者輸入：通過語音或文字的方式，接受使用者的輸入，最終獲取自然語言的文本；自然語言處理：對自然語言的文本進行自然語言處理，理解出使用者所需手語的含義，并將其翻譯成對應的手語詞匯序列；手語動畫生成：通過手語詞匯序列得到手所需的各個候選的手語詞匯動畫片段，然后進行手語骨骼動畫的自動生成；手語動畫反饋：將生成的手語動畫反饋給使用者。使用者通過本發明能夠隨時隨地進行手語的學習，有利用手語的學習和推廣。

技術領域

本發明涉及可穿戴智能設備的應用，更具體的涉及一種可穿戴智能設備及手語學習方法。

背景技術

聽障群體之間，由于聽力問題，在日常生活中，往往需要使用手語進行溝通。為了更有效的和聽障群體進行溝通交流，需要溝通者掌握一定程度的手語能力。從社會公平公正的角度，也需要社會服務人員，如銀行客服人員、電信客服人員、火車站售票人員等，掌握一定程度的手語知識，才能更好服務于聽障群體。

現有的手語學習方法，主要包括：（1）特殊學校教學：特殊學校資源的手語教學資源的有限性限制了手語教和學的范圍；（2）查手語詞典自學：效率低下；（3）看手語視頻自學：視頻內容的靜態性及不可更改性，限制了手語學習的效率。總體而言，現有手語學習方式，效率比較低下，不利于手語的學習和推廣。

發明內容

本發明針對上述問題，提出了一種可穿戴智能設備及手語學習的方法。

一種可穿戴智能設備，包括語音獲取模塊、文字獲取模塊、手語詞匯動畫庫、自然語言處理模塊、動畫生成模塊以及反饋模塊；

所述語音獲取模塊和文字獲取模塊分別和自然語言處理模塊，所述自然語言處理模塊和手語詞匯動畫庫分別和動畫生成模塊連接，所述動畫生成模塊和反饋模塊連接；

語音獲取模塊用于獲取語音；文字獲取模塊用于獲取文字；手語詞匯動畫庫用于存儲手語詞匯的3D骨骼動畫；自然語言處理模塊用于對語音和文字進行自然語言的語義分析，最終得到動畫生成模塊所需的手語詞匯序列；動畫生成模塊用于手語詞匯序列的動畫生成，最終得到一個完整的骨骼動畫；反饋模塊將生成的骨骼動畫反饋給使用者。

進一步的，所述反饋模塊的反饋結果顯示在可穿戴設備的屏幕上，或輸出到如智能手表、顯示器、電視機或手機的顯示設備上。

進一步的，所述可穿戴設備，是智能手機，智能眼鏡和其他帶有顯示設備的設備。

進一步的，語音獲取模塊啟動可穿戴設備的錄音功能對使用者的聲音進行錄音。

進一步的，文字獲取模塊提供使用者一個文字輸入框，讓使用者輸入文字。

進一步的，手語動詞匯畫庫如下建立：導入建好的手語詞匯動畫，并錄入該詞匯對應的手語解釋和手語圖片，然后將詞匯動畫和詞匯的手語解釋和手語圖片一起提交到手語詞匯動畫庫中。

進一步的，自然語言處理模塊的語音識別的功能，調用了第三方的語音識別接口。

進一步的，自然語言處理模塊利用分詞樹進行自然語言文本的全分詞操作，并進行了截枝處理，具體方式是：最先得到的一組分詞最后一個詞的層級記為L，然后分詞繼續進行，當全部展開到L層，分詞中止。這樣，分詞算法會得到一組或多組的分詞結果。

進一步的，動畫生成模塊處理自然語言處理得到的多組分詞結果，處理過程包括如下步驟：

步驟a：分詞結果預處理；模塊內置一個冗余詞詞表，從分詞結果中去除該表中包含的冗余詞；

步驟b：手語標準詞獲取；模塊內置一個手語同義詞詞表，其中包含手語詞匯標準詞和對應的同義詞序列，對每個分詞進行操作，從獲取這些分詞對應的手語標準詞；