[發明專利]一種智能聽障人士與健全人進行人機交互的系統及其工作方法

有效

• 申請號: 202110276536.6
• 申請日: 2021-03-15
• 公開（公告）號: CN113111156B
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 付強;傅佳軍
• 申請（專利權）人: 天津理工大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/338;G06N3/04;G06N3/08
• 代理公司: 天津市君硯知識產權代理有限公司 12239
• 代理人: 程昊

本發明公開了一種智能聽障人士與健全人進行人機交互的系統及其工作方法，包括數據采集設備單元、人機交互終端和人機交互網絡單元，通過彎曲傳感器與姿態傳感器組成的數據采集設備對手部的數據用Arduino控制器進行數據的實時采集，并在云端進行BP神經網絡算法學習及手勢識別，再通過手機將手勢對應的語音進行播報，完成聽障人士與健全人的交互，還可通過手機對語音進行識別，將識別的結果無線傳輸到云端，當云端接收到識別的結果時，對結果進行處理在unity中控制unity中人物模型完成相對應的動畫。此系統完成了聽障人士與健全人的正常溝通交流，對于人機交互領域，具有非常強的實用性與可研究性。

(一)技術領域：

本發明屬于人機交互技術領域，具體涉及一種智能聽障人士與健全人進行人機交互的系統及其工作方法，特別適合用在聽障人士與健全人之間進行正常溝通交流的應用場景。

(二)背景技術：

由于無法與健全人進行有效的溝通交流，聽障人士在日常生活中會面臨不同程度的歧視。聽障人士作為社會的一份子，其他健全人員需要切實解決好聽障人士與健全人的溝通問題，幫助聽障人士能夠積極樂觀地融入社會。

目前聽障人士用以與健全人交流的輔助設備效果均不甚理想：如電子人工喉，缺乏對發聲時間與音調的精準控制；而基于視覺的手語翻譯設備的使用效果受環境影響。因此研究一種輕便同時兼顧高效準確識別的人機交互設備有著廣泛的實用價值。

隨著物聯網和移動互聯網的發展，可穿戴設備完成了大型化到小型化的過渡，受到了社會的廣泛關注。目前我國擁有龐大的聽障人士群體，隨著我國殘疾人事業的發展，聾人參與社會的需求也在不斷增強，但相應的手語翻譯人才卻十分稀少，這給聾人在學習、生活及工作等各個領域的溝通都造成了很多困難。據統計，目前我國聽障人士至少有2057萬。而我國手語行業發展緩慢，除少數師范類高等院校在特殊教育專業中開設手語課外，手語教育特別是社會培訓力量薄弱。在文化、醫療、社會保障、體育、商業、社會服務等各個行業，手語翻譯人員的缺乏，使得聽障人士難以實現與外界的有效溝通。譬如，因為與醫生溝通不暢，聾啞人時常不愿去醫院看病；由于向民警問路很費力，聾啞人的出行困難也不少。所以研制一種智能聽障人士與健全人進行人機交互的系統對于聽障人士與正常人的正常溝通對聽障人士群的影響不言而喻。

(三)發明內容：

本發明的目的在于提供一種智能聽障人士與健全人進行人機交互的系統及其工作方法，它可以克服現有技術的不足，是一種結構簡單且容易實現的人機交互系統及方法，解決聽障人士與健全人之間的溝通交流問題。

本發明的技術方案：一種智能聽障人士與健全人進行人機交互的系統，其特征在于它包括數據采集設備單元、人機交互終端和人機交互網絡單元；其中，所述數據采集設備佩戴于聽障人士的手上，用于采集聽障人士的手勢數據，并將手勢數據上傳到云端服務器；所述人機交互網絡單元的輸入端接收云端服務器中的手勢數據，對其進行識別，其輸出端與人機交互終端呈數據連接；所述人機交互終端接收人機交互網絡單元的識別結果，并將該結果傳遞給健全人或聽障人士；所述人機交互網絡單元的輸入端還能接受人機交互終端的數據，將健全人的交互信號上傳到云端服務器，由人機交互網絡單元生成可以使聽障人士能夠理解的信號，并再次傳送給人機交互終端，使聽障人士看到。

所述人機交互網絡單元與人機交互終端之間依無線網絡連接，常采用蜂窩移動通信(Cellular Mobile Communication)，蜂窩移動通信是采用蜂窩無線組網方式，在終端和網絡設備之間通過無線通道連接起來，進而實現用戶在活動中可相互通信，其主要特征是終端的移動性，并具有越區切換和跨本地網自動漫游功能，蜂窩移動通信業務是指經過由基站子系統和移動交換子系統等設備組成蜂窩移動通信網提供的話音、數據、視頻圖像等業務。