[發明專利]一種聾啞人無障礙在線視頻交互裝置

在審

• 申請號: 202011430724.1
• 申請日: 2020-12-09
• 公開（公告）號: CN112506410A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 張永愛;張承強;周雄圖;郭太良;吳朝興;李欣曄
• 申請（專利權）人: 福州大學;閩都創新實驗室
• 主分類號: G06F3/0484
• 分類號: G06F3/0484;G06K9/00;G10L21/06;G10L21/10
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

本發明涉及一種聾啞人無障礙在線視頻交互裝置。包括移動端和服務器端；移動端包括用于音視頻采集的音視頻采集模塊、用于音視頻播放的顯示播放模塊和用于鏈接網絡的互聯網鏈接模塊；服務器端包括用于將音視頻轉手語手勢視頻及將手語手勢轉音視頻的音視頻?手語手勢模塊和用于發送及接收音視頻的音視頻發送接收模塊。本發明的移動端可以是一部手機，整個裝置可以基本完全用軟件開發完成，具有結構簡單、成本低、便于聾啞人與正常人隨時隨地進行無障礙視頻交互的特點。

技術領域

本發明涉及視頻圖像生成、手語手勢識別和語音識別等深度學習領域，特別涉及一種聾啞人無障礙在線視頻交互裝置。

背景技術

聾啞人無法像正常人那樣方便地進行交流，特別是聾啞人與正常人之間進行交流時存在諸多麻煩，極為不便，若讓大部分的正常人掌握手語直接與聾啞人進行交流顯然不現實，基于此，很多的減少聾啞人與正常人交流障礙的發明也應運而生，讓正常人能明白手語，也讓聾啞人知道正常人在說什么。

現有的發明雖然各有各的好處，但還是有不少的弊端，并且都無法進行在線視頻交互，比如穿戴式的，戴在手臂或者手上的時間太久會使手臂產生酸痛感，且不能做手與水接觸的工作，而圖像傳感的方式則是捕捉手語手勢圖像，并利用圖像處理識別技術進行分析和識別，相對比穿戴式好一些，但目前的技術發明還是沒有實現讓聾啞人隨時隨地地與正常人無障礙在線視頻交互，比如，基于計算機視覺的手語交流裝置專利，它需要將不少設備組裝后才能進行交流，組裝過程繁瑣更不能實現隨時隨地的視頻交互，且使用的SVM分類器只是單一靜態手勢識別，沒有本發明使用的卷積神經網絡的靈活性和多樣性，再比如，基于手勢識別的手語會議方法及系統專利主要解決了會議時的交流障礙，但也不能實現隨時隨地的視頻交互，以及使用的靈活性和展示的多樣性不足，又比如，一種雙模式聾啞人交流設備專利是攜帶多個設備實現面對面的無障礙交流，但隨身攜帶多個設備，很是麻煩，并且只能面對面交流，也無法實現隨時隨地的在線視頻交互。

在當今的互聯網時代，人們可以隨時隨地地與別人進行視頻交互，比如視頻電話和視頻短信，但目前這種隨時隨地的視頻交互還基本只是正常人與正常人之間的一種交流方式，而聾啞人與正常人之間就沒法這么方便地進行無障礙的在線視頻交互。不過隨著深度學習技術的蓬勃發展，姿勢識別和文本轉視頻的深度學習技術應運而生，由此衍生的手語手勢識別和文本轉手語手勢視頻的深度學習技術也就能夠實現了，該技術能將手語手勢信息翻譯成文本信息，也能將文本信息翻譯成手語手勢視頻。

發明內容

本發明的目的在于提供一種聾啞人無障礙在線視頻交互裝置，能夠讓聾啞人與正常人隨時隨地地進行無障礙視頻交互，該裝置簡單便捷，只要你攜帶一個移動設備或者一部手機，就能像正常人那樣與正常人或聾啞人進行隨時隨地的無障礙視頻交互，移動設備可以是我們日常生活中使用的手機，整個裝置可以基本完全用軟件開發完成，成本低，移動設備上的功能實現是一個用編程語言編寫的各模塊集成的應用，服務器端的實現是使用編程語言編寫的功能模塊集成系統。

為實現上述目的，本發明的技術方案是：一種聾啞人無障礙在線視頻交互裝置，包括移動端和服務器端；移動端包括用于音視頻采集的音視頻采集模塊、用于音視頻播放的顯示播放模塊和用于鏈接網絡的互聯網鏈接模塊；服務器端包括用于將音視頻轉手語手勢視頻及將手語手勢轉音視頻的音視頻-手語手勢模塊和用于發送及接收音視頻的音視頻發送接收模塊；其中，所述音視頻采集模塊、顯示播放模塊和互聯網鏈接模塊是集成在單個移動端上的，所述移動端具有音視頻采集、顯示播放，以及鏈接互聯網的功能。

在本發明一實施例中，所述移動端音視頻顯示播放功能可分屏播放顯示正常人的音視頻和手語手勢視頻，或可單屏播放顯示接收到的聾啞人和正常人的音視頻信息。

在本發明一實施例中，所述音視頻-手語手勢模塊包括音視頻語音轉文本功能、文本轉手語手勢視頻功能、手語手勢視頻轉文本功能和文本轉音視頻語音功能。

在本發明一實施例中，所述音視頻發送接收模塊用于接收移動端發來的音視頻以及發送處理好的音視頻給移動端。