[發明專利]盲人智能終端交互輔助系統

在審

• 申請號: 201710508698.1
• 申請日: 2017-06-28
• 公開（公告）號: CN107093353A
• 公開（公告）日: 2017-08-25
• 發明（設計）人: 吳家寶;余文韜;王晶;王子彧;許肇源;付家瑄;梁展浩;雍佳慧;魏雨薇;晉宇飛;沈楊
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G09B21/00
• 分類號: G09B21/00
• 代理公司: 西安銘澤知識產權代理事務所(普通合伙)61223
• 代理人: 俞曉明

1.一種盲人智能終端交互輔助系統，其特征在于，包括移動終端和外部設備，所述移動終端上安裝有APP應用程序，該APP應用程序包括UI分析、漢盲轉換和語音助手三個模塊；

所述UI分析模塊利用AccessibilityService服務接口對所述移動終端上顯示的圖形界面進行分析并整理，所述漢盲轉換模塊將整理后的漢字信息轉換為盲文信號然后通過藍牙設備傳輸到所述外部設備上，所述語音助手模塊調用科大訊飛語音識別引擎進行語音信息的處理；

所述外部設備分為電刺激盲文顯示和鍵盤兩個模塊，所述電刺激盲文顯示模塊借鑒電子針灸技術，將獲取的盲文信號解析并控制每個觸點脈沖信號的輸出，盲人通過觸摸電極產生的電刺激感來識別盲文，所述鍵盤模塊通過選擇顯示信息、盲文輸入和快捷功能控制所述移動終端的顯示和輸入。

2.如權利要求1所述的盲人智能終端交互輔助系統，其特征在于，所述UI分析模塊將所述移動終端上顯示的界面上的所有窗口信息獲取，并根據窗口中原有的屬性進行分類，生成完整的UI布局數據樹，所述UI布局數據樹即為多個文本組成的樹形結構；對于所述UI布局數據樹中字數超過一定數量的文本，所述UI分析模塊還使用TextRank算法對長文本進行自動摘要，得到中文摘要文本。

3.如權利要求2所述的盲人智能終端交互輔助系統，其特征在于，得到文本后，所述漢盲轉換模塊首先根據漢字字庫對文本進行自動分詞，得到多個漢語分詞，然后根據漢語拼音庫將漢語分詞轉換為對應的漢語拼音，接著根據漢語拼音-盲文拼音庫將漢語拼音轉換為對應的盲文拼音，最終得到盲文文本，將盲文文本通過藍牙設備傳輸至電刺激盲文顯示模塊予以顯示。

4.如權利要求3所述的盲人智能終端交互輔助系統，其特征在于，在將漢語分詞轉換為漢語拼音前，所述漢盲轉換模塊會首先判斷分詞中的字是否為多音字，如果是多音字，則使用多音字字符庫按照多音字識別規則來判斷哪個音節最符合該字；如果不是多音字，則直接根據漢語拼音庫將每個漢字轉換為相應的拼音，把一個分詞中每個字的拼音組成拼音組后輸出為漢語拼音。

5.如權利要求1所述的盲人智能終端交互輔助系統，其特征在于，所述語音助手模塊先通過移動終端的麥克風接收盲人的語音輸入，然后使用科大訊飛語音處理引擎將語音輸入轉換為對應的文字，接著對文字進行分析，識別其中的關鍵詞，判斷識別得到的關鍵詞是否為預設命令，如果是預設命令，則按照命令表執行，如果不是預設命令，則作為字符串輸入。