[發明專利]一種視覺障礙者語音輔助方法、終端、服務器及系統

在審

• 申請號: 201911113176.7
• 申請日: 2019-11-14
• 公開（公告）號: CN111046223A
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 李秉倫
• 申請（專利權）人: 李秉倫
• 主分類號: G06F16/68
• 分類號: G06F16/68;G06F16/638;G06K9/32;G06K9/34
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 趙平;周永君

1.一種視覺障礙者語音輔助方法，其特征在于，包括：

獲取文字載體，將所述文字載體轉換為待識別圖像；

將所述待識別圖像傳輸至服務器，以使所述服務器通過文字識別模型定位所述待識別圖像上包括文字的文本框，對所述文本框進行文字識別得到文字并對所述文字進行修正，將修正后的文字轉換為音頻文件，存儲所述音頻文件并得到所述音頻文件的存儲地址；

接收所述服務器傳輸的音頻文件的存儲地址，根據所述存儲地址獲取所述音頻文件并向用戶播放。

2.根據權利要求1所述的視覺障礙者語音輔助方法，其特征在于，所述獲取文字載體具體包括：

通過圖像采集設備采集至少一張圖像形成所述文字載體；或者，

接收終端APP傳輸的語音輔助請求，獲取終端APP中待識別的文字載體。

3.根據權利要求1所述的視覺障礙者語音輔助方法，其特征在于，所述文字載體包括圖像、視頻、WORD、PDF和PPT中的一種或多種。

4.根據權利要求1所述的視覺障礙者語音輔助方法，其特征在于，所述方法進一步包括：

接收視覺障礙者的語音指令和/或通過觸摸顯示屏輸入的觸控指令；

解析所述語音指令和/或觸控指令得到控制信息；

根據所述控制信息確定控制指令并執行對應的操作。

5.根據權利要求4所述的視覺障礙者語音輔助方法，其特征在于，所述對應的操作包括以下操作的一個或多個：

獲取文字載體；

顯示文字載體的檢測進度；

播放獲取的音頻文件；

停止播放音頻文件；

顯示識別得到的文字。

6.一種視覺障礙者語音輔助方法，其特征在于，包括：

接收終端傳輸的待識別圖像；

通過文字識別模型定位所述待識別圖像上包括文字的文本框，對所述文本框進行文字識別得到文字并對所述文字進行修正，將修正后的文字轉換為音頻文件識別所述待識別圖像上的文字，將所述文字轉換為音頻文件，存儲所述音頻文件并得到所述音頻文件的存儲地址；

將所述音頻文件的存儲地址反饋給終端，以使所述終端根據所述存儲地址獲取所述音頻文件并向用戶播放。

7.根據權利要求6所述的視覺障礙者語音輔助方法，其特征在于，所述通過文字識別模型定位所述待識別圖像上包括文字的文本框，對所述文本框進行文字識別得到文字并對所述文字進行修正具體包括：

通過CPTN單元定位所述待識別圖像上包含文字的至少一個文本框；

通過DenseNet單元對所述文本框進行文字識別得到文字；

通過CTC單元對所述文字進行修正得到符合自然語言規律的文字。

8.根據權利要求7所述的視覺障礙者語音輔助方法，其特征在于，所述方法進一步包括在獲取文字載體，之前：

確定CPTN單元、DenseNet單元和CTC單元的設置參數；

根據所述設置參數形成依次連接的CPTN單元、DenseNet單元和CTC單元形成神經網絡模型；

選擇現有的圖像數據形成訓練樣本對所述神經網絡模型進行訓練得到優化的設置參數，根據優化的設置參數形成基于深度學習的所述文字識別模型。

9.一種視覺障礙者語音輔助方法，其特征在于，包括：

獲取文字載體，將所述文字載體轉換為待識別圖像；

通過文字識別模型定位所述待識別圖像上包括文字的文本框，對所述文本框進行文字識別得到文字并對所述文字進行修正，將修正后的文字轉換為音頻文件，存儲所述音頻文件并得到所述音頻文件的存儲地址；

根據所述存儲地址獲取所述音頻文件并向用戶播放。