[發(fā)明專利]可視信息交互的方法及控制系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201510341192.7
• 申請日: 2015-06-18
• 公開（公告）號: CN104951188A
• 公開（公告）日: 2015-09-30
• 發(fā)明（設(shè)計）人: 朱清毅
• 申請（專利權(quán)）人: 煙臺朱葛軟件科技有限公司
• 主分類號: G06F3/0481
• 分類號: G06F3/0481;G06F3/0487
• 代理公司: 北京雙收知識產(chǎn)權(quán)代理有限公司 11241
• 代理人: 吳杰

技術(shù)領(lǐng)域

本發(fā)明涉及信息識別技術(shù)領(lǐng)域，具體的說，是涉及一種可視信息交互的方法及控制系統(tǒng)。

背景技術(shù)

視障人士可通過專用的讀屏軟件靈活便捷的操作計算機(jī)的各類應(yīng)用，他們基本可與常人一樣自由的進(jìn)行瀏覽網(wǎng)頁、收發(fā)郵件、上網(wǎng)購物、應(yīng)用辦公軟件等。然而,他們操作計算機(jī)是不需要使用鼠標(biāo)的，是完全通過鍵盤進(jìn)行操作，這就需要被操作的軟件或網(wǎng)站符合無障礙設(shè)計，符合讀屏軟件的操作規(guī)范。但許多網(wǎng)站和軟件出于美觀及應(yīng)用安全等方面的考慮，使其部分控件無法通過鍵盤進(jìn)行操作應(yīng)用，不符合信息無障礙設(shè)計規(guī)范。比如網(wǎng)頁中的無法通過鍵盤訪問的按鈕、應(yīng)用軟件中的部分控件及各類軟件中無法通過鍵盤訪問的按鈕、復(fù)選框等。這就對視障人士順利的應(yīng)用計算機(jī)，平等的參與經(jīng)濟(jì)社會生活帶來了不可逾越的巨大障礙。

發(fā)明內(nèi)容

針對上述現(xiàn)有技術(shù)中的不足，本發(fā)明提供一種可視信息交互的方法及控制系統(tǒng)。

本發(fā)明所采取的技術(shù)方案是：

一種可視信息交互的方法，包括：

屏幕上一區(qū)域等待輸入；

將所述區(qū)域的圖像數(shù)據(jù)傳送到輔助交互服務(wù)器；

所述輔助交互服務(wù)器根據(jù)響應(yīng)規(guī)則將所述圖像數(shù)據(jù)呈現(xiàn)給輔助人員；

所述輔助人員對所述圖像數(shù)據(jù)還原呈現(xiàn)進(jìn)行操作，記錄坐標(biāo)數(shù)據(jù)；

將所述坐標(biāo)數(shù)據(jù)傳送到輔助交互服務(wù)器；

所述輔助交互服務(wù)器將所述坐標(biāo)數(shù)據(jù)傳送回所述區(qū)域；

所述坐標(biāo)數(shù)據(jù)響應(yīng)所述區(qū)域的所述輸入。

所述屏幕上一區(qū)域等待輸入為網(wǎng)頁或應(yīng)用軟件中出現(xiàn)無法通過鍵盤訪問的目標(biāo)控件。

所述區(qū)域的圖像數(shù)據(jù)傳送到輔助交互服務(wù)器為：對屏幕畫面進(jìn)行截屏、采集對屏幕操作相關(guān)請求信息；所述相關(guān)請求信息包括文字和音頻請求信息；將全部請求信息傳送給輔助交互服務(wù)器。

所述輔助交互服務(wù)器根據(jù)響應(yīng)規(guī)則為：根據(jù)先進(jìn)先出原則向空閑輔助人員服務(wù)端傳送客戶請求信息。

當(dāng)某一輔助人員服務(wù)端處理客戶請求超過設(shè)定的處理時間上限時，輔助交互服務(wù)器將該輔助人員服務(wù)端處理的請求信息傳送給其他輔助人員服務(wù)端。

所述輔助人員對所述圖像數(shù)據(jù)還原呈現(xiàn)進(jìn)行操作為：

截屏圖片、文字請求信息在屏幕上顯示；音頻設(shè)備再現(xiàn)客戶端聲音請求信息；輔助人員根據(jù)客戶數(shù)據(jù)請求信息及截屏內(nèi)容，依次點擊并采集截屏圖片相應(yīng)坐標(biāo)數(shù)據(jù)。

所述輔助交互服務(wù)器將所述操作的坐標(biāo)數(shù)據(jù)傳送回所述區(qū)域并響應(yīng)所述區(qū)域的所述輸入為：將接收到的坐標(biāo)數(shù)據(jù)進(jìn)行解析；根據(jù)解析后數(shù)據(jù)信息調(diào)用鼠標(biāo)對無法通過鍵盤訪問的目標(biāo)控件依次進(jìn)行點擊。

當(dāng)發(fā)出請求信息的客戶端意外關(guān)閉時，輔助交互服務(wù)器將反復(fù)向發(fā)出請求信息的客戶端發(fā)送操作的坐標(biāo)數(shù)據(jù)；超過輔助交互服務(wù)器設(shè)定時間，客戶端仍然未啟動則停止發(fā)送。

已經(jīng)發(fā)出請求信息的客戶端將圖像數(shù)據(jù)傳送到輔助交互服務(wù)器后，所述輔助交互服務(wù)器未將所述操作的坐標(biāo)數(shù)據(jù)傳送回所述客戶端；發(fā)出請求信息的客戶端再次將圖像數(shù)據(jù)傳送到輔助交互服務(wù)器時，輔助交互服務(wù)器將向發(fā)出請求信息的客戶端傳送前次任務(wù)未完成信息；提示客戶端取消前次任務(wù)；客戶端取消前次操作請求后，輔助交互服務(wù)器處理本次請求信息。

一種可視信息交互系統(tǒng)，包括：

接收裝置，用于在屏幕上一區(qū)域等待輸入；

第一傳送裝置，用于將所述區(qū)域的圖像數(shù)據(jù)傳送到輔助交互服務(wù)器；

呈現(xiàn)裝置，用于所述輔助交互服務(wù)器根據(jù)響應(yīng)規(guī)則將所述圖像數(shù)據(jù)呈現(xiàn)給輔助人員；

記錄裝置，用于所述輔助人員對所述圖像數(shù)據(jù)還原呈現(xiàn)進(jìn)行操作，記錄坐標(biāo)數(shù)據(jù)；

第二傳送裝置，用于將所述坐標(biāo)數(shù)據(jù)傳送到輔助交互服務(wù)器；

第三傳送裝置，用于所述輔助交互服務(wù)器將所述坐標(biāo)數(shù)據(jù)傳送回所述區(qū)域；

所述接收裝置將所述坐標(biāo)數(shù)據(jù)響應(yīng)所述區(qū)域的所述輸入。

本發(fā)明相對現(xiàn)有技術(shù)的有益效果：

本發(fā)明可視信息交互的方法及控制系統(tǒng)，通過遠(yuǎn)程客服的方式，為視障人士提供遠(yuǎn)程快速精確點擊對應(yīng)電腦軟件控件的方法。

附圖說明

圖1是可視信息交互的方法的第一概括實施例流程圖；

圖2是可視信息交互的方法的第二具體實施例流程圖；

圖3是可視信息交互的方法應(yīng)用在12306網(wǎng)站登錄頁面截屏圖；

圖4是可視信息交互的方法應(yīng)用在360殺毒軟件操作頁面截屏圖；

圖5是可視信息交互的方法應(yīng)用在遠(yuǎn)程控制的流程圖。

具體實施方式

以下參照附圖及實施例對本發(fā)明進(jìn)行詳細(xì)的說明：