[發(fā)明專利]利用視覺(jué)認(rèn)知過(guò)程觸發(fā)的網(wǎng)頁(yè)瀏覽控制方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710611469.2
• 申請(qǐng)日: 2017-07-25
• 公開(kāi)（公告）號(hào): CN107491496A
• 公開(kāi)（公告）日: 2017-12-19
• 發(fā)明（設(shè)計(jì)）人: 李海峰;馬琳;豐上;王子豪;薄洪健;信家男;劉全勝
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工業(yè)大學(xué);深圳航天科技創(chuàng)新研究院
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F9/44;G06F3/0487
• 代理公司: 哈爾濱市哈科專利事務(wù)所有限責(zé)任公司23101
• 代理人: 吳振剛

技術(shù)領(lǐng)域

本發(fā)明涉及一種利用視覺(jué)認(rèn)知過(guò)程觸發(fā)的網(wǎng)頁(yè)瀏覽控制方法。

背景技術(shù)

隨著認(rèn)知科學(xué)研究的深入，越來(lái)越多的大腦認(rèn)知過(guò)程分析方法涌現(xiàn)出來(lái)。現(xiàn)階段已經(jīng)利用這些分析方法已經(jīng)實(shí)現(xiàn)了一部分的控制功能，但這種控制還是比較原始的初級(jí)控制，還有諸多的問(wèn)題有待解決。為了實(shí)現(xiàn)通過(guò)對(duì)大腦認(rèn)知過(guò)程進(jìn)行分析識(shí)別來(lái)實(shí)現(xiàn)直接、自然地控制計(jì)算機(jī)和其它設(shè)備，需要對(duì)原有的設(shè)備操作模式進(jìn)行改造適配。現(xiàn)有的網(wǎng)頁(yè)無(wú)法利用大腦認(rèn)知過(guò)程檢測(cè)手段，例如腦機(jī)接口技術(shù)，進(jìn)行瀏覽操縱的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種利用視覺(jué)認(rèn)知過(guò)程觸發(fā)的網(wǎng)頁(yè)瀏覽控制方法，以常用的網(wǎng)頁(yè)瀏覽器為基礎(chǔ)，無(wú)需特殊改造，使得用戶僅通過(guò)基于視覺(jué)反饋的腦機(jī)接口技術(shù)實(shí)現(xiàn)萬(wàn)維網(wǎng)網(wǎng)頁(yè)的全網(wǎng)瀏覽。

本發(fā)明所采用的技術(shù)方案是這樣的：一種利用視覺(jué)認(rèn)知過(guò)程觸發(fā)的網(wǎng)頁(yè)瀏覽控制方法，如下：

用戶啟動(dòng)瀏覽器后，瀏覽器跳轉(zhuǎn)到預(yù)先設(shè)定好的主頁(yè)，網(wǎng)頁(yè)處理引擎和認(rèn)知檢測(cè)引擎同時(shí)啟動(dòng)；其中，兩組指令對(duì)應(yīng)于視覺(jué)認(rèn)知過(guò)程，指令組A包括頁(yè)面導(dǎo)航指令若干，指令組B包括鏈接選擇指令；

步驟一：瀏覽器將當(dāng)前網(wǎng)頁(yè)及網(wǎng)頁(yè)相關(guān)信息傳送導(dǎo)網(wǎng)頁(yè)處理引擎進(jìn)行解析，網(wǎng)頁(yè)處理引擎根據(jù)網(wǎng)頁(yè)的尺寸確定屏幕縮放尺度，瀏覽器根據(jù)該尺度對(duì)屏幕上顯示的網(wǎng)頁(yè)進(jìn)行縮放，同時(shí)瀏覽器對(duì)網(wǎng)頁(yè)在屏幕上所占區(qū)域進(jìn)行水平四等分，在每一部分上分配一種觸發(fā)認(rèn)知過(guò)程的視覺(jué)刺激；

步驟二：認(rèn)知檢測(cè)引擎檢測(cè)到四區(qū)域?qū)?yīng)四種刺激中的一個(gè)時(shí)，將指令組A中的對(duì)應(yīng)指令發(fā)送給瀏覽器，瀏覽器將該區(qū)域進(jìn)行放大匹配整個(gè)網(wǎng)頁(yè)顯示區(qū)域的尺寸，重復(fù)步驟一；

步驟三：如果認(rèn)知檢測(cè)引擎檢測(cè)到指令組A中的導(dǎo)航命令，將該指令反饋到瀏覽器中，瀏覽器將網(wǎng)頁(yè)和當(dāng)前顯示區(qū)域的尺寸位置信息發(fā)送到網(wǎng)頁(yè)處理引擎中，網(wǎng)頁(yè)處理引擎將網(wǎng)頁(yè)中的DOM元素進(jìn)行遍歷，如果該元素是鏈接元素，則判斷該元素位置是否在當(dāng)前顯示區(qū)域內(nèi)，如是則將該元素存入數(shù)據(jù)鏈表中；

當(dāng)遍歷結(jié)束后，瀏覽器在網(wǎng)頁(yè)顯示區(qū)域上覆蓋一個(gè)半透明的面板，按照腦機(jī)接口范式的設(shè)計(jì)，將鏈表中的元素依次序呈現(xiàn)在屏幕上，每個(gè)元素對(duì)應(yīng)指令組B中的一個(gè)指令，如元素?cái)?shù)量大于指令組B能提供的指令個(gè)數(shù)，將鏈表按照指令組B的長(zhǎng)度分段，同時(shí)指令組B中的最后一個(gè)指令定為切換命令，每段中的元素分配剩下的指令；

如果認(rèn)知檢測(cè)引擎檢測(cè)到指令組B對(duì)應(yīng)的視覺(jué)認(rèn)知活動(dòng)，則發(fā)送對(duì)應(yīng)指令給瀏覽器，瀏覽器執(zhí)行相應(yīng)的網(wǎng)頁(yè)元素操作，包括但不限于點(diǎn)擊、返回和前進(jìn)等操作，返回步驟一。

本發(fā)明針對(duì)認(rèn)知檢測(cè)技術(shù)和人機(jī)交互技術(shù)發(fā)展現(xiàn)狀，將網(wǎng)頁(yè)瀏覽和視覺(jué)認(rèn)知過(guò)程分析技術(shù)相結(jié)合，以常用的網(wǎng)頁(yè)瀏覽器為基礎(chǔ)，無(wú)需特殊改造，使得用戶僅通過(guò)基于視覺(jué)反饋的腦機(jī)接口技術(shù)實(shí)現(xiàn)萬(wàn)維網(wǎng)網(wǎng)頁(yè)的全網(wǎng)瀏覽，用戶可以在擺脫鍵盤(pán)和鼠標(biāo)的情況下利用腦機(jī)接口技術(shù)進(jìn)行網(wǎng)上沖浪，為殘障人士帶來(lái)全新的交互體驗(yàn)，提高生活質(zhì)量。

附圖說(shuō)明

圖1為瀏覽器對(duì)網(wǎng)頁(yè)在屏幕上所占區(qū)域進(jìn)行水平四等分界面圖；

圖2為瀏覽器的鏈接選擇界面圖；

具體實(shí)施方式

下面根據(jù)附圖舉例對(duì)本發(fā)明做進(jìn)一步說(shuō)明：

實(shí)施例1

本實(shí)施例的一種利用視覺(jué)認(rèn)知過(guò)程觸發(fā)的網(wǎng)頁(yè)瀏覽控制方法基于運(yùn)行于常規(guī)的網(wǎng)頁(yè)瀏覽器之上的插件工作。該插件與網(wǎng)頁(yè)處理引擎和認(rèn)知檢測(cè)引擎進(jìn)行通信。網(wǎng)頁(yè)處理引擎由常規(guī)的網(wǎng)頁(yè)瀏覽器提供，本實(shí)施例可與多種已經(jīng)公開(kāi)的，可識(shí)別多種視覺(jué)認(rèn)知狀態(tài)的認(rèn)知檢測(cè)引擎聯(lián)合使用，例如視覺(jué)刺激誘發(fā)腦電P300電位檢測(cè)系統(tǒng)、視覺(jué)穩(wěn)態(tài)誘發(fā)電位SSVEP檢測(cè)系統(tǒng)，進(jìn)行網(wǎng)頁(yè)瀏覽操作時(shí)，網(wǎng)頁(yè)被發(fā)送到網(wǎng)頁(yè)處理引擎，本實(shí)施例的方法通過(guò)分析網(wǎng)頁(yè)處理引擎的處理結(jié)果，將網(wǎng)頁(yè)內(nèi)容和瀏覽控制命令轉(zhuǎn)化可以在屏幕上顯示的視覺(jué)刺激并反饋到瀏覽器進(jìn)行顯示，認(rèn)知引擎檢測(cè)用戶正在選擇的視覺(jué)刺激編號(hào)，將結(jié)果發(fā)送到瀏覽器進(jìn)行相應(yīng)操作。

本實(shí)施例中，通過(guò)認(rèn)知檢測(cè)引擎識(shí)別的命令主要分為兩類，分別在瀏覽的兩個(gè)階段對(duì)應(yīng)不同的視覺(jué)刺激和用戶動(dòng)作：

1.網(wǎng)頁(yè)感興趣區(qū)域選擇

在網(wǎng)頁(yè)加載完成之后，瀏覽器進(jìn)入?yún)^(qū)域選擇狀態(tài)，將網(wǎng)頁(yè)在屏幕上的現(xiàn)實(shí)區(qū)域進(jìn)行水平四等分，其中每一部分分配一種視覺(jué)刺激。認(rèn)知檢測(cè)引擎檢測(cè)到其中一種視覺(jué)刺激，瀏覽器將對(duì)應(yīng)區(qū)域進(jìn)行放大。如果用戶想跳轉(zhuǎn)到該區(qū)域?qū)?yīng)的鏈接，或返回到放大前網(wǎng)頁(yè)，進(jìn)行眨眼動(dòng)作，認(rèn)知檢測(cè)引擎檢測(cè)眨眼次數(shù)，根據(jù)眨眼次數(shù)進(jìn)行相應(yīng)操作。而具體眨眼次數(shù)與操作對(duì)應(yīng)關(guān)系由用戶自定義。

2.鏈接跳轉(zhuǎn)