[發(fā)明專(zhuān)利]一種基于眼動(dòng)軌跡數(shù)據(jù)兩步聚類(lèi)的圖像感興趣區(qū)域提取方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811383677.2
• 申請(qǐng)日: 2018-11-20
• 公開(kāi)（公告）號(hào): CN109255342B
• 公開(kāi)（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 陳震中;張瀅雪
• 申請(qǐng)（專(zhuān)利權(quán)）人: 武漢大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/32;G06K9/62
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種基于眼動(dòng)數(shù)據(jù)兩步聚類(lèi)的感興趣區(qū)域提取方法，其特征在于：包括預(yù)聚類(lèi)階段和聚類(lèi)階段；

所述預(yù)聚類(lèi)階段進(jìn)行眼動(dòng)數(shù)據(jù)噪聲點(diǎn)的剔除，包含以下步驟：

步驟1.1，讀入測(cè)試圖片上多個(gè)觀察者產(chǎn)生的眼動(dòng)軌跡點(diǎn)數(shù)據(jù)，假設(shè)有N個(gè)觀察者瀏覽了該測(cè)試圖片，則產(chǎn)生N組眼動(dòng)軌跡點(diǎn)記錄；

步驟1.2，將每?jī)蓚€(gè)觀察者的眼動(dòng)軌跡點(diǎn)數(shù)據(jù)合并進(jìn)行聚類(lèi)，將其分為若干類(lèi)；

步驟1.3，基于上述聚類(lèi)結(jié)果中的每個(gè)類(lèi)進(jìn)行噪聲檢測(cè)，并設(shè)定點(diǎn)層面及類(lèi)層面噪聲檢測(cè)準(zhǔn)則；

步驟1.4，對(duì)圖像上每?jī)蓚€(gè)觀察者合并后的眼動(dòng)軌跡點(diǎn)重復(fù)以上步驟1.2-1.3，得到剔除噪聲后的預(yù)聚類(lèi)結(jié)果，即屬于有效注視過(guò)程的眼動(dòng)軌跡點(diǎn)；

所述聚類(lèi)階段進(jìn)行感興趣區(qū)域的提取，包含以下步驟：

步驟2.1，合并所有經(jīng)過(guò)噪聲剔除的屬于有效注視過(guò)程的眼動(dòng)軌跡點(diǎn)為一個(gè)點(diǎn)集，

步驟2.2，對(duì)合并后的點(diǎn)集進(jìn)行聚類(lèi)，經(jīng)過(guò)聚類(lèi)得到的眼動(dòng)軌跡點(diǎn)類(lèi)即可代表圖像感興趣區(qū)域，以聚類(lèi)后每類(lèi)的中心點(diǎn)代表感興趣區(qū)域位置，類(lèi)中點(diǎn)的數(shù)量代表感興趣區(qū)域所吸引注意力的多少。

2.如權(quán)利要求1所述的一種基于眼動(dòng)數(shù)據(jù)兩步聚類(lèi)的感興趣區(qū)域提取方法，其特征在于：步驟1.1中對(duì)每個(gè)觀察者n，其眼動(dòng)軌跡點(diǎn)記錄可表達(dá)為每個(gè)點(diǎn)空間坐標(biāo)的集合如下：

其中，I_n為觀察者n所產(chǎn)生的眼動(dòng)軌跡點(diǎn)數(shù)目。

3.如權(quán)利要求2所述的一種基于眼動(dòng)數(shù)據(jù)兩步聚類(lèi)的感興趣區(qū)域提取方法，其特征在于：步驟1.2中采用近鄰傳播聚類(lèi)方法進(jìn)行聚類(lèi)，具體過(guò)程如下，

步驟1.2.1，計(jì)算軌跡點(diǎn)間的相似度，構(gòu)成相似度矩陣，其中相似度以負(fù)歐氏距離度量，以遵循兩點(diǎn)距離越近，則相似度越高的原則；相似度計(jì)算公式如下：

其中，s(a，b)為點(diǎn)a與點(diǎn)b的相似度，x_a，y_a，x_b，y_b分別為點(diǎn)a與點(diǎn)b的橫縱坐標(biāo)，Q為兩個(gè)點(diǎn)集中注視點(diǎn)的總數(shù)目；

對(duì)集合中每?jī)蓚€(gè)點(diǎn)計(jì)算相似度后構(gòu)成相似度矩陣如下：

此外，將相似度矩陣對(duì)角線上元素s(j，j)，即自相似度，設(shè)為相同的值，代表每個(gè)點(diǎn)成為聚類(lèi)中心的可能性相同，j＝1,2，...，Q；

步驟1.2.2，基于局部相似度矩陣及近鄰傳播聚類(lèi)的消息傳遞機(jī)制，在軌跡數(shù)據(jù)點(diǎn)間定義兩類(lèi)消息Responsibility和Availability，并將所有點(diǎn)的兩類(lèi)消息分別組成兩個(gè)初始消息矩陣R_Q×Q和A_Q×Q；Responsibility為自數(shù)據(jù)點(diǎn)向候選中心點(diǎn)傳遞的消息，是數(shù)據(jù)點(diǎn)表達(dá)各個(gè)候選中心適合成為其中心的程度的消息，其初始值計(jì)算公式如下：

其中，i代表第i個(gè)軌跡點(diǎn)，其取值為1,2，...，n；k代表作為候選中心點(diǎn)的第k個(gè)軌跡點(diǎn)，其取值為1,2，...，n；k′為除k外的其他候選中心點(diǎn)；R(i，k)為第i點(diǎn)向候選中心點(diǎn)k傳遞的消息，即Responsibility；Sim(i，k)為第i點(diǎn)與第k點(diǎn)的相似度；Sim(i，k′)則為第i點(diǎn)與除第k點(diǎn)外的其他候選中心點(diǎn)間的相似度；

Availability為自候選中心向數(shù)據(jù)點(diǎn)傳遞的消息，是候選中心表達(dá)其對(duì)于成為各點(diǎn)中心的適合程度的消息，其初始值為0；

步驟1.2.3，對(duì)兩類(lèi)消息分別更新如下：

其中，i′代表除第i點(diǎn)和第k點(diǎn)外的其他軌跡點(diǎn)；A(i，k′)為自除第k點(diǎn)外的其他候選中心點(diǎn)向第i點(diǎn)傳遞的消息；R(i′，k)為除第i點(diǎn)外的其他數(shù)據(jù)點(diǎn)i′向候選中心點(diǎn)k傳遞的消息，i′≠i且i′≠k：

步驟1.2.4，為去除來(lái)自其他點(diǎn)的Responsibility過(guò)大的影響，以不同的方式更新A(k，k)如下：

步驟1.2.5，為避免可能出現(xiàn)的數(shù)值振蕩，在更新后為所有新消息增加阻尼如下：

R(i，k)＝(1-λ)R(i，k)+λr_old(i，k)

A(i，k)＝(1-λ)A(i，k)+λa_old(i，k)

其中，λ為阻尼系數(shù)，λ∈(0，1)；r_old(i，k)與a_old(i，k)分別為兩類(lèi)消息在前一次傳遞中的值；

步驟1.2.6，重復(fù)以上步驟1.2.3-1.2.5，至矩陣R與前一次傳遞得到的矩陣R_old相等時(shí)則停止消息傳遞過(guò)程；

步驟1.2.7，將以上步驟所得Responsibility矩陣與Availability矩陣相加得到矩陣E作為聚類(lèi)的依據(jù)如下：

步驟1.2.8，取矩陣E的對(duì)角線元素E(l，l)，若E(l，l))＞0，則對(duì)應(yīng)的軌跡點(diǎn)即被選為聚類(lèi)中心，其他非中心的軌跡點(diǎn)將會(huì)被分配至與其具有最大相似度的聚類(lèi)中心點(diǎn)所代表的類(lèi)中。