[發明專利]一種基于眼動軌跡數據兩步聚類的圖像感興趣區域提取方法和系統

有效

• 申請號: 201811383677.2
• 申請日: 2018-11-20
• 公開（公告）號: CN109255342B
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 陳震中;張瀅雪
• 申請（專利權）人: 武漢大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

本發明提供一種基于眼動數據兩步聚類的圖像感興趣區域提取方法，包括預聚類階段和聚類階段；其中預聚類階段旨在剔除眼動數據中的噪聲點，輸入測試圖片上的多人眼動軌跡點數據，將每兩人的軌跡點數據合并進行聚類，以點層面和類層面的識別標準對噪聲點剔除，保留屬于有效注視過程的眼動軌跡點。聚類階段旨在從有效眼動軌跡點中提取感興趣區域，以所有屬于有效注視過程的眼動軌跡點作為輸入，首先對點進行聚類，其中每一類代表一個感興趣區域，中心代表感興趣區域位置，類內點數則代表區域吸引注意力的多少。本發明通過兩步聚類對多人軌跡點進行分析，所得感興趣區域提取結果更加符合人類視覺注意模式，具有更好的穩定性和抗噪聲干擾能力。

技術領域

本發明涉及眼動數據分析領域，特別涉及一種基于眼動數據兩步聚類的感興趣區域提取方法和系統。

背景技術

眼動儀可用于記錄人眼處理視覺信息時的眼動特征，包括眼球位置、注視時長及注視位置等相關信息，隨著眼動儀硬件及相關軟件的智能化發展，眼動數據廣泛應用于心理學、醫學等學術研究領域和廣告、網頁優化等商業領域。其中，對眼動儀的應用熱點之一在于通過用戶的眼動數據分布特征找到用戶對某一視覺目標的感興趣區域。相應地，根據眼動軌跡數據提取圖像感興趣區域也成為眼動數據分析的研究重點之一。

對眼動數據的分析需首先對原始的文本形式輸出的眼動數據進行讀取和顯示。由于眼動儀以固定的頻率對注視位置進行記錄，人眼在一定時間內對于視覺目標的注視表現為分布在注視區域上的離散點集。因此，視覺目標上包含了較多注視點的位置即代表該區域吸引了較多的視覺注意，可視作觀察者的感興趣區域。

目前，許多現有的圖像感興趣區域提取方法采取手動標注的方式，根據不同的應用場景對感興趣區域進行形狀隨機的框選；或將圖像分割為規則網格，以多個網格單元的組合定義一個感興趣區域。這類方式對于由形狀規則的內容組成的視覺目標較為有效，例如文本、臉部圖像等。而當目標中包含不同形狀、隨機分布的內容時，如自然場景圖像等，人工標注的方式則無法高效地完成感興趣區域提取的任務，尤其是圖像數量較多時，人工標注的方式需要耗費大量時間和人力。

針對以上所述背景及問題，需要一種基于眼動軌跡數據的方法，能夠從眼動儀采集的眼動軌跡數據中自動識別觀察者感興趣區域，且更加符合觀察者的視覺注意行為模式。與上述傳統方法不同，本發明提出的算法基于兩步聚類，對多人眼動軌跡數據進行有效的去噪及聚類，最終以每個眼動數據類代表圖像上觀察者感興趣的區域，即包含較多眼動注視點的區域。

發明內容

本發明的目的在于針對多人眼動軌跡數據，提出一種基于兩步聚類的圖像感興趣區域提取的技術方案。

本發明的技術方案提供一種基于眼動數據兩步聚類的圖像感興趣區域提取方法，包括預聚類階段和聚類階段，

所述預聚類階段進行眼動數據噪聲點的剔除，包含以下步驟：

步驟1.1，讀入測試圖片上多個觀察者產生的眼動軌跡點數據，假設有N個觀察者瀏覽了該測試圖片，則產生N組眼動軌跡點記錄；

步驟1.2，將每兩個觀察者的眼動軌跡點數據合并進行聚類，將其分為若干類；

步驟1.3，基于上述聚類結果中的每個類進行噪聲檢測，并設定點層面及類層面噪聲檢測準則；

步驟1.4，對圖像上每兩個觀察者合并后的眼動軌跡點重復以上步驟1.2-1.3，得到剔除噪聲后的預聚類結果，即屬于有效注視過程的眼動軌跡點；

所述聚類階段進行感興趣區域的提取，包含以下步驟：

步驟2.1，合并所有經過噪聲剔除的屬于有效注視過程的眼動軌跡點為一個點集，

步驟2.2，對合并后的點集進行聚類，經過聚類得到的眼動軌跡點類即可代表圖像感興趣區域，以聚類后每類的中心點代表感興趣區域位置，類中點的數量代表感興趣區域所吸引注意力的多少。