[發明專利]一種基于眼動追蹤的目標跟蹤方法、系統及存儲介質

有效

• 申請號: 202110498486.6
• 申請日: 2021-05-08
• 公開（公告）號: CN113255476B
• 公開（公告）日: 2023-05-19
• 發明（設計）人: 彭進業;鄧樂玲;趙萬青;李斌;彭先霖;胡琦瑤;張曉丹;王珺
• 申請（專利權）人: 西北大學
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06V40/19;G06V10/764
• 代理公司: 西安恒泰知識產權代理事務所 61216
• 代理人: 史玫

1.一種基于眼動追蹤的目標檢測方法，其特征在于，該方法包括以下步驟：

步驟1，采集同一人的人眼區域視頻流I_t和人眼所能看到的前景視頻流G_t；

步驟2，采用瞳孔中心檢測方法識別人眼區域視頻流I_t中每一幀的瞳孔中心坐標；

步驟3，采用YOLO目標檢測方法獲取人眼所能看到的前景視頻流G_t中每一幀的目標檢測信息，每一幀的目標檢測信息包括該幀中的所有目標、各目標的預測位置坐標、各目標的預測位置中心點、各目標的預測類別和各目標屬于預測類別的置信度；

步驟4，將步驟2所得每一幀瞳孔中心坐標映射至前景視頻流中，得到每一幀瞳孔中心坐標在前景視頻流中的中心視覺區域，每一幀瞳孔中心坐標在前景視頻流中的中心視覺區域包括中心點坐標和中心視覺區域半徑，其中，采用水平垂直方向注視跟蹤算法計算每一幀中心視覺區域的中心點坐標，中心視覺區域半徑采用式(1)計算；

式(1)中：

R為任一幀的中心視覺區域的半徑；

pr°為人眼中央凹視覺范圍；

x_t為所述任一幀的瞳孔中心的水平坐標，y_t為所述任一幀的瞳孔中心的垂直坐標；

X_t為所述任一幀的中心視覺區域中心點的水平坐標，Y_t為所述任一幀的中心視覺區域中心點的垂直坐標；

α為拍攝前景視頻流G_t的第一攝像頭水平分辨率與拍攝人眼區域視頻流I_t的第二攝像頭水平分辨率的比值；ω為拍攝前景視頻流G_t的第一攝像頭垂直分辨率與拍攝人眼區域視頻流I_t的第二攝像頭垂直分辨率的比值；

Dis為第一攝像頭與第二攝像頭之間的像素距離；

步驟5，計算人眼所能看到的前景視頻流G_t中每一幀中各目標的判斷因子，將每一幀中判斷因子最大的目標作為人眼感興趣目標；其中G_t中任一幀任一目標的判斷因子DBIOU采用式(2)計算；

DBIOU＝DIOU+β*CF?(2)

式(2)中：

IOU為該任一目標的位置坐標與該任一目標所在幀對應的中心視覺區域的交并比；

ρ為b^fv與H_G'(X_t,Y_t)之間的歐式距離，b^fv為該任一目標的預測位置的中心點，H_G'(X_t,Y_t)為該任一幀的中心視覺區域的中心點坐標，X_t為所述任一幀的中心視覺區域中心點的水平坐標，Y_t為所述任一幀的中心視覺區域中心點的垂直坐標；

q為同時包含該任一目標預測位置和該任一目標所在幀對應的中心視覺區域的最小閉包區域的對角距離；

β為參數，取值范圍為：0.2-0.4；

CF為該任一目標屬于預測類別的置信度。

2.如權利要求1所述的基于眼動追蹤的目標檢測方法，其特征在于，步驟2中首先采用金字塔LK光流法對人眼區域視頻流I_t中相鄰幀的眼部運動狀態進行估計后再進行瞳孔中心檢測，對于處于眼顫狀態幀和眨眼狀態幀直接沿用各自上一幀的瞳孔中心坐標。

3.如權利要求1所述的基于眼動追蹤的目標檢測方法，其特征在于，步驟3中采用YOLOV4目標檢測方法獲取人眼所能看到的前景視頻流G_t中每一幀的目標檢測信息。

4.如權利要求1所述的基于眼動追蹤的目標檢測方法，其特征在于，步驟3中采用感知哈希算法對前景視頻流G_t的每一幀進行處理，生成每一幀的指紋字符串，之后比較相鄰幀的指紋字符串信息，對于指紋字符串信息相似的幀，直接沿用上一幀的目標檢測信息。

5.如權利要求1所述的基于眼動追蹤的目標檢測方法，其特征在于，pr°＝5°。