[發明專利]基于由粗到細的LSTM模型的圖像掃描路徑控制方法

有效

• 申請號: 202010097514.9
• 申請日: 2020-02-17
• 公開（公告）號: CN111461974B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 張靜;呂錦成;劉婧
• 申請（專利權）人: 天津大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/0442;G06V10/80;G06V10/82;G06N3/0464
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種基于由粗到細的LSTM模型的圖像掃描路徑控制方法，包括：1)使用多任務CNN進行圖像的特征圖提取和顯著性圖輸出；2)將得到的顯著性圖和特征圖在通道層面拼接，然后將拼接后的聯合特征圖輸入到粗糙的CNN和LSTM網絡中，生成粗略的連續掃描點信息序列；3)根據粗略的連續掃描點信息序列生成注意力圖序列，在不同的時間步上與聯合特征圖在通道層面拼接，形成時間敏感的聯合特征圖；4)將顯著性圖與時間敏感的聯合特征圖在通道層面拼接，將拼接后的聯合特征圖輸入到精細的CNN和LSTM網絡中，以此生成連續掃描點信息序列；訓練并測試整個模型，預測出圖像的掃描路徑。

技術領域

本發明涉及圖像掃描路徑領域，尤其涉及一種基于由粗到細的LSTM(Long?Short-Term?Memory，長短期記憶)模型的圖像掃描路徑控制方法。

背景技術

視覺注意力是一種使視覺處理資源集中在行為相關的視覺信息上的機制。存在兩種視覺注意力：一種涉及眼球運動，另一種則不涉及眼球運動。現有大多數與視覺注意力有關的研究活動都是對涉及眼球運動的注意力的理解和建模。揭示觀察者在場景中的位置和方式的眼球運動是此類研究的關鍵因素。眼球運動由注視和掃視組成，視覺信息提取基本上發生在注視期間。注視序列被稱為視覺掃描路徑(visual?scanpath)。傳統視覺注視的研究往往只關注單一視覺注視的機械組合，而忽略不同視覺注視轉移到何處、以什么順序排列以及在給定圖像的情況下每個位置停留多長時間，即忽略視覺掃描路徑的研究。

目前圖像掃描路徑預測研究主要使用傳統的高階馬爾可夫過程和條件概率分布圖進行模擬生成，但這種研究思路不僅假設掃描是獨立的事件而未考慮掃描可能受先前的掃描影響而且忽略了掃描點的停滯時間的預測。

隨著深度學習的迅速發展特別是LSTM網絡的出現，實現了更精準和大規模的時序活動的預測，也讓充分模擬人眼的圖像掃描路徑成為可能。

發明內容

本發明提供了一種基于由粗到細的LSTM模型的圖像掃描路徑控制方法，本發明實現了對人眼觀測圖像時掃描路徑的控制，詳見下文描述：

一種基于由粗到細的LSTM模型的圖像掃描路徑控制方法，所述方法包括：

1)使用多任務CNN進行圖像的特征圖提取和顯著性圖輸出；

2)將得到的顯著性圖和特征圖在通道層面拼接，然后將拼接后的聯合特征圖輸入到粗糙的CNN和LSTM網絡中，生成粗略的連續掃描點信息序列；

3)根據粗略的連續掃描點信息序列生成注意力圖序列，在不同的時間步上與聯合特征圖在通道層面拼接，形成時間敏感的聯合特征圖；

4)將顯著性圖與時間敏感的聯合特征圖在通道層面拼接，將拼接后的聯合特征圖輸入到精細的CNN和LSTM網絡中，以此生成連續掃描點信息序列；訓練并測試整個模型，預測出圖像的掃描路徑。

其中，所述注意力圖序列具體為：

提取粗略掃描點序列中的掃描坐標點序列；生成空白圖像序列，每張圖像A_i在對應坐標點s_i上像素值為255；

對每張圖像A_i采取高斯模糊操作，得到注意力圖序列。

進一步地，所述粗糙的、精細的CNN和LSTM網絡具體為：

CNN和LSTM網絡主要由兩層的CNN、拉伸層、一個全連接層、三個LSTM網絡和一個全連接層組成：兩層卷積層的卷積濾波器大小都是3*3，通道數依次為32和8；拉伸層用于將特征圖拉伸為特征向量；拉伸層后的全連接層用于改變特征向量長度等同于LSTM網絡的單元數，便于后面輸入；三個LSTM網絡單元數都為100，輸入與輸出的維度都為T；

其中，所述輸入到粗糙的LSTM網絡的是相同的特征向量，輸入精細的T步特征向量每一步是不同的。