[發明專利]基于由粗到細的LSTM模型的圖像掃描路徑控制方法

有效

• 申請號: 202010097514.9
• 申請日: 2020-02-17
• 公開（公告）號: CN111461974B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 張靜;呂錦成;劉婧
• 申請（專利權）人: 天津大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/0442;G06V10/80;G06V10/82;G06N3/0464
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種基于由粗到細的LSTM模型的圖像掃描路徑控制方法，其特征在于，所述方法包括：

1)使用多任務CNN進行圖像的特征圖提取和顯著性圖輸出；

2)將得到的顯著性圖和特征圖在通道層面拼接，然后將拼接后的聯合特征圖輸入到粗糙的CNN和LSTM網絡中，生成粗略的連續掃描點信息序列；

3)根據粗略的連續掃描點信息序列生成注意力圖序列，在不同的時間步上與聯合特征圖在通道層面拼接，形成時間敏感的聯合特征圖；

4)將顯著性圖與時間敏感的聯合特征圖在通道層面拼接，將拼接后的聯合特征圖輸入到精細的CNN和LSTM網絡中，以此生成連續掃描點信息序列；訓練并測試整個模型，預測出圖像的掃描路徑。

2.根據權利要求1所述的一種基于由粗到細的LSTM模型的圖像掃描路徑控制方法，其特征在于，所述注意力圖序列具體為：

提取粗略掃描點序列中的掃描坐標點序列；生成空白圖像序列，每張圖像A_i在對應坐標點s_i上像素值為255；

對每張圖像A_i采取高斯模糊操作，得到注意力圖序列。

3.根據權利要求1所述的一種基于由粗到細的LSTM模型的圖像掃描路徑控制方法，其特征在于，所述粗糙的、精細的CNN和LSTM網絡具體為：

CNN和LSTM網絡主要由兩層的CNN、拉伸層、一個全連接層、三個LSTM網絡和一個全連接層組成：兩層卷積層的卷積濾波器大小都是3*3，通道數依次為32和8；拉伸層用于將特征圖拉伸為特征向量；拉伸層后的全連接層用于改變特征向量長度等同于LSTM網絡的單元數，便于后面輸入；三個LSTM網絡單元數都為100，輸入與輸出的維度都為T。

4.根據權利要求3所述的一種基于由粗到細的LSTM模型的圖像掃描路徑控制方法，其特征在于，

所述輸入到粗糙的LSTM網絡的是相同的特征向量，輸入精細的T步特征向量每一步是不同的。

5.根據權利要求3所述的一種基于由粗到細的LSTM模型的圖像掃描路徑控制方法，其特征在于，所述訓練并測試整個模型，預測出圖像的掃描路徑具體為：

訓練多任務CNN使用原圖作為輸入數據，顯著性圖作為訓練輸入標簽；

訓練粗糙的CNN和LSTM網絡使用拼接顯著性圖和特征圖后的聯合特征圖作為輸入數據，掃描點信息序列作為訓練輸入標簽；

訓練精細的CNN和LSTM網絡使用拼接顯著性圖、注意力圖和特征圖后的時間敏感的聯合特征圖作為輸入數據，掃描點信息序列作為訓練輸入標簽。