[發明專利]基于生物啟發性表征學習的顯著性檢測方法及系統

有效

• 申請號: 201910380958.0
• 申請日: 2019-05-08
• 公開（公告）號: CN110287981B
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 黃舉;寧海龍;劉康;吳思遠;李西杰
• 申請（專利權）人: 中國科學院西安光學精密機械研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 西安智邦專利商標代理有限公司 61211
• 代理人: 汪海艷

1.基于生物啟發性表征學習的顯著性檢測方法，其特征在于，包括以下步驟：

步驟1、劃分訓練樣本集、驗證樣本集和測試樣本集；

分別在現有多個圖像數據庫中選取圖片作為原始數據集，所述原始數據集包括訓練樣本集、驗證樣本集及測試樣本集；所述訓練樣本集和驗證樣本集均包括原始圖片及與原始圖片對應的真實視覺注意力圖；所述測試樣本集包括原始圖片、與原始圖片對應的真實視覺注意力圖及離散真實視覺注意點圖；

步驟2、分別對訓練圖片及驗證圖片提取影響視覺注意力的高水平語義特征和低水平對比度特征；

(2a)、輸入訓練樣本集中的訓練圖片及驗證樣本集中的驗證圖片；

(2b)、通過改進的VGG16提取輸入圖片的高水平語義特征{F₃,F₄,F₅}；

(2c)、通過對比度特征提取模塊在深度網絡中提取輸入圖片的低水平對比度特征{F₁,F₂}；

步驟3、通過密集連接模塊融合輸入圖片的高水平語義和低水平對比度特征，該輸入圖片包括訓練圖片及驗證圖片，根據下式得到對應的特征表征G_j；

其中，代表resize-convolution操作，和分別是j-1和j-2次resize-convolution和reduction-attention操作的級聯運算，和分別是F_i和F_J經過和之后的激活結果，表示從第i個分支到第j個分支之間短連接的權重；

步驟4、根據得到的輸入圖片的特征表征G_j，以對應的真實視覺注意力圖為監督信息，利用加權融合層生成最終的視覺注意力預測圖；所述視覺注意力預測圖包括驗證樣本集上的視覺注意力預測圖及訓練樣本集上的視覺注意力預測圖；

步驟5、將獲得的驗證樣本集上的視覺注意力預測圖和與原始圖片對應的真實視覺注意力圖之間的KL散度作為是否停止訓練模型的性能驗證指標；

當性能驗證指標開始下降或者訓練輪數達到設定次數時，停止訓練，進入步驟6；否則，返回步驟2，繼續訓練；

步驟6、向訓練好的模型中輸入測試圖片，得到對應的視覺注意力圖，并統計實驗結果，計算相關指標分數。

2.根據權利要求1所述的基于生物啟發性表征學習的顯著性檢測方法，其特征在于，步驟(2b)中所述改進的VGG16為：包含原始VGG16網絡中的前四個卷積塊和第五個卷積塊中的所有卷積層，同時，第四個卷積塊中的池化層步幅被設置為1，第五個卷積塊中使用空洞尺寸大小為2的擴張卷積核來保持和原始VGG16網絡相同的感受野。

3.根據權利要求2所述的基于生物啟發性表征學習的顯著性檢測方法，其特征在于，步驟(2c)具體為：首先，輸入的低水平特征被在所有通道上以平均方式被壓縮為單個通道得到特征強度圖；其次，采用五個不同標準差的高斯核對得到特征強度圖進行處理得到5個通道的高斯金字塔特征；第三，對高斯金字塔特征的每個通道和原始輸入的低水平特征的每個通道進行逐像素作差來計算殘差特征；第四，通過對這些殘差特征每個像素值作平方得到平方殘差特征；最后，對平方殘差特征和高斯金字塔特征進行自適應融合來獲得最終的低水平對比度特征{F₁,F₂}。

4.根據權利要求1所述的基于生物啟發性表征學習的顯著性檢測方法，其特征在于：練樣本集和驗證樣本集中的圖片樣本采集自SALICON數據集；測試樣本集中的圖片樣本采集自MIT1003、OSIE、TORONTO和PASCAL-S數據集。

5.根據權利要求1所述的基于生物啟發性表征學習的顯著性檢測方法，其特征在于：設定次數為100次。

6.一種基于生物啟發性表征學習的顯著性檢測系統，包括處理器及存儲器，其特征在于：所述存儲器中存儲計算機程序，計算機程序在處理器中運行時，執行權利要求1至5任一所述的方法。

7.一種計算機可讀存儲介質，其特征在于：儲存有計算機程序，計算機程序被執行時實現權利要求1至5任一所述的方法。