[發明專利]一種基于主動學習的顯著性檢測方法

有效

• 申請號: 201910609780.2
• 申請日: 2019-07-08
• 公開（公告）號: CN110443257B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 張立和;閔一璠
• 申請（專利權）人: 大連理工大學
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/774;G06V10/764;G06V10/26;G06K9/62
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪;侯明遠

1.一種基于主動學習的顯著性檢測方法，其特征在于，步驟如下：

(1)首先，從MSRA數據庫中隨機選取500張圖像加入訓練集L中作為初始訓練集，分別生成所有圖像的區域候選分割，并提取所有區域候選分割的區域CNN特征；

(2)定義區域候選分割的正負樣本，設計一個自信值去衡量樣本相對于真值圖前景和背景的打分，自信值為：該分數提前計算兩個分值A和C，A是準確度分數，C是覆蓋度分數，其中而其中O_i代表第i個樣本的目標候選分割，G代表該圖像的真值圖；其中，ξ是用來平衡準確度分數和覆蓋度分數的權重；在本方法中，設定自信值高于0.9的樣本被認為是正樣本，自信值小于0.6的樣本被確定為負樣本；因為在計算自信值時發現正樣本的個數遠遠小于負樣本的個數，所以使用所有的正樣本，隨機選擇與正樣本數量相同的負樣本；為進行排序支持向量機訓練，將所有正負樣本組成正負樣本對，定義正樣本減負樣本為正樣本對，反之為負樣本對；

利用公式：進行排序支持向量機和子空間學習聯合訓練，訓練得到一個排序器KSR，該排序器對樣本的區域候選分割進行顯著性排序，排名靠前的與前景相似度大；其中w是排序支持向量機的排序系數；式中是邏輯損失函數，a是損失函數參數，e為指數函數；φ(x_i)代表樣本的特征x_i通過核映射后的特征；p是樣本對x_in和x_jn的約束數目；(in,jn)表明樣本對是第n對約束的下標；y_n∈{+1,-1}表示樣本是屬于同一類還是不同類；L∈R^l×d(l＜d)是學習到的映射矩陣，l是初始特征維數，d是映射后的特征維度，μ和λ則代表正則化參數；

利用主動學習挑選訓練樣本；首先利用上述初始化生成的模型對未標記樣本池中所有樣本的目標候選分割進行顯著性排序，由s_i＝w^TPk_i得到排序分數，為簡化聯合訓練的計算引入L＝Pφ^T(X)，其中P∈R^l×N，N是樣本個數，φ^T(X)是核運算，在化簡過程中，引入核函數；利用公式將所有排序分數s_i歸一化，代表排序分數歸一化后分數，s_min代表該圖像排序分數集中最小的排序分數，s_max代表該圖像排序分數集中最大的排序分數；找出所有圖像的目標候選分割的歸一化排序分數在0.4至0.9之間的圖像X_p代表選擇出的目標候選分割組成的集合，X代表該圖像所有的目標候選分割組成的集合；通過公式計算該圖像目標候選分割的排序分數在0.4至0.9之間的個數占所有目標候選分割的比例β，其中card(X)代表該圖像所有的目標候選分割數目，card(X_P)代表集合X_p中的目標候選分割數目；將此排序分數作為每張圖像的不確定值；這樣，得到一個關于所有樣本池中未標記樣本的不確定值集合Β＝{β₁,β₂,…,β_n}，選擇Β＝{β₁,β₂,…,β_n}中高不確定度對應的樣本人工標記后加入訓練集，即通過公式進行每一次選擇，其中μ₀為不確定值集合B的均值，δ是集合B的標準差，λ₀是權重參數，選取λ₀＝1.145；這樣每一次選擇不確定度β大于μ₀+λ₀δ的樣本組成集合Q_uc；對圖像Q_uc應用密度聚類算法，獲得參數ε＝0.05，MinPts的大小設定為2，當圓心鄰域內樣本為2或以上歸為一類；聚類后，獲得高密度的樣本簇C＝{c₁,c₂,…c_n}，和只有1個孤立樣本的簇O＝{o₁,o₂,…o_m}，最終圖像集Q_uc被分成：Q_uc＝{c_i,i＝1,2,...n}∪{o_i,i＝1,2,...m}；通過公式從每一個高密度的簇c_t中選擇其中不確定度最大的樣本U_t，除此之外，還選擇所有孤立樣本加入候選集Q中，此類樣本點可增加訓練模型的泛化能力；最終候選集為Q＝{U_t,t＝1,...n}∪{O_i,i＝1,...m}；樣本集Q代表了每次通過同時考慮不確定性和多樣性設計的選擇模型選擇出的樣本，通過人工標記后加入訓練集L中；

(3)將上述工作選擇的樣本集Q進行人工標記，之后加入到訓練集L中，利用更新后的訓練集L再次訓練一個排序器KSR，之后在驗證集上驗證此次訓練的模型的性能，之后不斷重復步驟(2)，直到模型性能變化較小或性能下降，選擇上一次迭代選擇的訓練集作為最終訓練集，訓練的模型作為最終的訓練模型，由模型對每張測試圖像的區域候選分割進行顯著性排序，選取排名前16位的區域候選分割進行加權融合，得到該圖像的顯著圖M_p；

(4)提出一種在超像素級別上的處理方法，實現優化邊界的目的；首先利用SLIC的超像素分割算法，設定分割的超像素塊數量分別為100、150和200，用來構成圖像i的超像素集SP_i，分別提取每一個超像素塊的CNN特征x_j；將由步驟(3)得到的顯著圖M_p進行二值化作為先驗顯著圖E_i；確定超像素的正負樣本，為了使置信度最高，將超像素中完全位于先驗顯著圖E_i前景區域的超像素構成正樣本集PO_i，將超像素中完全位于先驗顯著圖E_i的背景區域的超像素構成負樣本集N_i；將正負樣本集中的樣本構成正負樣本對，利用公式去自訓練一個關于圖像i的模型KSR_i；對于該模型KSR_i，利用公式s_i＝w^TPk_i對圖像所有的超像素進行打分，將所有的超像素進行排序S＝{s₁,s₂,…s_n}，分數越高越接近前景，反之分數越低越接近背景；利用公式求得超像素中每個像素的得分，并將所有分數歸一化到0-1之間，最后加權融合得到超像素級別合成的顯著圖M_s；最終顯著圖通過公式M＝w₁×M_p+w₂×M_S得到，其中M為最終顯著圖，M_p為原顯著圖，M_s為超像素級顯著圖。