[發明專利]一種基于自適應遷移學習的圖像記憶度預測方法

在審

• 申請號: 201710147883.2
• 申請日: 2017-03-13
• 公開（公告）號: CN106971200A
• 公開（公告）日: 2017-07-21
• 發明（設計）人: 褚晶輝;顧慧敏;井佩光;蘇育挺
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F17/30
• 代理公司: 天津市北洋有限責任專利代理事務所12201
• 代理人: 杜文茹

1.一種基于自適應遷移學習的圖像記憶度預測方法，其特征在于，包括如下步驟：

1)根據選擇的M類圖像屬性特征，構建M個輔助外部數據庫，其中M＝6；

2)對每個外部數據庫提取相關特征，構成外部特征庫；

3)根據選擇的M類圖像屬性特征，對帶有圖像記憶度標簽的LaMem數據庫進行M類底層特征提取，提取的底層特征構成底層特征庫；

4)將弱分類學習，結合遷移學習的回歸模型和多視角一致性損失三部分放在同一個框架下構成一個整體，采用交替迭代的方法求解，在最優參數下得到圖像底層特征、圖像屬性特征和圖像記憶度的關系；

5)利用在最優參數下得到圖像底層特征、圖像屬性特征和圖像記憶度的關系，預測圖像記憶度并用相關評價標準來驗證預測結果。

2.根據權利要求1所述的一種基于自適應遷移學習的圖像記憶度預測方法，其特征在于，步驟1)所述的M類圖像屬性特征包括：美觀性特征、語義情感特征、人臉特征、晝夜特征、室內室外特征和人工自然特征，每一類特征對應一個外部數據庫。

3.根據權利要求1所述的一種基于自適應遷移學習的圖像記憶度預測方法，其特征在于，步驟2)包括：提取每個輔助外部數據庫的底層特征為其中，D_i代表第i個輔助外部數據庫對應底層特征的維數，N_i代表第i個輔助外部數據庫中所含圖像個數，M個輔助外部數據庫提取的底層特征共同構成外部特征庫A＝{A₁,...,A_M}。

4.根據權利要求1所述的一種基于自適應遷移學習的圖像記憶度預測方法，其特征在于，步驟3)包括：提取LaMem數據庫的每一類底層特征為其中，D_i代表第i類底層特征的維數，N代表數據庫中所含圖像個數，N＝58741，M類底層特征共同構成底層特征庫B＝{B₁,...,B_M}。

5.根據權利要求1所述的一種基于自適應遷移學習的圖像記憶度預測方法，其特征在于，步驟4)所述的將弱分類學習，結合遷移學習的回歸模型和多視角一致性損失三部分放在同一個框架下構成一個整體，包括：對外部特征庫進行弱分類學習，將圖像內容與屬性標簽關聯，得到每一類屬性的屬性探測器H_i；將底層特征庫進行分組，分成訓練集特征庫和測試集特征庫，結合遷移學習的回歸模型的回歸訓練，采用線性回歸的方法對訓練集特征庫進行訓練；將圖像記憶度的預測分為兩方面，一方面是直接利用底層特征來預測圖像記憶度，得到每一類底層特征到圖像記憶度的映射矩陣w_i，另一方面結合遷移學習的回歸模型，利用屬性探測器H_i得到每類圖像屬性特征與圖像記憶度的關系δ_i；將弱分類學習、結合遷移學習的回歸模型和多視角一致性損失三部分放在同一個框架下構成整體目標函數：

其中X_i是訓練集特征庫，S_i是每一個外部數據庫的屬性標簽，y是測試集圖像的記憶度分數，γ，λ和是平衡參數來平衡各部分在目標函數中的作用，參數α，β用來調節底層特征和屬性特征對圖像記憶度的影響，α+β＝1，是正則項，用于防止過擬合，采用交替迭代的方法求解，得到最優參數下的H_i，w_i和δ_i。

6.根據權利要求1所述的一種基于自適應遷移學習的圖像記憶度預測方法，其特征在于，步驟5)所述的相關評價標準是采取如下兩種評估方法：

(1)排序相關評估方法：得到真實記憶度排序和預測記憶度分數排序關系，采用排序相關的斯皮爾曼等級相關系數的標準來衡量兩種排序之間的相關系數，相關系數的取值范圍是-1～1,值越高代表兩種排序越接近：

$RC(r_1,r_2)=1-\frac{6\×{\Σ}_{i=1}^N{(r_{1i}-r_{2i})}^2}{N\×(N^2-1)}$

其中N是圖像個數，r₁中的元素r_1i是第i張圖片在真實結果中排序的位置，r₂中的元素r_2i是第i張圖片在預測結果中排序的位置，RC(r₁,r₂)為相關系數；

(2)R-value：評估預測分數與實際分數間的相關系數便于回歸模型比較，R-value取值范圍是-1～1，其中，1代表正相關，-1代表負相關：

$R-value(s,v)=\frac{{\Σ}_{i=1}^N(v_i-\stackrel{\‾}{v})(s_i-\stackrel{\‾}{s})}{\sqrt{{\Σ}_{i=1}^N{(v_i-\stackrel{\‾}{v})}^2}\sqrt{{\Σ}_{i=1}^N{(s_i-\stackrel{\‾}{s})}^2}}$

其中N是測試集圖像個數，s_i是圖像真實記憶度分數向量，是所有圖像真實記憶度分數的均值；v_i是圖像預測記憶度分數向量，是所有圖像預測記憶度分數的均值，R-value(s,v)是相關系數。