[發明專利]一種基于多視角多特征的圖像印象性預測方法

有效

• 申請號: 201810171247.8
• 申請日: 2018-03-01
• 公開（公告）號: CN108388903B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 楊巨峰;程明明;孫延;梁杰;王愷
• 申請（專利權）人: 南開大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 天津耀達律師事務所 12223
• 代理人: 張耀

1.一種基于多視角多特征的圖像印象性預測方法，其特征在于，該方法包含如下步驟：

a.用戶輸入任意一張圖片，系統會輸出該圖片的印象性分類0-1，0代表圖片具有較低的印象性，1代表圖片具有較高的印象性；

b.該方法可以利用底層、中層以及高層的多種特征捕獲圖像的屬性線索，來獲得圖像中豐富的語義信息和細節信息；

c.通過獲得的多層次特征，依次輸入到多核學習算法中，將長度不等的各個特征通過高斯核或多項式核等進行結合，學習適合的權重并得到印象性的分類結果；

步驟a中，圖片印象性與以下六種線索相關：

前景-圖像前景與背景的區分程度；

美學-圖片質量的滿意程度；

對比度-圖像分辨率；

喚起度-圖像的正負情感極性；

場景-圖片的開放性；

稀有度-圖片的罕見性；

通過建模六種不同的線索，來達到最終預測印象性的目的；

步驟b中，沿用經典的圖像屬性的建模策略，利用特征融合的方法對各個線索提取特征，對輸入的待預測圖像，底層特征包含紋理，顏色，場景和梯度，分別對應LBP特征，GCH特征或LCH特征，GIST特征，以及基于詞袋編碼的HOG或SIFT特征，中層特征包含物體和情感語義，通過大規模物體或情感數據集上訓練得到的檢測器，提取到包含物體或情感信息的特征表達，高層特征提取通過深度網絡實現，ImageNet上預訓練的caffe網絡有助于挖掘物體的深度特征表達，采用大型情感數據集對caffe網絡進行微調，達到提取圖像情感的深度特征的目的；

步驟c中，通過高斯核或多項式核，將不同維度的特征映射到同等維度的高位空間，將整合后的特征送入分類器，計算分類損失，迭代優化不同特征在整合中所占的權重。

2.根據權利要求1所敘述的基于多視角多特征對圖像印象性進行預測的方法，其特征在于：設計了一種圖像屬性-印象性，不同于現存的基于反復交互得到真實標簽的屬性，印象性依靠100毫米內的短時間接觸進行判斷。

3.根據權利要求1所敘述的基于多視角多特征對圖像印象性進行預測的方法，其特征在于：通過結合多種層次的特征，充分挖掘圖像中所存在的語義信息。

4.根據權利要求1所敘述的基于多視角多特征對圖像印象性進行預測的方法，其特征在于：通過將多種特征輸入到多核學習算法中，得到加權整合的特征，最終得到印象性的二分類結果。