[發明專利]一種基于多視角多特征的圖像印象性預測方法

有效

• 申請號: 201810171247.8
• 申請日: 2018-03-01
• 公開（公告）號: CN108388903B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 楊巨峰;程明明;孫延;梁杰;王愷
• 申請（專利權）人: 南開大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 天津耀達律師事務所 12223
• 代理人: 張耀

本發明公開了一種基于多視角多特征的圖像印象性預測方法，屬于圖像處理技術領域。圖像印象性是一種特殊的圖像屬性。對印象性的預測是為了能夠在短時間內判斷出更符合人類預期的圖片作品進行推薦，降低篩選過程的時間消耗。該方法的設計參考了經典的圖像屬性分析結構，基于心理學理論基礎和視覺圖像分析，總結出六點主要線索，結合多層次的視覺特征對各個主要線索進行建模，最終達到預測印象性的目的。使用該方法對圖像印象性進行檢測，可以更好地模擬人類感知，用來進行更多高級的視覺任務。

技術領域

本發明屬于圖像處理技術領域，特別涉及到一種基于多視角多特征對圖像印象性進行預測的方法。

背景技術

圖像屬性屬于計算機視覺領域中語義相關的問題，是一個具有挑戰性的任務。高級圖像屬性，如記憶性、知名度、興趣度等，可以更好地幫助人類圖片的理解。使許多需要判斷或篩選具有創造性的作品的應用從中受益。因此，對圖像屬性的理解和判斷也收到了越來越多的研究者的關注。

傳統的圖像屬性，一般基于反復多次的人工交互得到正確的標注信息。比如2011年發表于CVPR(8)的論文“What makes an image memorable？”,提出記憶性,該論文設計了記憶性標注系統，將標注圖片分為目標圖像和填充圖像兩部分，標注過程中，系統記錄標注者每次對目標圖像的標注信息，得到最終的標注結果。而填充圖像在標注過程中僅作為出現一次的參與者，不能獲得有效的標注。總得來說，這類標注的獲取過程具有較長的時間消耗性且圖片需求量較大。另外，基于互聯網的點贊數或轉發數獲取標注的屬性，如2014年發表于WWW(10)的論文“What makes an image popular？”提出的知名度與2015年發表于CVPR(11)的論文“Understanding image virality”中提出的傳播度,在時間消耗的基礎上，可能受到名人效應的影響。譬如，同一圖片在知名博主發布的數據中計算得到的標注，與普通賬戶發布的數據計算得到的標注可能產生較大的出入。現存的圖像屬性，雖然已在模擬高級人類認知信息中取得了較小的效果，但仍存在較大的局限性，時間消耗與人類行為給標注信息的獲取帶來了困難和偏差。

另外，在對圖像屬性進行建模的過程中，傳統工作考慮了大量物體認知層面的信息，底層特征如紋理，顏色，場景，中層語義特征如物體數量，物體位置等。考慮到單一的手工特征往往不能很好的擬合高層的圖像感知信息。在圖像屬性預測領域的工作中，對多種特征進行結合可以同時考慮多種細節信息，從而完善對高層感知信息的建模。在這種情況下，2017年發表于AAAI(7)的論文“Fredholmmultiple kernel learning forsemi-supervised domain adaptation”中提出了多核學習方法來整合長度不等的多種特征。相比較直接串聯多種特征，多核學習算法避免了較高維特征代表的信息在整合特征中產生更大的影響。我們的方法在嘗試串聯的基礎上，將多種特征組合作為多核學習算法的輸入，選取最佳的參數組合。另外，2010年發表于ACM MM(10)的論文“Affective imageclassificationusing features inspired by psychology and art theory”提出了情感分析在圖片理解中的重要性。在具有創造性的人類工作中，對圖像的理解不僅僅局限于對物體的認知，還應考慮情感層面上的語義信息。相較于傳統的圖像屬性分析方法中，我們進一步添加了情感因素的考慮。隨著深度網絡在視覺領域中的廣泛運用，我們進一步分析了深度特征下的圖像屬性理解。

上述領域的一些最新成果激發了我們的靈感，也為我們開發基于多視角多特征對圖像印象性進行預測的方法提供了堅實的技術基礎。

發明內容

本發明需要解決的技術問題是輸入一張任意大小的圖片，系統可以自動判斷出圖像印象性的分類結果。

為了實現本發明的目的，我們依靠以下技術方案來實現：

a.用戶輸入任意一張圖片，通過設計好特征提取器高效提取圖片相關的多種特征。