[發明專利]一種基于隱藏信息學習的圖像美學描述生成方法

在審

• 申請號: 202011609603.3
• 申請日: 2020-12-30
• 公開（公告）號: CN112598662A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 俞俊;李相;高飛
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06N3/08;G06K9/46;G06F40/30
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種基于隱藏信息學習的圖像美學描述生成的方法。本發明步驟如下：(1)模型預處理。采用目標檢測網絡Enc_v和Transformer網絡Enc_t分別從圖像和文本評論中提取多尺度特征表達；(2)基于對抗學習的跨模態一致性特征提取。利用對抗學習思想，構建特征模態判別器；(3)多因素控制的美學評論生成。以美學因素標記作為輔助信息，利用美學因素編碼器Enc_f提取美學因素標記對應的語義特征，并將該語義特征輸入到評論解碼器中，生成文本評論；(4)基于多任務約束判別網絡，實現多尺度圖像特征和多尺度文本特征的有效性和生成的文本評論的合理性；(5)基于隱藏信息學習的對抗損失。本發明生成文本與輸入圖像的美學質量相匹配，從而提升模型的魯棒性和精確性。

技術領域

本發明提出了一種基于隱藏信息學習的圖像美學描述生成的方法，主要涉及一種生成對抗學習框架，針對標記數據規模小、噪聲大的問題，利用隱藏信息學習(LearningUsing Privilidged Information,LUPI)的思想，對噪聲數據進行可信度估計，作為對抗損失函數的松弛項，提升模型訓練效率和性能。

背景技術

圖像美學質量評價(Photo QualityAssessment)是基于對圖像的藝術理解通過計算方式準確的評估圖片的美學質量。相關研究任務大致可以分為五類，即質量二分類(專業/業余，美/丑，好/壞)、質量分數預測(如利用0-10分的分數描述美觀程度)、質量分數分布預測(同一幅圖像，不同觀測者主觀標記分數的概率分布)、美學因素預測(構圖、光影、配色等各個因素的優劣等級)和美學描述(對圖像美學進行文字評論，論述圖像為什么好/壞)。當前關于圖像美學質量的研究主要集中在前三類任務，對應的美學數據庫標記數據質量高、規模大。相比之下，美學因素預測和美學描述對于圖像美學的理解意義重大，但相關研究還處于起步階段，而且標記數據質量低、規模少，難以滿足大規模深度網絡對訓練樣本的需求。

現有的絕大部分方法只基于圖像提取特征，且集中在美學質量的分類或分數預測任務。近年來，出現了少量工作研究圖像美學因素分析及文本評論/描述生成問題。例如，Chang等人利用卷積神經網絡與長短時記憶網絡，并構建美學因素引導及混合機制，進行圖像美學描述，不過對于生成文本缺少可靠的指導。文本評論信息對于理解圖像美學機理意義重大。然而，現有圖像美學評論數據噪聲大、數據量小，難以滿足深度網絡的訓練需求。因此，如何利用有限、有噪聲數據學習文本與圖像之間的關聯關系，探索圖像美學質量評價的因果推理機制，是目前的研究熱點及難點。

在圖像美學描述方法中，存在兩方面技術難點。其一為小樣本下的模型學習問題，考慮到現有的圖像描述模型對于大規模標準樣本的需求，如何設計有效的學習策略，基于小樣本進行訓練；同時，標記樣本中存在大量噪聲，現有對抗學習中的判別機制對真實樣本與生成樣本進行硬性劃分，必然會引入錯誤信息，如何設計一種非對稱聯合學習方法，獲取有效信息并避免引入噪聲信息。

發明內容

本發明的目的是針對現有技術的不足，提供一種基于隱藏信息學習的圖像美學描述生成的方法。

本發明解決其技術問題所采用的技術方案包括如下步驟：

步驟(1)模型預處理

模型采用預訓練好的目標檢測網絡Enc_v和Transformer網絡Enc_t為基準，目標檢測網絡Enc_v用于從輸入圖像中提取多尺度圖像特征，Transformer網絡Enc_t用于從真實文本評論中提取多尺度文本特征。

步驟(2)基于對抗學習的跨模態一致性特征提取

利用對抗學習思想，構建特征模態判別器，將步驟1提取的多尺度圖像特征和多尺度文本特征輸入特征模態判別器。使得特征模態判別器輸出的多尺度圖像特征和多尺度文本特征盡可能相似。

步驟(3)生成多因素控制的美學文本評論