[發(fā)明專利]一種基于跨模態(tài)協(xié)同推理的圖像美學(xué)質(zhì)量評(píng)價(jià)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011609604.8
• 申請(qǐng)日: 2020-12-30
• 公開(kāi)（公告）號(hào): CN112580636A
• 公開(kāi)（公告）日: 2021-03-30
• 發(fā)明（設(shè)計(jì)）人: 阮杰;高飛
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32;G06K9/46;G06K9/62;G06T7/11
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發(fā)明公開(kāi)了一種基于跨模態(tài)協(xié)同推理的圖像美學(xué)質(zhì)量評(píng)價(jià)的方法。本發(fā)明包括如下步驟：步驟(1)提取多尺度視覺(jué)特征；步驟(2)基于圖網(wǎng)絡(luò)提取視覺(jué)結(jié)構(gòu)特征；步驟(3)提取視覺(jué)聚合特征與文本聚合特征；利用Transformer模型提取多尺度文本特征后，利用協(xié)同注意力模塊對(duì)多尺度視覺(jué)特征和多尺度文本特征進(jìn)行重構(gòu)，挖掘兩者之間的關(guān)聯(lián)關(guān)系，提取視覺(jué)聚合特征與文本聚合特征；步驟(4)多模態(tài)低秩雙線性特征融合以及多任務(wù)美學(xué)質(zhì)量評(píng)價(jià)，將視覺(jué)結(jié)構(gòu)特征與視覺(jué)聚合特征、文本聚合特征進(jìn)行低秩雙線性特征融合，并利用多任務(wù)學(xué)習(xí)思想，提升圖像美學(xué)質(zhì)量評(píng)價(jià)性能。本發(fā)明為探索人類的美學(xué)認(rèn)知機(jī)制，提升美學(xué)評(píng)價(jià)模型的可解釋性，提供了一種有效的技術(shù)路線。

技術(shù)領(lǐng)域

本發(fā)明提到了一種基于跨模態(tài)協(xié)同推理的圖像美學(xué)質(zhì)量評(píng)價(jià)方法(Imageaesthetics quality evaluation method based on cross-modal collaborativereasoning)的新方法，主要涉及一種利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，對(duì)得到的深層特征即構(gòu)圖信息和全局信息進(jìn)行特征融合并且多任務(wù)學(xué)習(xí)的方式，以構(gòu)建一個(gè)與人工評(píng)價(jià)結(jié)果更加一致的更符合圖像美學(xué)評(píng)價(jià)準(zhǔn)則的準(zhǔn)確率較高的圖像美學(xué)質(zhì)量評(píng)價(jià)模型。

背景技術(shù)

圖像美學(xué)質(zhì)量評(píng)價(jià)(Photo Quality Assessment)是基于對(duì)圖像的藝術(shù)理解通過(guò)計(jì)算方式準(zhǔn)確的評(píng)估圖片的美學(xué)質(zhì)量。PQA應(yīng)用空間廣泛，例如最優(yōu)圖像篩選和自動(dòng)搜索相機(jī)設(shè)置。此外，研究人員已在探索利用PQA從美學(xué)角度重構(gòu)和增強(qiáng)圖片。

圖像美學(xué)質(zhì)量具備高度抽象的特點(diǎn)，現(xiàn)有的圖像美學(xué)質(zhì)量評(píng)價(jià)方法通常只利用圖像內(nèi)容信息，基于專家知識(shí)構(gòu)建啟發(fā)式美學(xué)評(píng)價(jià)準(zhǔn)則，限制了模型的可靠性和可解釋性。為了探索圖像美學(xué)的評(píng)價(jià)機(jī)制，一方面需要建立可學(xué)習(xí)的美學(xué)因素(如構(gòu)圖、光影等)描述模型，令算法在學(xué)習(xí)過(guò)程中自動(dòng)擬合相關(guān)的美學(xué)因素，從而在一定程度上克服專家知識(shí)的局限性；另外一方面，則需要利用多模態(tài)的信息，例如用戶對(duì)于圖像的美學(xué)相關(guān)評(píng)論等，挖掘多模態(tài)信息之間的關(guān)聯(lián)關(guān)系，特別是文本評(píng)論與圖像內(nèi)容之間的關(guān)聯(lián)關(guān)系，從而在一定程度上解釋美學(xué)評(píng)價(jià)的機(jī)理。

在圖像美學(xué)質(zhì)量評(píng)價(jià)模型的設(shè)計(jì)中，有兩方面技術(shù)難點(diǎn)。其一為如何設(shè)計(jì)可以描述美學(xué)評(píng)價(jià)準(zhǔn)則的深度網(wǎng)絡(luò)結(jié)構(gòu)：美學(xué)準(zhǔn)則涉及目標(biāo)物個(gè)體、目標(biāo)物之間的關(guān)聯(lián)關(guān)系以及圖像區(qū)域多個(gè)層次。在圖像美學(xué)質(zhì)量評(píng)價(jià)的過(guò)程中，能夠描述多層次、多尺度信息以及相互之間的關(guān)聯(lián)關(guān)系是挖掘美學(xué)準(zhǔn)則的前提與基礎(chǔ)；其二為如何充分學(xué)習(xí)美學(xué)評(píng)價(jià)準(zhǔn)則：能否充分學(xué)習(xí)多尺度、多層次視覺(jué)信息與圖像美學(xué)評(píng)價(jià)之間的映射關(guān)系，決定著模型推理和更新方式，是圖像美學(xué)評(píng)價(jià)模型中最為核心的步驟，是有待解決的關(guān)鍵科學(xué)問(wèn)題之一

發(fā)明內(nèi)容

本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于跨模態(tài)協(xié)同推理的圖像美學(xué)質(zhì)量評(píng)價(jià)的方法。同時(shí)利用圖像內(nèi)容和文本評(píng)論進(jìn)行圖像美學(xué)質(zhì)量評(píng)價(jià)。

本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案包括如下步驟：

步驟(1)提取多尺度視覺(jué)特征

利用目標(biāo)檢測(cè)基準(zhǔn)網(wǎng)絡(luò)檢測(cè)圖像中的目標(biāo)區(qū)域，基于ROI池化提取區(qū)域特征、關(guān)聯(lián)特征、目標(biāo)特征組成多尺度視覺(jué)特征；

步驟(2)基于圖網(wǎng)絡(luò)提取視覺(jué)結(jié)構(gòu)特征

利用圖模型建模圖像結(jié)構(gòu)，進(jìn)而提取視覺(jué)結(jié)構(gòu)特征；

步驟(3)提取視覺(jué)聚合特征與文本聚合特征

利用Transformer模型提取多尺度文本特征后，利用協(xié)同注意力模塊，對(duì)多尺度視覺(jué)特征和多尺度文本特征進(jìn)行重構(gòu)，用于挖掘兩者之間的關(guān)聯(lián)關(guān)系，提取視覺(jué)聚合特征與文本聚合特征；

步驟(4)多模態(tài)低秩雙線性特征融合以及多任務(wù)美學(xué)質(zhì)量評(píng)價(jià)

將視覺(jué)結(jié)構(gòu)特征與聚合后的視覺(jué)特征、文本特征進(jìn)行低秩雙線性特征融合，并利用多任務(wù)學(xué)習(xí)思想，提升圖像美學(xué)質(zhì)量評(píng)價(jià)性能。