[發(fā)明專利]基于上下文感知的注意力機(jī)制的圖像美學(xué)質(zhì)量評價方法

有效

• 申請?zhí)枺?/td>: 202011057308.1
• 申請日: 2020-09-30
• 公開（公告）號: CN112183645B
• 公開（公告）日: 2022-09-09
• 發(fā)明（設(shè)計）人: 許牧楠;李楠楠;任俞睿;李革
• 申請（專利權(quán)）人: 深圳龍崗智能視聽研究院
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/80;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京京萬通知識產(chǎn)權(quán)代理有限公司 11440
• 代理人: 萬學(xué)堂;魏振華

基于上下文感知的注意力機(jī)制的圖像美學(xué)質(zhì)量評價方法，包括：數(shù)據(jù)預(yù)處理得到初始訓(xùn)練數(shù)據(jù)；將經(jīng)過歸一化的輸入圖像和美學(xué)分?jǐn)?shù)分布標(biāo)簽進(jìn)入主干基準(zhǔn)網(wǎng)絡(luò)，得到主干基準(zhǔn)網(wǎng)絡(luò)的輸出數(shù)據(jù)特征；輸出數(shù)據(jù)特征進(jìn)入層次上下文注意力模塊，經(jīng)過融合后形成圖像的層次上下文表示；初始訓(xùn)練數(shù)據(jù)單獨進(jìn)入空間上下文注意力模塊，形成圖像的空間上下文表示；將空間上下文表示與層次上下文表示融合，生成最終的注意力圖；將最終的注意力圖與主干基準(zhǔn)網(wǎng)絡(luò)的輸出特征相乘，得到主干基準(zhǔn)網(wǎng)絡(luò)的最終輸出特征；最終輸出特征經(jīng)過一層全連接層以及S型激活函數(shù)層，輸出模型模擬的美學(xué)分?jǐn)?shù)分布結(jié)果。本方法考慮了人類審美的主觀性，有效提升了模型的準(zhǔn)確率和效率。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，更具體地涉及一種基于上下文感知的注意力機(jī)制的圖像美學(xué)質(zhì)量評價方法。

背景技術(shù)

相似方法：用于圖像美學(xué)質(zhì)量評價的基于注意力的多補(bǔ)丁融合(Attention-basedMulti-Patch Aggregation for Image Aesthetic Assessment)方法，請參見參考附錄[1]。該方法雖有使用到注意力機(jī)制，但是其是基于多補(bǔ)丁方法對圖像美學(xué)水平進(jìn)行評價，其中注意力機(jī)制用來進(jìn)行多補(bǔ)丁融合，而不是進(jìn)行整張圖像的上下文感知。

圖像美學(xué)質(zhì)量評價方法是利用計算機(jī)模擬人類對于圖像的美學(xué)水平的感受，對圖像的美學(xué)質(zhì)量進(jìn)行打分或者分類。由于審美具有強(qiáng)烈的主觀性，計算機(jī)在對美學(xué)質(zhì)量進(jìn)行評價時具有非常大的挑戰(zhàn)性。在對圖像進(jìn)行美學(xué)質(zhì)量評價的過程中，融合局部信息(例如，細(xì)粒度圖像細(xì)節(jié))以及全局信息(例如，圖像整體布局)是非常重要的。而現(xiàn)有的圖像美學(xué)質(zhì)量評價方式大多采用多個子網(wǎng)絡(luò)來分別學(xué)習(xí)局部和全局信息，這樣的方法假定不同視角的信息之間是彼此分離的，缺少處理全局和局部信息的關(guān)聯(lián)性。而部分其他方法只學(xué)習(xí)一種信息，例如單獨對全局或者局部信息進(jìn)行處理，缺少關(guān)注不同視角信息之間的信息補(bǔ)充。且大部分方法采用二分類準(zhǔn)確度進(jìn)行衡量方法的有效性，對于美學(xué)的主觀缺少關(guān)注。

發(fā)明內(nèi)容

針對現(xiàn)有的質(zhì)量評價方法對于不同視角關(guān)聯(lián)的關(guān)注局限性，且對美學(xué)主觀性缺少關(guān)注的情況下，本發(fā)明人提出一種基于上下文感知的注意力機(jī)制的圖像美學(xué)質(zhì)量評價方法與裝置，以克服現(xiàn)有技術(shù)存在的上述問題和相關(guān)方法的缺陷。

實施本發(fā)明的技術(shù)方案如下：

基于上下文感知注意力機(jī)制的圖像美學(xué)質(zhì)量評價方法，方法包括以下步驟：步驟一：數(shù)據(jù)預(yù)處理：將訓(xùn)練數(shù)據(jù)處理為模型需要的大小和格式，對圖像數(shù)據(jù)進(jìn)行歸一化得到歸一化的輸入圖像以及處理對應(yīng)的美學(xué)分?jǐn)?shù)分布標(biāo)簽來得到初始訓(xùn)練數(shù)據(jù)；步驟二：將經(jīng)過歸一化的輸入圖像以及美學(xué)分?jǐn)?shù)分布標(biāo)簽進(jìn)入主干基準(zhǔn)網(wǎng)絡(luò)，得到主干基準(zhǔn)網(wǎng)絡(luò)的輸出數(shù)據(jù)特征；步驟三：經(jīng)過步驟二得到的輸出數(shù)據(jù)特征進(jìn)入層次上下文注意力模塊，經(jīng)過融合后形成圖像的層次上下文表示；步驟四：步驟一得到的初始訓(xùn)練數(shù)據(jù)單獨進(jìn)入空間上下文注意力模塊，形成圖像的空間上下文表示；步驟五：融合多種上下文：將步驟四得到的空間上下文表示與步驟三得到的層次上下文表示融合，生成最終的注意力圖；步驟六：將最終的注意力圖與步驟二的主干基準(zhǔn)網(wǎng)絡(luò)的輸出特征相乘，得到主干基準(zhǔn)網(wǎng)絡(luò)的最終輸出特征；步驟七：主干基準(zhǔn)網(wǎng)絡(luò)的最終輸出特征經(jīng)過一層全連接層以及S型(Sigmoid)激活函數(shù)層，輸出模型模擬的美學(xué)分?jǐn)?shù)分布結(jié)果。

優(yōu)選的，在上述基于上下文感知注意力機(jī)制的圖像美學(xué)質(zhì)量評價方法中，在步驟七后還包括：步驟八：將模型模擬的美學(xué)分?jǐn)?shù)分布結(jié)果與圖像的真實分?jǐn)?shù)分布進(jìn)行對比，設(shè)計針對美學(xué)分?jǐn)?shù)分布的基于巴氏距離的損失函數(shù)如下：其中y_n代表圖像真實分布，x_n代表輸入圖像，f_θ(·)代表本方法模型；步驟九：按照步驟一至八的順序訓(xùn)練模型，得到圖像美學(xué)質(zhì)量評價模型；步驟十：將待評價的任意圖像調(diào)整為網(wǎng)絡(luò)所需的大小，輸入模型網(wǎng)絡(luò)，得到美學(xué)打分分?jǐn)?shù)分布。