[發(fā)明專利]一種用于美學(xué)質(zhì)量評價的構(gòu)圖表征學(xué)習(xí)方法

有效

• 申請?zhí)枺?/td>: 202010214893.5
• 申請日: 2020-03-24
• 公開（公告）號: CN111507941B
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計）人: 俞俊;高飛;尚梅梅
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種用于美學(xué)質(zhì)量評價的構(gòu)圖表征學(xué)習(xí)方法,其特征在于包括如下步驟：

步驟(1)數(shù)據(jù)預(yù)處理

將所有數(shù)據(jù)集的圖片經(jīng)過調(diào)整尺寸和裁剪的操作縮放到統(tǒng)一大小；

步驟(2)特征提取及全連接圖構(gòu)建

分別對兩個預(yù)訓(xùn)練的Mobilenet-v2進(jìn)行微調(diào)構(gòu)成全局特征提取網(wǎng)絡(luò)和構(gòu)圖特征提取網(wǎng)絡(luò)，分別用來提取全局特征和構(gòu)圖特征；

利用提取出來的構(gòu)圖特征構(gòu)建全連接圖；

所述的微調(diào)是指用指定的訓(xùn)練集對Mobilenet-v2進(jìn)行訓(xùn)練，得到所需參數(shù)的指定網(wǎng)絡(luò)；

步驟(3)全局特征與構(gòu)圖特征相融合

將提取出來的全局特征與構(gòu)圖特征輸入門控單元進(jìn)行特征融合，獲取融合特征；

步驟(4)美學(xué)分?jǐn)?shù)預(yù)測以及準(zhǔn)確率度量

將融合特征輸入美學(xué)評價模塊得到美學(xué)質(zhì)量分?jǐn)?shù)，與數(shù)據(jù)集中原有的人工評分進(jìn)行比較，計算美學(xué)質(zhì)量分?jǐn)?shù)的準(zhǔn)確率；

步驟(1)所述的數(shù)據(jù)預(yù)處理：

1-1AVA數(shù)據(jù)集是一個包含25萬多張圖片的大型美學(xué)數(shù)據(jù)集，我們按照標(biāo)準(zhǔn)數(shù)據(jù)集劃分方法，隨機(jī)取80％的圖片作為訓(xùn)練集，其余20％的數(shù)據(jù)集作為測試集；

1-2對圖片進(jìn)行預(yù)處理時先將圖片縮放到256*256大小，然后對圖片進(jìn)行隨機(jī)裁剪，大小變?yōu)?24*224；

為防止過擬合，對訓(xùn)練集圖片進(jìn)行數(shù)據(jù)增強(qiáng)，所有圖片進(jìn)行隨機(jī)水平翻轉(zhuǎn)；

步驟(2)所述的特征提取及全連接圖構(gòu)建：

2-1分別對兩個預(yù)訓(xùn)練的Mobilenet-v2進(jìn)行微調(diào)構(gòu)成全局特征提取網(wǎng)絡(luò)和構(gòu)圖特征提取網(wǎng)絡(luò)用來進(jìn)行特征提取；

將整張圖片分別輸入全局特征提取網(wǎng)絡(luò)和構(gòu)圖特征提取網(wǎng)絡(luò)，分別得到全局特征F₁和構(gòu)圖特征F₂,F₁,F₂∈R^7×7×1280；

2-2全連接圖的構(gòu)建如下：把構(gòu)圖特征提取網(wǎng)絡(luò)輸出的構(gòu)圖特征F₂中，設(shè)每個位置X_i視為一個節(jié)點，其中i＝1,2…,N；X_i位置對應(yīng)的特征向量為節(jié)點特征；任意節(jié)點特征之間的余弦相似性視為邊；該邊的信息即圖片的構(gòu)圖特征；對全局特征提取網(wǎng)絡(luò)輸出的全局特征F₁進(jìn)行全局池化，得到池化后包含全局信息的全局特征；

所述的全局特征F₁和構(gòu)圖特征F₂均為7*7的矩陣，矩陣中的每個位置作為節(jié)點；

所述的構(gòu)圖特征提取網(wǎng)絡(luò)的輸出的構(gòu)圖特征F₂有N＝W×H個位置，其中W和H的取值均為7；

所述的任意節(jié)點特征之間的余弦相似性的計算如下：

其中，e_i,j代表連接節(jié)點i,j的邊；邊的集合為節(jié)點的集合和邊的集合構(gòu)成全連接圖；

所述的對全局特征F₁進(jìn)行全局池化的實現(xiàn)如下：

所有的節(jié)點特征進(jìn)行平均池化得到全局特征其中，x_i是指全局特征F₁的矩陣中第i個位置的特征。