[發明專利]一種插圖人氣評估方法

在審

• 申請號: 202110266966.X
• 申請日: 2021-03-11
• 公開（公告）號: CN113160133A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 楊嘉琛;周艷霜
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

1.一種插圖人氣評估方法，包括下列步驟：

第一步：預處理與構建數據庫

(1)對圖像預處理，獲得圖像瀏覽次數和喜歡次數的數據；

(2)構建數據庫：完成預處理將進行數據庫的構建；

(3)形成分數標簽：每一幅圖像都與“瀏覽”的次數n和“喜歡”的次數m相關聯，事件E被定義為“總共有n個人看了給定的圖像，其中有m個人喜歡它”；E發生的概率是p，用p來衡量圖像的受歡迎程度；將兩個正形狀參數α₀和β₀的beta分布用于建模p的先驗分布，后驗概率貝葉斯定理得出，求得p后乘以100得到每幅圖的分數標簽。

第二步：網絡構建

將預處理后的數據庫圖像輸入CNN網絡，優化器采用Adam優化器，初始學習速率為1e^-4，如果經歷設定訓練輪數之后看不到改善，則學習速率將降低為當前學習速率的1/10；

1)輸入層Input：

將圖像剪裁成圖像塊，在網絡中輸入圖像塊和分數標簽；

2)卷積層Conv1：

采用大小為7*7的卷積核，步長為2，padding＝3的卷積層，得到的特征為256*256*64，卷積Shape運算公式如公式所示：

其中，input_size為輸入圖像的大小，output_size為該層輸出特征圖大小，padding表示補零操作，kernel_size表示卷積核大小，stride表示步長；

采用ReLU函數對卷積層Conv1的輸出進行激活操作；

3)池化層

選用最大池化方式，池化核的大小為3，步長為2，經過池化層后，特征網絡為128*128*64；

4)卷積塊

使用三層卷積形成一個卷積塊，第一層采用大小為1*1的卷積核，步長為1；第二層采用大小為3*3的卷積核，步長為1；第三層采用大小為1*1的卷積核，步長為1；

5)重復步驟4)，總共使用三個卷積塊，輸出大小為128*128*256的特征圖；

6)卷積層Conv2

采用一個核為1，步長為2的Conv2，輸出大小為64*64*256的特征圖；

7)密集連接空洞卷積金字塔

采用將不同膨脹率的空洞卷積特征級聯到一起，形成更密集的特征金字塔，以增大感受野，對于空洞卷積感受野公式：

其中r是膨脹率，x[i,j]和y[i,j]分別表示[i,j]處的輸入和輸出值，w[z,t]表示位置[k,t]處的濾波器參數，而Z是濾波器大小，每一層空洞卷積的濾波器大小分別為256、64；將膨脹率分別為3、6、12、18、24的空洞卷積層級聯在一起最終形成密集連接空洞卷積金字塔，得到大小為64*64*576的特征圖；

8)卷積層Conv3

采用大小為1的卷積核，步長為1，得到大小為64*64*512的特征圖；

9)池化層

采用全局平均池化，最終得到大小為64*64*512的構圖特征圖；

10)全連接層

激活函數為relu，最終得到了512維的構圖特征；

11)GramBlock

分別從CNN網絡的第一層卷積、第三個卷積塊、第二個卷積層和每層空洞卷積后提取特征圖經過8個GramBlock得到圖像的風格特征，GramBlock包含了三層卷積核為3的卷積和一層池化，Gram矩陣用來計算局部特征之間的相關性，兩個Gram矩陣之差的Frobenius范數來表征特征圖的風格相似性，在經過全局平均池化得到32維特征圖，加權特征最終得到256維的風格特征；

12)總特征

將構圖特征與風格特征加權，最終得到768維圖像特征；

13)全連接層

將總特征輸入全連接層，得到大小為1維特征向量；

14)輸出層output層

最終將1維特征向量經過計算，得出圖像的相預測分數值，利用標簽分數和預測分數相似度數值來計算交叉熵損失函數來進行反向傳播更新權重信息，直到得到預期的loss值停止訓練。