[發(fā)明專(zhuān)利]一種基于隱藏信息學(xué)習(xí)的圖像美學(xué)描述生成方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011609603.3
• 申請(qǐng)日: 2020-12-30
• 公開(kāi)（公告）號(hào): CN112598662A
• 公開(kāi)（公告）日: 2021-04-02
• 發(fā)明（設(shè)計(jì)）人: 俞俊;李相;高飛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州電子科技大學(xué)
• 主分類(lèi)號(hào): G06T7/00
• 分類(lèi)號(hào): G06T7/00;G06K9/62;G06N3/08;G06K9/46;G06F40/30
• 代理公司: 杭州君度專(zhuān)利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于隱藏信息學(xué)習(xí)的圖像美學(xué)描述生成的方法，其特征在于包括如下步驟：

步驟(1)模型預(yù)處理

模型采用預(yù)訓(xùn)練好的目標(biāo)檢測(cè)網(wǎng)絡(luò)Enc_v和Transformer網(wǎng)絡(luò)Enc_t為基準(zhǔn)，目標(biāo)檢測(cè)網(wǎng)絡(luò)Enc_v用于從輸入圖像中提取多尺度圖像特征，Transformer網(wǎng)絡(luò)Enc_t用于從真實(shí)文本評(píng)論中提取多尺度文本特征；

步驟(2)基于對(duì)抗學(xué)習(xí)的跨模態(tài)一致性特征提取

利用對(duì)抗學(xué)習(xí)思想，構(gòu)建特征模態(tài)判別器，將步驟1提取的多尺度圖像特征和多尺度文本特征輸入特征模態(tài)判別器；使得特征模態(tài)判別器輸出的多尺度圖像特征和多尺度文本特征盡可能相似；

步驟(3)生成多因素控制的美學(xué)文本評(píng)論

以美學(xué)因素標(biāo)記作為輔助信息，利用美學(xué)因素編碼器Enc_f提取美學(xué)因素標(biāo)記對(duì)應(yīng)的語(yǔ)義特征，并將該語(yǔ)義特征輸入到評(píng)論解碼器中，生成文本評(píng)論；

步驟(4)基于多任務(wù)約束判別網(wǎng)絡(luò)，實(shí)現(xiàn)多尺度圖像特征和多尺度文本特征的有效性和生成的文本評(píng)論的合理性；

該多任務(wù)約束判別網(wǎng)絡(luò)采用文本質(zhì)量預(yù)測(cè)損失和美學(xué)因素預(yù)測(cè)損失；基于文本質(zhì)量預(yù)測(cè)和美學(xué)因素預(yù)測(cè)以多任務(wù)學(xué)習(xí)形式，對(duì)文本質(zhì)量預(yù)測(cè)損失和美學(xué)因素預(yù)測(cè)損失進(jìn)行加權(quán)求和，用于指導(dǎo)模型的訓(xùn)練；

步驟(5)基于隱藏信息學(xué)習(xí)的對(duì)抗損失

基于隱藏信息學(xué)習(xí)的思想，依據(jù)真實(shí)文本評(píng)論與美學(xué)質(zhì)量之間的相關(guān)性強(qiáng)弱，在對(duì)抗損失函數(shù)中引入可學(xué)習(xí)的松弛因子，指導(dǎo)模型的訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的一種基于隱藏信息學(xué)習(xí)的圖像美學(xué)描述生成的方法，其特征在于所述的步驟(1)所述的模型預(yù)處理，具體實(shí)現(xiàn)如下：

1-1對(duì)目標(biāo)檢測(cè)網(wǎng)絡(luò)Enc_v和Transformer網(wǎng)絡(luò)Enc_t進(jìn)行預(yù)訓(xùn)練，目標(biāo)檢測(cè)網(wǎng)絡(luò)Enc_v通過(guò)大規(guī)模圖像目標(biāo)檢測(cè)數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，Transformer網(wǎng)絡(luò)Enc_t通過(guò)自然語(yǔ)言處理數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練；

1-2將預(yù)訓(xùn)練好的目標(biāo)檢測(cè)網(wǎng)絡(luò)Enc_v和Transformer網(wǎng)絡(luò)Enc_t在美學(xué)質(zhì)量評(píng)價(jià)數(shù)據(jù)集上進(jìn)行微調(diào)，以獲取更好的特征提取能力；在微調(diào)階段采用半監(jiān)督學(xué)習(xí)的形式；在“美學(xué)因素編碼器Enc_f-視覺(jué)編碼器Enc_v-文本解碼器Dec_t-多個(gè)判別網(wǎng)絡(luò)”支路，目標(biāo)檢測(cè)網(wǎng)絡(luò)Enc_v按照標(biāo)準(zhǔn)對(duì)抗生成學(xué)習(xí)思路進(jìn)行學(xué)習(xí)；在“美學(xué)因素編碼器Enc_f-文本編碼器Enc_t-文本解碼器Dec_t-多個(gè)判別網(wǎng)絡(luò)”支路，Transformer網(wǎng)絡(luò)Enc_t采用循環(huán)生成對(duì)抗網(wǎng)絡(luò)的思想，對(duì)文本生成增加重構(gòu)一致性約束；

1-3將輸入圖像輸入到微調(diào)好的目標(biāo)檢測(cè)網(wǎng)絡(luò)Enc_v，用于從中提取多尺度圖像特征；將真實(shí)文本評(píng)論輸入到Transformer網(wǎng)絡(luò)Enc_t，用于從真實(shí)文本評(píng)論中提取多尺度文本特征。

3.根據(jù)權(quán)利要求2所述的一種基于隱藏信息學(xué)習(xí)的圖像美學(xué)描述生成的方法，其特征在于所述的步驟(2)所述的基于對(duì)抗學(xué)習(xí)的跨模態(tài)一致性特征提取，具體實(shí)現(xiàn)如下：

2-1利用對(duì)抗學(xué)習(xí)思想，構(gòu)建特征模態(tài)判別器D_m；D_m需要判斷輸入特征的模態(tài)；將步驟1提取的多尺度圖像特征和多尺度文本特征輸入特征模態(tài)判別器；使得特征模態(tài)判別器輸出的多尺度圖像特征和多尺度文本特征盡可能相似；

2-2所提取的多尺度圖像特征和多尺度文本特征需要精確表征美學(xué)質(zhì)量；因此采用模態(tài)判別損失L_m：

其中，D_m(·)為表示特征的概率函數(shù)，f_v表示多尺度圖像特征，f_t表示多尺度文本特征。