[發(fā)明專利]一種基于循環(huán)生成式對(duì)抗網(wǎng)絡(luò)的跨模態(tài)檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811455802.6
• 申請(qǐng)日: 2018-11-30
• 公開（公告）號(hào): CN109299342B
• 公開（公告）日: 2021-12-17
• 發(fā)明（設(shè)計(jì)）人: 倪立昊;王騫;鄒勤;李明慧
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06F16/903
• 分類號(hào): G06F16/903;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 齊晨涵;姜學(xué)德

1.一種基于循環(huán)生成式對(duì)抗網(wǎng)絡(luò)的跨模態(tài)檢索方法，其特征在于，包括以下步驟：

設(shè)計(jì)兩個(gè)循環(huán)模塊，其中一個(gè)循環(huán)模塊通過(guò)兩個(gè)生成器實(shí)現(xiàn)從圖像到文本再到圖像的過(guò)程，另外一個(gè)循環(huán)模塊通過(guò)所述兩個(gè)生成器實(shí)現(xiàn)從文本到圖像再到文本的過(guò)程；兩個(gè)循環(huán)模塊共用兩個(gè)具有相同網(wǎng)絡(luò)結(jié)構(gòu)的生成器，且對(duì)生成器中間層的輸出數(shù)據(jù)進(jìn)行了哈希編碼；

在每個(gè)循環(huán)模塊中設(shè)計(jì)判別器，所述判別器對(duì)同模態(tài)的生成數(shù)據(jù)和原始數(shù)據(jù)進(jìn)行分類，并與生成器進(jìn)行動(dòng)態(tài)對(duì)抗，最終生成器和判別器在給定訓(xùn)練條件下達(dá)到動(dòng)態(tài)平衡。

2.根據(jù)權(quán)利要求1所述的基于循環(huán)生成式對(duì)抗網(wǎng)絡(luò)的跨模態(tài)檢索方法，其特征在于：

針對(duì)數(shù)據(jù)流多模態(tài)多類別的特性，在非監(jiān)督條件下采用流形約束來(lái)保證模態(tài)間和類別間的數(shù)據(jù)相似度和差異性；在監(jiān)督條件下由于類別標(biāo)簽給定，因此采用三元組約束來(lái)最小化同類不同模態(tài)間數(shù)據(jù)間的特征距離，最大化既不同類也不同模態(tài)的數(shù)據(jù)間的特征距離。

3.根據(jù)權(quán)利要求2所述的基于循環(huán)生成式對(duì)抗網(wǎng)絡(luò)的跨模態(tài)檢索方法，其特征在于：

所述判別器的損失函數(shù)具體為：

最后生成的同模態(tài)的生成數(shù)據(jù)與原始數(shù)據(jù)相比較來(lái)得到的循環(huán)損失函數(shù)為：

其中i表示第i次計(jì)算的數(shù)據(jù)，總共有n個(gè)訓(xùn)練樣本數(shù)據(jù)，判別器在訓(xùn)練過(guò)程中會(huì)不斷地朝著減小L^disc的方向迭代學(xué)習(xí)，D_img和D_txt分別表示兩個(gè)判別器，(m^ori，t^ori)分別表示原始模態(tài)m和原始模態(tài)t，m^cyc生成模態(tài)m特征，t^cyc生成模態(tài)t特征；θ₁是網(wǎng)絡(luò)的超參數(shù)，||*||₂表示求L2距離。

4.根據(jù)權(quán)利要求3所述的基于循環(huán)生成式對(duì)抗網(wǎng)絡(luò)的跨模態(tài)檢索方法，其特征在于：

設(shè)兩個(gè)生成器的中間層特征向量為m_com和t_com，生成哈希編碼的公式為：

m_hash＝sgn(m_com-0.5)

t _hash＝sgn(t _com-0.5)

其中sgn是閾值函數(shù)，公式的含義是中間層浮點(diǎn)型特征向量中的每一位浮點(diǎn)數(shù)，值大于0.5時(shí)對(duì)應(yīng)的hash碼位設(shè)置為+1，值小于0.5時(shí)對(duì)應(yīng)的hash碼位設(shè)置為-1。

5.根據(jù)權(quán)利要求4所述的基于循環(huán)生成式對(duì)抗網(wǎng)絡(luò)的跨模態(tài)檢索方法，其特征在于：為了量化特征向量和生成的哈希碼間的近似誤差，設(shè)計(jì)了相關(guān)的損失函數(shù)作為約束，具體使用了哈希碼在特征向量條件下的似然函數(shù)，樣本既可以是圖像也可以是文本，第i個(gè)樣本的哈希碼第j位和特征向量第j位則：

其中是特征向量相關(guān)的sigmoid函數(shù)：

進(jìn)一步根據(jù)似然函數(shù)設(shè)計(jì)出損失函數(shù)來(lái)評(píng)估特征向量和生成的哈希碼之間的近似誤差：

其中n為樣本總數(shù)，d_hash為向量位數(shù)。

6.根據(jù)權(quán)利要求5所述的基于循環(huán)生成式對(duì)抗網(wǎng)絡(luò)的跨模態(tài)檢索方法，其特征在于：對(duì)生成器中間層特征向量進(jìn)行類別約束，從而設(shè)計(jì)出類別損失函數(shù)公式為：

其中是第i個(gè)樣本的特征向量經(jīng)過(guò)小型分類網(wǎng)絡(luò)得到的樣本預(yù)測(cè)類別，c_i是該樣本實(shí)際上的類別標(biāo)簽，類別損失函數(shù)實(shí)際上計(jì)算的是兩者間的L2距離；跨模態(tài)的同類數(shù)據(jù)對(duì)進(jìn)行相似性的約束，將訓(xùn)練圖像樣本數(shù)據(jù)與它相似的文本樣本數(shù)據(jù)建立連接，并設(shè)計(jì)出損失函數(shù)對(duì)跨模態(tài)的同類數(shù)據(jù)進(jìn)行約束；損失函數(shù)公式如下：

和分別是生成器G_t→m，G_m→t生成圖像和文本公共子空間的特征向量，損失函數(shù)計(jì)算了語(yǔ)義相似的對(duì)應(yīng)跨模態(tài)數(shù)據(jù)的L2距離；在有監(jiān)督的數(shù)據(jù)訓(xùn)練情況下，由于數(shù)據(jù)都具有類別標(biāo)簽，因此使用三元組約束來(lái)最小化相同語(yǔ)義標(biāo)簽下的跨模態(tài)數(shù)據(jù)向量間的距離，設(shè)計(jì)的三元損失函數(shù)為：

其中m，t分別代表圖像和文本數(shù)據(jù)，α，β代表兩種類別標(biāo)簽，*代表是生成數(shù)據(jù)，i代表第i次計(jì)算用的數(shù)據(jù)；針對(duì)非監(jiān)督的訓(xùn)練情況，設(shè)計(jì)了流形約束來(lái)保證同模態(tài)和跨模態(tài)數(shù)據(jù)中語(yǔ)義相近數(shù)據(jù)的相似度，在計(jì)算出kNN矩陣后，對(duì)要進(jìn)行約束的數(shù)據(jù)建立相似度矩陣，然后在公共子空間對(duì)特征向量進(jìn)行流形約束；設(shè)計(jì)流形約束損失函數(shù)如下：

其中neib，non分別代表鄰近和不鄰近數(shù)據(jù)，其他符號(hào)含義和之前一樣；綜合各種函數(shù)，在有監(jiān)督的數(shù)據(jù)訓(xùn)練情況下生成器損失函數(shù)設(shè)計(jì)為：

在非監(jiān)督的數(shù)據(jù)訓(xùn)練情況下生成器損失函數(shù)設(shè)計(jì)為：

θ₂，θ₃，θ₄，θ₅均為網(wǎng)絡(luò)的權(quán)值超參數(shù)；整個(gè)網(wǎng)絡(luò)使用RMSProp隨機(jī)梯度下降優(yōu)化算法進(jìn)行訓(xùn)練迭代，迭代公式為：

由于實(shí)際過(guò)程中判別器梯度下降較快，設(shè)計(jì)的網(wǎng)絡(luò)每訓(xùn)練迭代S次生成器才迭代一次判別器，并且使用超參數(shù)c^gen，c^disc對(duì)網(wǎng)絡(luò)權(quán)重進(jìn)行修剪，防止網(wǎng)絡(luò)權(quán)重過(guò)大。