[發(fā)明專利]一種基于數(shù)據(jù)增強(qiáng)的視覺語義嵌入方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210003468.0
• 申請日: 2022-01-04
• 公開（公告）號: CN114298057A
• 公開（公告）日: 2022-04-08
• 發(fā)明（設(shè)計(jì)）人: 曹建軍;曾志賢;翁年鳳;袁震;江春;丁鯤;蔣國權(quán)
• 申請（專利權(quán)）人: 中國人民解放軍國防科技大學(xué)
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/242;G06N5/04;G06N3/04;G06N3/08
• 代理公司: 江蘇瑞途律師事務(wù)所 32346
• 代理人: 計(jì)璐

本發(fā)明公開了一種基于數(shù)據(jù)增強(qiáng)的視覺語義嵌入方法及系統(tǒng)，屬于深度學(xué)習(xí)技術(shù)領(lǐng)域。利用第一網(wǎng)絡(luò)模型對圖像進(jìn)行目標(biāo)識別選取若干圖像區(qū)域；利用第二網(wǎng)絡(luò)模型提取圖像區(qū)域的細(xì)粒度特征，通過微調(diào)網(wǎng)絡(luò)映射得到圖像在共同嵌入空間的細(xì)粒度表示；進(jìn)行第一語義圖推理并進(jìn)行統(tǒng)一池化操作；利用第一提取模型提取文本上下文相關(guān)的詞向量表示；利用第二提取模型進(jìn)行微調(diào)映射至共同嵌入空間，得到文本在共同嵌入空間中的詞向量表示；進(jìn)行第二語義圖推理并進(jìn)行統(tǒng)一池化操作；對所述第一池化結(jié)果和第二池化結(jié)果進(jìn)行語義對齊，并且在模型的訓(xùn)練中對數(shù)據(jù)進(jìn)行增強(qiáng)。本發(fā)明能夠很好的構(gòu)建模態(tài)內(nèi)語義關(guān)聯(lián)和在共同嵌入子空間中生成統(tǒng)一表征。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種基于數(shù)據(jù)增強(qiáng)的視覺語義嵌入方法及系統(tǒng)。

背景技術(shù)

圖像-文本跨模態(tài)實(shí)體分辨的目的是查找具有相同語義的圖像-文本對。然而，由于圖像和文本是屬于不同模態(tài)的數(shù)據(jù)，這給圖像和文本的語義對齊帶來了巨大的挑戰(zhàn)

圖像文本跨模態(tài)實(shí)體分辨方法可以分為傳統(tǒng)方法和深度學(xué)習(xí)方法。傳統(tǒng)方法一般采用統(tǒng)計(jì)分析的方法，通過統(tǒng)計(jì)分析不同模態(tài)信息的分布情況來學(xué)習(xí)跨模態(tài)數(shù)據(jù)的映射矩陣，實(shí)現(xiàn)語義對齊。其中，最具代表性的方法是典型性相關(guān)分析(Canonical CorrelationAnalysis，CCA)。研究者們提出多種的基于CCA的方法，比如KCCA、Multi-view CCA等。

由于深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性學(xué)習(xí)能力，目前已經(jīng)成為各個領(lǐng)域研究的熱點(diǎn)課題。在基于深度學(xué)習(xí)的圖像-文本跨模態(tài)實(shí)體分辨領(lǐng)域，主要可以分為采用視覺語義嵌入的方法和采用跨模態(tài)交叉注意力機(jī)制的方法。然而，基于跨模態(tài)交叉注意力的方法需要增加跨模態(tài)計(jì)算，這增加了模型的計(jì)算量，降低了模型的應(yīng)用價值。因此，在實(shí)際工程應(yīng)用中，一般都只能采取視覺語義嵌入的方法完成圖像-文本跨模態(tài)實(shí)體分辨任務(wù)?，F(xiàn)有技術(shù)證實(shí)，由于圖像和文本數(shù)據(jù)在高層語義分布上是同構(gòu)的，基于視覺語義嵌入的方法不僅能夠?qū)崿F(xiàn)與基于交叉注意力的方法相近的性能，而且具有較低的計(jì)算復(fù)雜度。

然而，現(xiàn)有的視覺語義嵌入方法存在不能很好的構(gòu)建模態(tài)內(nèi)語義關(guān)聯(lián)或生成統(tǒng)一表征的問題?，F(xiàn)有技術(shù)中，雖然設(shè)計(jì)了極好的池化策略用于生成跨模態(tài)數(shù)據(jù)的全局嵌入表示，實(shí)現(xiàn)較好的性能，但是并未構(gòu)建模態(tài)內(nèi)語義關(guān)聯(lián)，導(dǎo)致細(xì)粒度特征語義增強(qiáng)缺失的問題。此外，現(xiàn)有技術(shù)雖然構(gòu)建了模態(tài)內(nèi)語義關(guān)聯(lián)，但是采用Bi-GRU網(wǎng)絡(luò)或者是一般的特征融合網(wǎng)絡(luò)對細(xì)粒度特征進(jìn)行特征聚合，并不能在共同嵌入空間中生成較好的統(tǒng)一表征。因此，有必要解決現(xiàn)有視覺語義嵌入模型不能較好構(gòu)建模態(tài)內(nèi)語義關(guān)聯(lián)和生成統(tǒng)一表征的問題。

此外，在目前的視覺語義嵌入中采用的視覺語義嵌入模型，因?yàn)槭軘?shù)據(jù)樣本限制等等因素，導(dǎo)致視覺語義嵌入模型的泛化能力較差，使得現(xiàn)有的視覺語義嵌入方法難以很好的構(gòu)建模態(tài)內(nèi)語義關(guān)聯(lián)或生成統(tǒng)一表征。因此，有必要提出一種適用于視覺語義嵌入的數(shù)據(jù)增強(qiáng)方法，提高模型的泛化能力。

發(fā)明內(nèi)容

技術(shù)問題：針對現(xiàn)有的視覺語義嵌入方法難以很好的構(gòu)建模態(tài)內(nèi)語義關(guān)聯(lián)或生成統(tǒng)一表征的問題，本發(fā)明提供一種基于數(shù)據(jù)增強(qiáng)的視覺語義嵌入方法及系統(tǒng)，通過重新構(gòu)建視覺語義嵌入的全過程，并通過數(shù)據(jù)增強(qiáng)提高模型的泛化能力，使得本發(fā)明能夠很好地構(gòu)建模態(tài)內(nèi)語義關(guān)聯(lián)和生成統(tǒng)一表征。

技術(shù)方案：第一方面，本發(fā)明提供一種基于數(shù)據(jù)增強(qiáng)的視覺語義嵌入方法，包括：

接收圖像數(shù)據(jù)和文本數(shù)據(jù)；

利用第一網(wǎng)絡(luò)模型對圖像進(jìn)行目標(biāo)識別，并根據(jù)置信度選取若干圖像區(qū)域；利用第二網(wǎng)絡(luò)模型提取每個所述圖像區(qū)域的細(xì)粒度特征，通過微調(diào)網(wǎng)絡(luò)將所述圖像細(xì)粒度特征映射到共同嵌入空間，得到圖像在共同嵌入空間的細(xì)粒度表示；

根據(jù)所述細(xì)粒度表示進(jìn)行第一語義圖推理，獲得第一推理結(jié)果；

對第一推理結(jié)果進(jìn)行統(tǒng)一池化操作，得到第一池化結(jié)果；