[發(fā)明專利]基于對(duì)抗學(xué)習(xí)和語(yǔ)義相似度的社交網(wǎng)絡(luò)跨媒體搜索方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910631327.1
• 申請(qǐng)日: 2019-07-12
• 公開(kāi)（公告）號(hào): CN110502743A
• 公開(kāi)（公告）日: 2019-11-26
• 發(fā)明（設(shè)計(jì)）人: 杜軍平;薛哲;劉翀;周南
• 申請(qǐng)（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27;G06N3/04;G06Q50/00
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明提出了一種基于對(duì)抗學(xué)習(xí)和語(yǔ)義相似度的社交網(wǎng)絡(luò)跨媒體搜索方法，包含文本和圖像的特征提取網(wǎng)絡(luò)、公共語(yǔ)義空間映射網(wǎng)絡(luò)、語(yǔ)義相似度網(wǎng)絡(luò)以及模態(tài)判別網(wǎng)絡(luò)，創(chuàng)新性突出，主要用于社交網(wǎng)絡(luò)跨媒體搜索中。本發(fā)明應(yīng)用在圖像以及文本處理領(lǐng)域，可以處理不同模態(tài)下的跨媒體數(shù)據(jù)，使得跨媒體數(shù)據(jù)之間的檢索高效并且準(zhǔn)確。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理和文本處理的技術(shù)領(lǐng)域，具體涉及到跨媒體數(shù)據(jù)之間的相互檢索，集成多種技術(shù)，如對(duì)抗學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)、語(yǔ)義融合、排序搜索算法等，最終實(shí)現(xiàn)跨媒體數(shù)據(jù)的語(yǔ)義關(guān)聯(lián)以及搜索。

背景技術(shù)

隨著移動(dòng)互聯(lián)網(wǎng)的高速發(fā)展，社交網(wǎng)絡(luò)數(shù)據(jù)信息呈現(xiàn)爆炸式增長(zhǎng)，越來(lái)越多的用戶在各類社交媒體上發(fā)布大量實(shí)時(shí)信息，其中有關(guān)國(guó)民安全的信息顯得尤為重要。在事故災(zāi)害發(fā)生的時(shí)候，能及時(shí)搜索到和災(zāi)害相關(guān)的文本和圖像，能在一定程度上減小災(zāi)害帶來(lái)的損失。微博是社交網(wǎng)絡(luò)重要的組成部分，具有內(nèi)容短小，傳播快，用戶量大等特點(diǎn)。微博數(shù)據(jù)對(duì)于國(guó)民安全相關(guān)熱點(diǎn)事件內(nèi)容具有敏感性，因此具有非常高的研究?jī)r(jià)值。微博數(shù)據(jù)的形式不僅包括文本，還有圖像和視頻，單一媒體數(shù)據(jù)的搜索已經(jīng)不能很好地滿足現(xiàn)有的社交網(wǎng)絡(luò)信息需求，社交網(wǎng)絡(luò)尤其是基于微博的跨媒體信息搜索的需求與日俱增。

近年來(lái)，深度學(xué)習(xí)在文本和圖像領(lǐng)域應(yīng)用十分廣泛，它對(duì)數(shù)據(jù)特征的提取準(zhǔn)確而高效，為跨媒體搜索提供了支持。然而不同模態(tài)之間的數(shù)據(jù)特征分布不同，語(yǔ)義空間不能互通，即包含相同語(yǔ)義內(nèi)容的文本和圖像不能通過(guò)它們所在的語(yǔ)義空間直接建立關(guān)聯(lián)關(guān)系。對(duì)抗學(xué)習(xí)對(duì)于生成一個(gè)新的數(shù)據(jù)分布非常有效，已經(jīng)被廣泛應(yīng)用于文本、圖像、語(yǔ)音的生成。

提出一種基于對(duì)抗學(xué)習(xí)和語(yǔ)義相似度的社交網(wǎng)絡(luò)跨媒體搜索方法(SemanticSimilarity based Adversarial Cross Media Retrieval，SSACR)，對(duì)國(guó)民安全相關(guān)的微博文本以及圖像進(jìn)行搜索，并根據(jù)語(yǔ)義相似度進(jìn)行排序。該方法主要使用對(duì)抗訓(xùn)練的方式訓(xùn)練兩個(gè)神經(jīng)網(wǎng)絡(luò)模型，即特征映射網(wǎng)絡(luò)和模態(tài)判別網(wǎng)絡(luò)。特征映射網(wǎng)絡(luò)作為對(duì)抗學(xué)習(xí)的生成器，分別將來(lái)自文本和圖像的特征映射到同一語(yǔ)義空間中，并使用語(yǔ)義及其相似度來(lái)訓(xùn)練特征映射網(wǎng)絡(luò)，相似度約束能夠減小同語(yǔ)義下不同模態(tài)數(shù)據(jù)的差異。模態(tài)判別網(wǎng)絡(luò)作為對(duì)抗學(xué)習(xí)判別器，用來(lái)區(qū)分映射到同一語(yǔ)義空間中的數(shù)據(jù)的原本模態(tài)，并以數(shù)據(jù)的真實(shí)模態(tài)來(lái)訓(xùn)練模態(tài)判別網(wǎng)絡(luò)。本發(fā)明提出的方法將搜索的文本或圖像經(jīng)過(guò)特征映射網(wǎng)絡(luò)投影到同一語(yǔ)義空間后，根據(jù)和該空間中其他數(shù)據(jù)距離的遠(yuǎn)近來(lái)得到搜索結(jié)果排序。

發(fā)明內(nèi)容

本發(fā)明所提出的基于對(duì)抗學(xué)習(xí)和語(yǔ)義相似度的社交網(wǎng)絡(luò)跨媒體搜索方法(SSACR)包括圖像特征輸入網(wǎng)絡(luò)、文本特征輸入網(wǎng)絡(luò)、特征映射網(wǎng)絡(luò)、語(yǔ)義分布網(wǎng)絡(luò)、語(yǔ)義相似網(wǎng)絡(luò)以及模態(tài)判別網(wǎng)絡(luò)。對(duì)于每一個(gè)圖像-文本-語(yǔ)義三元組，先將圖像和文本的特征進(jìn)行提取，然后分別輸入到圖像特征映射網(wǎng)絡(luò)和文本特征映射網(wǎng)絡(luò)中，語(yǔ)義向量輸入到語(yǔ)義分布網(wǎng)絡(luò)中。語(yǔ)義相似度網(wǎng)絡(luò)對(duì)輸入的語(yǔ)義向量進(jìn)行相似度計(jì)算。特征映射網(wǎng)絡(luò)將圖像和文本特征映射到S中，模態(tài)判別網(wǎng)絡(luò)根據(jù)映射到S數(shù)據(jù)的模態(tài)進(jìn)行判別?？傮w流程如圖1所示。

本發(fā)明提出的SSACR方法在公共語(yǔ)義空間S中得到合適的S_V和S_T，使得它們保持映射前的語(yǔ)義關(guān)系，同時(shí)使得語(yǔ)義相近的不同模態(tài)的數(shù)據(jù)在S中距離較近，相同模態(tài)的不同語(yǔ)義的數(shù)據(jù)在S中距離較遠(yuǎn)。

為達(dá)到上述目的，如圖1所示，本發(fā)明的技術(shù)方案劃分為四個(gè)部分：

1.基于深度卷積網(wǎng)絡(luò)的圖像特征提取；

2.基于TF-IDF的文本特征提?。?/p>

3.基于余弦相似度的跨模態(tài)語(yǔ)義相似度的計(jì)算；

4.基于對(duì)抗網(wǎng)絡(luò)的模態(tài)判別。

本發(fā)明有以下一些技術(shù)特征：