[發(fā)明專利]一種基于深度學(xué)習(xí)的網(wǎng)絡(luò)新聞配圖匹配性檢測方法

有效

• 申請?zhí)枺?/td>: 201910075520.1
• 申請日: 2019-01-25
• 公開（公告）號: CN109885796B
• 公開（公告）日: 2020-01-03
• 發(fā)明（設(shè)計(jì)）人: 云靜;尚俊峰;劉利民;許志偉
• 申請（專利權(quán)）人: 內(nèi)蒙古工業(yè)大學(xué)
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/583
• 代理公司: 61215 西安智大知識產(chǎn)權(quán)代理事務(wù)所
• 代理人: 段俊濤

1.一種基于深度學(xué)習(xí)的網(wǎng)絡(luò)新聞配圖匹配性檢測方法，其特征在于，包括如下步驟：

步驟1，提取新聞網(wǎng)頁上的配圖與文字內(nèi)容，將提取的文字內(nèi)容形成規(guī)范文檔，規(guī)范文檔指的是符合語言規(guī)范的單句；

步驟2，將提取的圖片輸入到神經(jīng)網(wǎng)絡(luò)模型中，對圖片進(jìn)行物體識別和場景識別，然后利用自然語言模型對圖片中所有物體和場景生成若干相應(yīng)的描述；

步驟3，利用BLEU算法將生成的圖片的多描述與新聞的文字內(nèi)容進(jìn)行比對，從而判斷是否圖片與新聞內(nèi)容匹配；

其中，所述神經(jīng)網(wǎng)絡(luò)模型包括一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，一個(gè)密集定位層，一個(gè)識別網(wǎng)絡(luò)層以及一個(gè)自然語言模型，其物體識別和場景識別過程如下：

步驟2.1，將提取的圖片輸入到卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取并生成特征矩陣；

步驟2.2，將卷積神經(jīng)網(wǎng)絡(luò)提取的特征矩陣再輸入到密集定位層基于多目標(biāo)識別技術(shù)對圖片中的區(qū)域進(jìn)行識別預(yù)測，生成初步的識別區(qū)域稱為候選區(qū)域，數(shù)量為B；

步驟2.3，將候選區(qū)域傳輸?shù)阶R別網(wǎng)絡(luò)層，使用RELU激活函數(shù)和Dropout優(yōu)化原則，將來自密集定位層的每個(gè)候選區(qū)域的特征變換為一個(gè)向量，并將其傳送至識別網(wǎng)絡(luò)的兩個(gè)全連接層，對每一個(gè)候選區(qū)域生成一個(gè)長度為D＝4096的一維向量，將所有一維向量存儲起來，最終生成B個(gè)長度為D的一維向量，組合形成一個(gè)B×D形狀的矩陣；

步驟2.4，將得到的矩陣輸入到基于LSTM的語言模型中，最終生成關(guān)于圖片每一部分的具體描述；

所述BLEU算法中，采用詞頻的對比方法，計(jì)算生成的配圖描述的文字內(nèi)容與新聞的文字內(nèi)容的對比評分，高于設(shè)定閾值即為圖文匹配，低于設(shè)定閾值即為圖文不匹配，所述對比評分的步驟如下：

步驟3.1，進(jìn)行拆分單句比對，獲取BLEU得分

1)計(jì)算各階n-gram的精度

首先計(jì)算各階n-gram在原文中可能出現(xiàn)的最大次數(shù)Count_clip：

Count_clip＝min(Count,Max_Ref_count)

Count是n-gram在生成的圖片描述句子中的出現(xiàn)次數(shù)，Max_Ref_Count是該n-gram在一個(gè)原文句子中最大的出現(xiàn)次數(shù)，最終統(tǒng)計(jì)結(jié)果取兩者中的較小值；

計(jì)算各階n-gram的精度，其中n＝1：

將整個(gè)要處理的將生成圖片描述句子表示為c_i，原文句子表示為S_i＝s_i1,...,s_ij,...,s_im，m表示有m個(gè)參考答案；h_k(c_i)表示w_k生成圖片描述的句子c_i中出現(xiàn)的次數(shù)，h_k(s_ij)表示w_k在原文句子s_ij中出現(xiàn)的次數(shù)，以n-grams表示n個(gè)單詞長度的詞組集合，則w_k為第k個(gè)n-gram，max_j∈mh_k(s_ij)表示某n-gram在多條標(biāo)準(zhǔn)答案中出現(xiàn)最多的次數(shù)，∑_i∑_kmin(h_k(c_i),max_j∈mh_k(s_ij))表示取n-gram在生成描述的句子和原文句子中出現(xiàn)的最小次數(shù)；

2)加權(quán)求和

取權(quán)重：W_n＝1/n

加權(quán)求和：

w_n為n-gram的權(quán)重，P_n指各階n-gram的精度；

3)求BP

l_c表示生成描述單句的長度，l_s表示原文單句的長度；

4)求BLEU得分

步驟3.2，獲得單句描述與新聞的文字內(nèi)容每個(gè)單句的BLEU得分n₁….n_t，將排名前q的單句得分求平均值即為最終單句得分x：

步驟3.3，再依次求其他單句描述的最終得分x1…xt，求最終平均值y：

若y小于設(shè)定閾值即為圖文不匹配。