[發明專利]一種基于深度學習的網絡新聞配圖匹配性檢測方法

有效

• 申請號: 201910075520.1
• 申請日: 2019-01-25
• 公開（公告）號: CN109885796B
• 公開（公告）日: 2020-01-03
• 發明（設計）人: 云靜;尚俊峰;劉利民;許志偉
• 申請（專利權）人: 內蒙古工業大學
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/583
• 代理公司: 61215 西安智大知識產權代理事務所
• 代理人: 段俊濤

1.一種基于深度學習的網絡新聞配圖匹配性檢測方法，其特征在于，包括如下步驟：

步驟1，提取新聞網頁上的配圖與文字內容，將提取的文字內容形成規范文檔，規范文檔指的是符合語言規范的單句；

步驟2，將提取的圖片輸入到神經網絡模型中，對圖片進行物體識別和場景識別，然后利用自然語言模型對圖片中所有物體和場景生成若干相應的描述；

步驟3，利用BLEU算法將生成的圖片的多描述與新聞的文字內容進行比對，從而判斷是否圖片與新聞內容匹配；

其中，所述神經網絡模型包括一個卷積神經網絡，一個密集定位層，一個識別網絡層以及一個自然語言模型，其物體識別和場景識別過程如下：

步驟2.1，將提取的圖片輸入到卷積神經網絡進行特征提取并生成特征矩陣；

步驟2.2，將卷積神經網絡提取的特征矩陣再輸入到密集定位層基于多目標識別技術對圖片中的區域進行識別預測，生成初步的識別區域稱為候選區域，數量為B；

步驟2.3，將候選區域傳輸到識別網絡層，使用RELU激活函數和Dropout優化原則，將來自密集定位層的每個候選區域的特征變換為一個向量，并將其傳送至識別網絡的兩個全連接層，對每一個候選區域生成一個長度為D＝4096的一維向量，將所有一維向量存儲起來，最終生成B個長度為D的一維向量，組合形成一個B×D形狀的矩陣；

步驟2.4，將得到的矩陣輸入到基于LSTM的語言模型中，最終生成關于圖片每一部分的具體描述；

所述BLEU算法中，采用詞頻的對比方法，計算生成的配圖描述的文字內容與新聞的文字內容的對比評分，高于設定閾值即為圖文匹配，低于設定閾值即為圖文不匹配，所述對比評分的步驟如下：

步驟3.1，進行拆分單句比對，獲取BLEU得分

1)計算各階n-gram的精度

首先計算各階n-gram在原文中可能出現的最大次數Count_clip：

Count_clip＝min(Count,Max_Ref_count)

Count是n-gram在生成的圖片描述句子中的出現次數，Max_Ref_Count是該n-gram在一個原文句子中最大的出現次數，最終統計結果取兩者中的較小值；

計算各階n-gram的精度，其中n＝1：

將整個要處理的將生成圖片描述句子表示為c_i，原文句子表示為S_i＝s_i1,...,s_ij,...,s_im，m表示有m個參考答案；h_k(c_i)表示w_k生成圖片描述的句子c_i中出現的次數，h_k(s_ij)表示w_k在原文句子s_ij中出現的次數，以n-grams表示n個單詞長度的詞組集合，則w_k為第k個n-gram，max_j∈mh_k(s_ij)表示某n-gram在多條標準答案中出現最多的次數，∑_i∑_kmin(h_k(c_i),max_j∈mh_k(s_ij))表示取n-gram在生成描述的句子和原文句子中出現的最小次數；

2)加權求和

取權重：W_n＝1/n

加權求和：

w_n為n-gram的權重，P_n指各階n-gram的精度；

3)求BP

l_c表示生成描述單句的長度，l_s表示原文單句的長度；

4)求BLEU得分

步驟3.2，獲得單句描述與新聞的文字內容每個單句的BLEU得分n₁….n_t，將排名前q的單句得分求平均值即為最終單句得分x：

步驟3.3，再依次求其他單句描述的最終得分x1…xt，求最終平均值y：

若y小于設定閾值即為圖文不匹配。