[發(fā)明專利]一種用戶自生產(chǎn)內容檢測方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810164771.2
• 申請日: 2018-02-27
• 公開（公告）號: CN110019812B
• 公開（公告）日: 2021-08-20
• 發(fā)明（設計）人: 曹娟;金志威;上官建峰;張勇東;李錦濤
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/30;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 北京律誠同業(yè)知識產(chǎn)權代理有限公司 11006
• 代理人: 祁建國;梁揮

1.一種用戶自生產(chǎn)內容檢測方法，其特征在于，包括：

步驟1、獲取社交媒體中用戶自生產(chǎn)內容的文本內容、圖像內容和社交屬性，并從該文本內容中抽取詞向量特征，從該社交屬性中抽取社交屬性特征以及從該圖像內容中抽取圖像特征；

步驟2、通過遞歸神經(jīng)網(wǎng)絡融合該詞向量特征和該社交屬性特征，得到文本、社交融合特征；

步驟3、根據(jù)該遞歸神經(jīng)網(wǎng)絡得到注意力向量，并通過注意力機制將該圖像特征處理為注意力融合特征，將該注意力融合特征與該文本、社交融合特征相融合，生成多模態(tài)融合特征；

步驟4、利用該多模態(tài)融合特征訓練分類器，以檢測該社交媒體中的用戶自生產(chǎn)內容；

其中該步驟2包括：

步驟21、將詞向量特征和其相對應的社交屬性特征相聯(lián)結，得到融合特征，將該融合特征輸入至遞歸神經(jīng)網(wǎng)絡中各遞歸層，并將各遞歸層輸出的向量經(jīng)過聚合求平均后，得到該文本、社交融合特征；

該步驟3包括：

步驟31、將該遞歸神經(jīng)網(wǎng)絡中各遞歸層輸出的向量輸入至全連接層，得到與該圖像特征相同維度的向量，作為該注意力向量；

步驟32、以該注意力向量為權值，對該圖像特征的每一維度進行加權求和處理，得到注意力值；

步驟33、聯(lián)結該注意力值，得到該注意力融合特征。

2.如權利要求1所述的用戶自生產(chǎn)內容檢測方法，其特征在于，該步驟1包括：

步驟11、將該文本內容進行分詞處理，得到多個單詞，針對每個單詞利用詞向量嵌入模型得到對應的向量表示，并將該向量表示集合為該詞向量特征；

步驟12、將組織為向量形式的該社交屬性輸入至全連接層，以生成與該詞向量特征維度相等的該社交屬性特征；

步驟13、將該圖像內容輸入至卷積神經(jīng)網(wǎng)絡，并對抽取出的特征進行降維處理，得到該圖像特征。

3.如權利要求1所述的用戶自生產(chǎn)內容檢測方法，其特征在于，該步驟4還包括：使用該多模態(tài)特征和標注的指定用戶自生產(chǎn)內容數(shù)據(jù)，訓練得到該分類器，將待檢測的用戶自生產(chǎn)內容的多模態(tài)特征輸入該分類器，以檢測該社交媒體中的用戶自生產(chǎn)內容。

4.一種用戶自生產(chǎn)內容檢測系統(tǒng)，其特征在于，包括：

特征抽取模塊，用于獲取社交媒體中用戶自生產(chǎn)內容的文本內容、圖像內容和社交屬性，并從該文本內容中抽取詞向量特征，從該社交屬性中抽取社交屬性特征以及從該圖像內容中抽取圖像特征；

特征融合模塊，用于通過遞歸神經(jīng)網(wǎng)絡融合該詞向量特征和該社交屬性特征，得到文本、社交融合特征，根據(jù)該遞歸神經(jīng)網(wǎng)絡得到注意力向量，并通過注意力機制將該圖像特征處理為注意力融合特征，將該注意力融合特征與該文本、社交融合特征相融合，生成多模態(tài)融合特征；

訓練模塊，用于利用該多模態(tài)融合特征訓練分類器，以檢測該社交媒體中的用戶自生產(chǎn)內容；

其中該特征融合模塊包括：

將詞向量特征和其相對應的社交屬性特征相聯(lián)結，得到融合特征，將該融合特征輸入至遞歸神經(jīng)網(wǎng)絡中各遞歸層，并將各遞歸層輸出的向量經(jīng)過聚合求平均后，得到該文本、社交融合特征；

該特征融合模塊包括：

將該遞歸神經(jīng)網(wǎng)絡中各遞歸層輸出的向量輸入至全連接層，得到與該圖像特征相同維度的向量，作為該注意力向量；

以該注意力向量為權值，對該圖像特征的每一維度進行加權求和處理，得到注意力值；

聯(lián)結該注意力值，得到該注意力融合特征。

5.如權利要求4所述的用戶自生產(chǎn)內容檢測系統(tǒng)，其特征在于，該特征抽取模塊包括：

將該文本內容進行分詞處理，得到多個單詞，針對每個單詞利用詞向量嵌入模型得到對應的向量表示，并將該向量表示集合為該詞向量特征；

將組織為向量形式的該社交屬性輸入至全連接層，以生成與該詞向量特征維度相等的該社交屬性特征；

將該圖像內容輸入至卷積神經(jīng)網(wǎng)絡，并對抽取出的特征進行降維處理，得到該圖像特征。

6.如權利要求4所述的用戶自生產(chǎn)內容檢測系統(tǒng)，其特征在于，該訓練模塊還包括：使用該多模態(tài)特征和標注的指定用戶自生產(chǎn)內容數(shù)據(jù)，訓練得到該分類器，將待檢測的用戶自生產(chǎn)內容的多模態(tài)特征輸入該分類器，以檢測該社交媒體中的用戶自生產(chǎn)內容。