[發明專利]一種多模態融合敏感信息分類檢測方法

有效

• 申請號: 202110203458.7
• 申請日: 2021-02-23
• 公開（公告）號: CN113033610B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 張志勇;宋斌;張藍方;梁騰翔;徐艷艷;苗坤霖;趙長偉;黃帥娜;李靜;張孝國
• 申請（專利權）人: 河南科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/764;G06V10/80;G06F16/35;G06F16/55;G06F40/216;G06N20/00
• 代理公司: 洛陽公信知識產權事務所(普通合伙) 41120
• 代理人: 宋晨煒

一種多模態融合敏感信息分類檢測方法，包括步驟1、對文本和圖片進行敏感性初級檢測，步驟2、基于情感對文本敏感性進行判定，步驟3、圖文融合的多模態敏感性檢測，本發明結合文本和圖片兩種模態，檢測和分類敏感信息。需要分別對文本和圖片進行敏感性檢測，結合情感極性和強度對敏感信息的影響，能準確判斷出內容的敏感性。根據合適的融合方法解決圖文敏感問題，具有較高的檢測精度。

技術領域

本發明涉及互聯網技術領域，具體說的是一種多模態融合敏感信息分類檢測方法。

背景技術

全球網民數量眾多，在線社交網絡已經成為信息交互的首選平臺。隨著社交網絡的普及和應用越來越廣泛，社交網絡的信息以圖片、文本、音視頻為載體，呈現多樣化、復雜化、海量化的趨勢，敏感信息大量充斥在社交網絡中，嚴重影響網絡安全和人民身心健康。如何利用人工智能技術高效準確地對敏感信息進行檢測，成為學術界和工業界亟待解決的問題。

現有對敏感信息檢測的研究大都是采用單模態特征進行敏感識別，即所謂的單模態數據分析。例如，H.Watanabe等人的論文《Hate Speech on Twitter:APragmaticApproach to CollectHateful and Offensive Expressions andPerformHate SpeechDetection》，提出了一種用于Twitter的仇恨信息檢測方法，該方法可自動檢測出仇恨的語言模式和最常見的短語組合，并結合情感和語義特征將其進行三分類，分為可恨、令人反感和干凈的推文。LinM等人的論文《Sensitive Information Detection on Cyber-Space》提出了基于迭代的半監督深度學習模型和基于哼唱旋律的搜索模型來檢測異常音視頻信息。Jiang,M.等人的論文《Text classification based on deep beliefnetwork andsoftmaxregression》提出了一種基于深度信念網絡和Softmax回歸的混合文本分類模型。通過引入深度信念網絡解決文本數據的稀疏高維矩陣計算問題，經過DBN 進行特征提取后，使用Softmax回歸在學習特征空間中對文本進行分類。IMade Artha Agastya等人的論文《Convolutional Neural Network for Pornographic Images Classification》，提出了一種基于卷積神經網絡的色情圖片分類。該方法通過更改學習率、算法、完全連接層的結構等，來適應色情圖片的檢測，提高檢測結果的準確率。JoulinA等人的論文《Bag ofTricksfor Efficient Text Classification》，提出了一種快速文本分類器，在準確率方面與深度學習分類器相當，在訓練和評估方面比深度學習分類器快多個數量級。Anthony Hu等人的論文《Multimodal Sentiment Analysis To Explore the Structure ofEmotions》，提出多模態情感分析方法，利用融合技術，結合多模態特征，充分挖掘用戶的情感類型，提高情感分類準確率。

目前在敏感信息檢測方面已取得了一些成果，但還存在以下幾個問題：1) 未考慮到多模態數據特征之間的內部聯系和互補作用。事實上，在敏感信息檢測中，對模態間交互作用的考慮非常必要，信息之間的相互補充可以更加充分理解敏感信息。2)雖然部分考慮了情感因素對文本敏感性檢測的重要性，但是忽略了情感極性和情感強度對文本敏感性判斷的影響。3)忽略了圖片分類問題，圖片違規質檢本質就是圖片分類不同。敏感圖片其敏感特征眾多，特征部分較難提取，如果只進行簡單的敏感和非敏感二分類，準確率會較低。與單模態敏感性方法相比，推文的全局敏感性分析有它獨特的優勢，因此，考慮模態間數據的共同作用對結果的影響更合理準確。

發明內容

為解決上述技術問題，本發明針對在社交網絡中的敏感信息檢測不充分、不準確問題，結合文本和圖片兩種模態，提出一種基于深度學習的多模態融合敏感信息分類檢測方法。

為實現上述技術目的，所采用的技術方案是：一種多模態融合敏感信息分類檢測方法，包括以下步驟：