[發(fā)明專利]一種多模態(tài)敏感信息鑒別方法、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210509975.1
• 申請日: 2022-05-11
• 公開（公告）號: CN114782670A
• 公開（公告）日: 2022-07-22
• 發(fā)明（設(shè)計）人: 籍焱;王興;薄滿輝;唐紅武;王殿勝;王仲候;章凡壽
• 申請（專利權(quán)）人: 中航信移動科技有限公司
• 主分類號: G06V10/22
• 分類號: G06V10/22;G06V20/62;G06V10/40;G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京鍾維聯(lián)合知識產(chǎn)權(quán)代理有限公司 11579
• 代理人: 安娜

1.一種多模態(tài)敏感信息鑒別方法，其特征在于，包括：

確定待鑒別的多模態(tài)信息；

確定所述多模態(tài)信息包含的圖像信息對應(yīng)的至少一個ROI；

通過多模態(tài)模型中的FasterRCNN模型提取每一ROI的視覺元素特征，通過所述多模態(tài)模型的圖像編碼層提取所述圖像信息的圖像特征；

根據(jù)所述視覺元素特征和圖像特征確定圖像信息特征序列；=[v_class；v₁V；……；v_NV]+ V^pos，其中，v_class為所述圖像信息的ROI序列，v_x為第x個ROI對應(yīng)的視覺元素特征，N為所述圖像信息包含的ROI數(shù)量，V為所述視覺元素特征和圖像特征的特征矩陣，V^pos為所述圖像信息的位置嵌入矩陣；

通過所述多模態(tài)模型中的BERT模型獲取所述多模態(tài)信息包含的文本信息的單詞嵌入矩陣T和位置嵌入矩陣T^pos，以確定文本信息特征序列；=[t_class；t₁T；……；t_LT]+ T^pos，其中，t_class為所述文本信息經(jīng)過分詞后的單詞序列，t_x為單詞序列中第x個單詞的特征，L為單詞序列包含單詞的數(shù)量；

將圖像信息特征序列、文本信息特征序列分別嵌入到所述多模態(tài)模型對應(yīng)的圖像模態(tài)嵌入向量v^type和文本模態(tài)嵌入向量t^type中，以確定特征組合序列z⁰；z⁰=[+v^type；+v^type]；

通過所述多模態(tài)模型的交互層對所述特征組合序列z⁰進行計算，得到鑒別特征集；

通過所述多模態(tài)模型的分類層對所述鑒別特征集進行計算，得到所述多模態(tài)信息的鑒別結(jié)果；所述鑒別結(jié)果包括：所述圖像信息和文本信息相結(jié)合的鑒別結(jié)果、所述圖像信息的鑒別結(jié)果和所述文本信息的鑒別結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述多模態(tài)模型的分類層包括第一分類層、第二分類層和第三分類層；通過所述多模態(tài)模型的分類層對所述鑒別特征集進行計算，包括：

通過所述第一分類層對所述鑒別特征集進行計算，得到所述圖像信息和文本信息相結(jié)合的鑒別結(jié)果；

通過所述第二分類層對所述鑒別特征集進行計算，得到所述圖像信息的鑒別結(jié)果；

通過所述第三分類層對所述鑒別特征集進行計算，得到所述文本信息的鑒別結(jié)果。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述多模態(tài)模型是根據(jù)敏感信息數(shù)據(jù)集訓(xùn)練得到的，所述敏感信息數(shù)據(jù)集包括圖像信息和文本信息具有相關(guān)性的第一多模態(tài)信息數(shù)據(jù)集、圖像信息和文本信息不具備相關(guān)性的第二多模態(tài)信息數(shù)據(jù)集；所述敏感信息數(shù)據(jù)集中的多模態(tài)信息根據(jù)標簽設(shè)置規(guī)則設(shè)置有分類標簽；所述標簽設(shè)置規(guī)則包括：

根據(jù)各多模態(tài)信息包含的圖像信息和文本信息的敏感分類，為每一圖像信息和文本信息設(shè)置初始標簽，所述初始標簽包括敏感、非敏感、暗示；根據(jù)每一圖像信息和文本信息的初始標簽，為對應(yīng)的各多模態(tài)信息設(shè)置總標簽。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)每一圖像信息和文本信息的初始標簽，為對應(yīng)的各多模態(tài)信息設(shè)置總標簽，包括：

獲取所述第一多模態(tài)信息數(shù)據(jù)集中各多模態(tài)信息包含的圖像信息和文本信息的初始標簽，當圖像信息和文本信息的初始標簽至少有一個為敏感或暗示時，為對應(yīng)的多模態(tài)信息設(shè)置敏感標簽；

獲取所述第二多模態(tài)信息數(shù)據(jù)集中各多模態(tài)信息包含的圖像信息和文本信息的初始標簽，當圖像信息和文本信息的初始標簽至少有一個為敏感，或均為暗示時，為對應(yīng)的多模態(tài)信息設(shè)置敏感標簽。