[發明專利]一種跨模態敏感信息識別方法、系統和終端

在審

• 申請號: 202211386761.6
• 申請日: 2022-11-07
• 公開（公告）號: CN115758282A
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 請求不公布姓名
• 申請（專利權）人: 上海蜜度信息技術有限公司
• 主分類號: G06F18/25
• 分類號: G06F18/25;G06F18/241;G06F18/2415;G06F18/15;G06N3/0455;G06N3/047;G06N3/08
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 徐秋平

1.一種跨模態敏感信息識別方法，其特征在于，包括以下步驟：

輸入跨模態的多媒體信息；

提取所述多媒體信息的特征信息；

基于所述多媒體信息的特征信息計算所述多媒體信息包含敏感信息的概率；

基于所述概率獲取敏感信息識別結果。

2.根據權利要求1所述的跨模態敏感信息識別方法，其特征在于，所述跨模態的多媒體信息包括以下模態數據中的任意一種或多種組合：

文本模態數據；

圖像模態數據；

語音模態數據。

3.根據權利要求1所述的跨模態敏感信息識別方法，其特征在于，提取所述多媒體信息的特征信息包括以下步驟：

在輸入文本模態數據時，使用預訓練語言模型獲取所述文本模態數據中的文本特征信息；

對所述文本特征信息進行歸一化，以獲取文本模態特征信息。

4.根據權利要求1所述的跨模態敏感信息識別方法，其特征在于，提取所述多媒體信息的特征信息包括以下步驟：

在輸入圖像模態數據時，使用預訓練視覺模型獲取所述圖像模態數據中的圖像特征信息；

對所述圖像特征信息進行平均池化，以獲取圖像模態特征信息。

5.根據權利要求1所述的跨模態敏感信息識別方法，其特征在于，提取所述多媒體信息的特征信息包括以下步驟：

在輸入語音模態數據時，使用預訓練語音模型獲取所述語音模態數據中的語音特征信息；

對所述語音特征信息進行平均池化，以獲取語音模態特征信息。

6.根據權利要求1所述的跨模態敏感信息識別方法，其特征在于，基于所述多媒體信息的特征信息計算所述多媒體信息包含敏感信息的概率包括以下步驟：

搭建第一全連接層，基于所述第一全連接層對所述多媒體信息的特征信息之和進行處理；

搭建第二全連接層，基于所述第二全連接層對所述多媒體信息的特征信息均值進行處理；

搭建第三全連接層，基于所述第三全連接層拼接處理后的所述多媒體信息的特征信息之和與處理后的所述多媒體信息的特征信息均值，以生成所述多媒體信息包含敏感信息的概率。

7.根據權利要求1所述的跨模態敏感信息識別方法，其特征在于，基于所述概率獲取敏感信息識別結果包括以下步驟：

判斷所述概率與預設概率值的大小關系；

若所述概率小于所述預設概率值，則所述多媒體信息包含非敏感信息；否則包含敏感信息。

8.一種跨模態敏感信息識別系統，其特征在于，包括輸入模塊、模態編碼模塊、概率計算模塊和分類模塊；

所述輸入模塊用于輸入跨模態的多媒體信息；

所述模態編碼模塊用于提取所述多媒體信息的特征信息；

所述概率計算模塊用于基于所述多媒體信息的特征信息計算所述多媒體信息包含敏感信息的概率；

所述分類模塊用于基于所述概率獲取敏感信息識別結果。

9.根據權利要求8所述的跨模態敏感信息識別系統，其特征在于，所述模態編碼模塊包括文本模態編碼器、圖像模態編碼器和語音模態編碼器；

所述文本模態編碼器用于在輸入文本模態數據時，使用預訓練語言模型獲取所述文本模態數據中的文本特征信息；對所述文本特征信息進行歸一化，以獲取文本模態特征信息；

所述圖像模態編碼器用于在輸入圖像模態數據時，使用預訓練視覺模型獲取所述圖像模態數據中的圖像特征信息；對所述圖像特征信息進行平均池化，以獲取圖像模態特征信息；

所述語音模態編碼器用于在輸入語音模態數據時，使用預訓練語音模型獲取所述語音模態數據中的語音特征信息；對所述語音特征信息進行平均池化，以獲取語音模態特征信息。

10.一種跨模態敏感信息識別終端，其特征在于，包括：處理器及存儲器；

所述存儲器用于存儲計算機程序；

所述處理器用于執行所述存儲器存儲的計算機程序，以使所述跨模態敏感信息識別終端執行權利要求1至7中任一項所述的跨模態敏感信息識別方法。