[發(fā)明專利]相似文件檢測方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201911399396.0
• 申請日: 2019-12-27
• 公開（公告）號: CN111159115A
• 公開（公告）日: 2020-05-15
• 發(fā)明（設(shè)計(jì)）人: 郭少佳
• 申請（專利權(quán)）人: 深信服科技股份有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06K9/62
• 代理公司: 深圳市世紀(jì)恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 唐文波

1.一種相似文件檢測方法，其特征在于，所述相似文件檢測方法，包括：

對待檢測文件中出現(xiàn)的字符進(jìn)行統(tǒng)計(jì)，獲得各字符的出現(xiàn)頻率；

將各字符的出現(xiàn)頻率作為所述待檢測文件的目標(biāo)文件指紋；

將所述目標(biāo)文件指紋與文件指紋庫中的各文件指紋進(jìn)行對比，獲得所述目標(biāo)文件指紋與各文件指紋的相似度；

將相似度最高的文件指紋作為匹配文件指紋，并將所述目標(biāo)文件指紋與所述匹配文件指紋的相似度作為文件相似度。

2.如權(quán)利要求1所述的相似文件檢測方法，其特征在于，所述將各字符的出現(xiàn)頻率作為所述待檢測文件的目標(biāo)文件指紋之前，所述相似文件檢測方法還包括：

獲取用戶標(biāo)記文件；

獲取所述用戶標(biāo)記文件的各字符，統(tǒng)計(jì)各字符的出現(xiàn)頻率，將各出現(xiàn)頻率上傳至數(shù)據(jù)防泄密分析系統(tǒng)中，生成文件指紋庫。

3.如權(quán)利要求2所述的相似文件檢測方法，其特征在于，所述獲取所述用戶標(biāo)記文件的各字符，統(tǒng)計(jì)各字符的出現(xiàn)頻率，將各出現(xiàn)頻率上傳至數(shù)據(jù)防泄密分析系統(tǒng)中，生成文件指紋庫，包括：

獲取所述用戶標(biāo)記文件的各字符；

將各字符的格式轉(zhuǎn)換為預(yù)設(shè)編碼格式，并統(tǒng)計(jì)轉(zhuǎn)換后各字符在所述用戶標(biāo)記文件中出現(xiàn)的次數(shù)，獲得各字符對應(yīng)的出現(xiàn)頻率；

將所述出現(xiàn)頻率和所述用戶標(biāo)記文件對應(yīng)的文件信息上傳至數(shù)據(jù)防泄密分析系統(tǒng)中，生成文件指紋庫。

4.如權(quán)利要求3所述的相似文件檢測方法，其特征在于，所述對待檢測文件中出現(xiàn)的字符進(jìn)行統(tǒng)計(jì)，獲得各字符的出現(xiàn)頻率；將各字符的出現(xiàn)頻率作為所述待檢測文件的目標(biāo)文件指紋，包括：

獲取待檢測文件對應(yīng)的各目標(biāo)中文字符；

將各目標(biāo)中文字符的格式轉(zhuǎn)換為預(yù)設(shè)編碼格式，并統(tǒng)計(jì)轉(zhuǎn)換后各目標(biāo)中文字符在所述待檢測文件中出現(xiàn)的次數(shù)，獲得各目標(biāo)中文字符對應(yīng)的目標(biāo)出現(xiàn)頻率；

根據(jù)所述目標(biāo)出現(xiàn)頻率生成與所述待檢測文件對應(yīng)的目標(biāo)文件指紋。

5.如權(quán)利要求4所述的相似文件檢測方法，其特征在于，所述將所述目標(biāo)文件指紋與文件指紋庫中的各文件指紋進(jìn)行對比，獲得所述目標(biāo)文件指紋與各文件指紋的相似度，包括：

獲取所述目標(biāo)文件指紋中目標(biāo)出現(xiàn)頻率最高的前K個字符的目標(biāo)集合；

獲取所述文件指紋庫中各文件指紋中出現(xiàn)頻率最高的前K個字符的各樣本集合，K為正整數(shù)；

分別獲取所述目標(biāo)集合和各樣本集合的并集；

獲得各并集中所述目標(biāo)集合和所述各樣本集合的概率分布系數(shù)，根據(jù)各概率分布系數(shù)確定所述目標(biāo)文件指紋與各文件指紋的相似度。

6.如權(quán)利要求5所述的相似文件檢測方法，其特征在于，所述獲得各并集中所述目標(biāo)集合和所述各樣本集合的概率分布系數(shù)，根據(jù)各概率分布系數(shù)確定所述目標(biāo)文件指紋與各文件指紋的相似度，包括：

獲取所述目標(biāo)集合在當(dāng)前并集中的目標(biāo)概率分布系數(shù)，并獲取當(dāng)前樣本集合在所述當(dāng)前并集中的樣本概率分布系數(shù)；

根據(jù)所述目標(biāo)概率分布系數(shù)和所述樣本概率分布系數(shù)確定所述目標(biāo)文件指紋與當(dāng)前文件指紋的相似度；

遍歷各樣本集合，直至獲得所述目標(biāo)文件指紋與各文件指紋的相似度。

7.如權(quán)利要求6所述的相似文件檢測方法，其特征在于，所述根據(jù)所述目標(biāo)概率分布系數(shù)和所述樣本概率分布系數(shù)確定所述目標(biāo)文件指紋與當(dāng)前文件指紋的相似度，包括：

根據(jù)所述目標(biāo)概率分布系數(shù)和所述樣本概率分布系數(shù)利用下述公式計(jì)算獲得所述目標(biāo)文件指紋與當(dāng)前文件指紋的相似度：

其中，similarity為所述目標(biāo)文件指紋與當(dāng)前文件指紋的相似度，p_i為所述目標(biāo)概率分布系數(shù)，q_i為所述樣本概率分布系數(shù)，n為所述當(dāng)前并集中元素的數(shù)量。