[發(fā)明專利]一種面向海量數(shù)據(jù)相似度檢測的指紋高速緩存方法

有效

• 申請?zhí)枺?/td>: 202011342650.6
• 申請日: 2020-11-25
• 公開（公告）號: CN112329717B
• 公開（公告）日: 2023-08-01
• 發(fā)明（設計）人: 付松齡;丁滟;黃辰林
• 申請（專利權(quán)）人: 中國人民解放軍國防科技大學;湖南師范大學
• 主分類號: G06V40/12
• 分類號: G06V40/12;G06V10/74;G06V10/762;G06F16/2455
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 胡君

1.一種面向海量數(shù)據(jù)相似度檢測的指紋高速緩存方法，其特征在于，步驟包括：

步驟S01.兩級緩存配置：配置兩級緩存并初始化為空，其中一級緩存用于緩存上層指紋、二級緩存用于緩存下層指紋，所述下層指紋包括將數(shù)據(jù)指紋聚類形成的多個指紋簇，所述上層指紋包括各所述指紋簇的聚類中心；

步驟S02.相似度檢測：當接收到新數(shù)據(jù)指紋時，將接收到的第1個新數(shù)據(jù)指紋加入一級緩存中，直接作為第一個聚類的中心，對于第2個以及之后接收到的新數(shù)據(jù)指紋，從所述一級緩存中查找與新數(shù)據(jù)指紋距離在指定范圍內(nèi)的目的聚類中心，并從各目的聚類中心中查找與所述新數(shù)據(jù)指紋距離最近的聚類中心以及最近的數(shù)據(jù)指紋，得到最近聚類中心以及最近指紋；根據(jù)所述新數(shù)據(jù)指紋與所述最近指紋之間的距離判斷是否存在與所述新數(shù)據(jù)指紋相似的指紋，如果判斷為不存在轉(zhuǎn)入步驟S03；

步驟S03.指紋緩存：根據(jù)所述新數(shù)據(jù)指紋與所述最近聚類中心之間的距離，將新數(shù)據(jù)指紋作為新的聚類中心緩存至所述一級緩存中，或?qū)⑿聰?shù)據(jù)指紋緩存至所述二級緩存中對應所述最近聚類中心的指紋簇中；

所述步驟S02中，具體查找與新數(shù)據(jù)指紋距離小于R+T的所有聚類中心，得到所述目的聚類中心，其中R為聚類半徑，T為用于判定兩個數(shù)據(jù)指紋之間是否相似的距離閾值，若新數(shù)據(jù)指紋與所有聚類中心之間的距離d_i均滿足d_iR+T，則判定為不存在所述相似的指紋，所述步驟S03中將新數(shù)據(jù)指紋作為新的聚類中心緩存至所述一級緩存中；

所述步驟S02的具體步驟包括：

步驟S201.接收新數(shù)據(jù)指紋f_new，計算新數(shù)據(jù)指紋f_new與所述一級緩存中每個聚類中心C_i之間的距離d_i；

步驟S202.獲取步驟S201計算得到的距離d_i中小于R+T的所有聚類中心，其中R為聚類半徑，T為用于判定兩個數(shù)據(jù)指紋之間是否相似的距離閾值，得到所有目的聚類中心，若所有的距離d_i均滿足d_iR+T，則轉(zhuǎn)入步驟S03以將新數(shù)據(jù)指紋f_new作為新的聚類中心緩存至所述一級緩存中；

步驟S203.分別計算新數(shù)據(jù)指紋f_new與各目的聚類中心之間的距離，查找出與新數(shù)據(jù)指紋f_new距離最近的聚類中心，得到所述最近聚類中心C_j，并分別計算新數(shù)據(jù)指紋f_new與各目的聚類中心中所有數(shù)據(jù)指紋之間的距離，查找到與新數(shù)據(jù)指紋f_new距離最近的數(shù)據(jù)指紋，得到最近指紋；判斷新數(shù)據(jù)指紋f_new與所述最近指紋之間的距離d_min2大小，若d_min2T轉(zhuǎn)入步驟S03，否則返回步驟S201以接收新數(shù)據(jù)指紋進行緩存。

2.根據(jù)權(quán)利要求1所述的面向海量數(shù)據(jù)相似度檢測的指紋高速緩存方法，其特征在于，所述步驟S02中，若新數(shù)據(jù)指紋與所述最近指紋之間的距離d_min2滿足d_min2T，判斷為不存在所述相似的指紋，否則判斷為存在所述相似的指紋。

3.根據(jù)權(quán)利要求1所述的面向海量數(shù)據(jù)相似度檢測的指紋高速緩存方法，其特征在于，所述步驟S03中，具體若新數(shù)據(jù)指紋與所述最近聚類中心之間的距離d_min1滿足d_min1R，R為聚類半徑，則將新數(shù)據(jù)指紋作為新的聚類中心緩存至所述一級緩存中，否則將新數(shù)據(jù)指紋緩存至所述二級緩存中對應所述最近聚類中心的指紋簇中。

4.根據(jù)權(quán)利要求1～3中任意一項所述的面向海量數(shù)據(jù)相似度檢測的指紋高速緩存方法，其特征在于：聚類半徑R與距離閾值T配置為滿足R2T。