[發明專利]近似數據處理方法、裝置、介質及電子設備

有效

• 申請號: 202010044200.2
• 申請日: 2020-01-15
• 公開（公告）號: CN111241106B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 馮晨;王健宗;彭俊清
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/28
• 代理公司: 深圳市聯鼎知識產權代理有限公司 44232
• 代理人: 孫強

本公開涉及數據處理領域，揭示了一種近似數據處理方法、裝置、介質及電子設備。該方法包括：獲取待處理數據；獲取對應于待處理數據的向量；利用位置敏感哈希函數族中每一位置敏感哈希函數，對待處理數據的向量進行哈希運算，得到與待處理數據的向量對應的映射值；重復執行第一預定數目次構造覆蓋組的步驟，得到多個覆蓋組，構造覆蓋組的步驟包括基于與待處理數據的向量對應的映射值和對待處理數據的向量進行哈希運算的位置敏感哈希函數，構造覆蓋組；集成多個覆蓋組，得到待處理數據所屬的最終覆蓋，屬于同一最終覆蓋的待處理數據為近似數據。此方法下，避免了處理大量近似數據耗時不穩定的情況，在整體上提高了數據處理效率。

背景技術

目前，在進行數據處理時，對于任意一項數據，為了快速找到與該數據相似的數據，常使用的方案是位置敏感哈希(Locality?sensitive?Hashing，LSH)，它將高維數據映射到低維數據，將相似的數據映射到同一桶內，能夠使在原始數據空間相鄰的兩個數據點在映射后的新的數據空間中相鄰的概率依然很大，而不相鄰的兩個數據點在映射后的新的數據空間中相鄰的概率很小。然而，LSH算法的使用涉及多個超參數的給定。其中包括Hash函數中的隨機數，故映射不同堆的效果與這些隨機數的給定有著很大的關系，當利用基于LSH算法的映射結果來進行后續的數據處理任務時，如果需要處理大量數據，就會對映射結果要求很高，這會造成一定的不穩定性。一方面，若桶內數據量過大，利用LSH算法來提升效率的作用就會大打折扣；另一方面，對于同一套數據，執行數據處理任務所花費的時間會不確定，受堆內數據量大小的影響。

發明內容

在數據處理技術領域，為了解決上述技術問題，本公開的目的在于提供一種近似數據處理方法、裝置、介質及電子設備。

根據本公開的一方面，提供了一種近似數據處理方法，所述方法包括：

獲取多個待處理數據；

獲取對應于所述待處理數據的向量；

利用預設的位置敏感哈希函數族中的每一位置敏感哈希函數，對所述待處理數據的向量進行哈希運算，得到與所述待處理數據的向量對應的映射值，其中，所述預設的位置敏感哈希函數族包括多個位置敏感哈希函數；

重復執行第一預定數目次構造覆蓋組的步驟，得到多個覆蓋組，所述構造覆蓋組的步驟包括基于所述與所述待處理數據的向量對應的映射值和對所述待處理數據的向量進行哈希運算的位置敏感哈希函數，構造覆蓋組，所述覆蓋組包括至少一個覆蓋，每一所述覆蓋包括至少一個所述待處理數據；

集成所述多個覆蓋組，得到每一所述待處理數據所屬的最終覆蓋，其中，屬于同一最終覆蓋的待處理數據為近似數據。

根據本公開的另一方面，提供了一種近似數據處理裝置，所述裝置包括：

第一獲取模塊，被配置為獲取多個待處理數據；

第二獲取模塊，被配置為獲取對應于所述待處理數據的向量；

哈希模塊，被配置為利用預設的位置敏感哈希函數族中的每一位置敏感哈希函數，對所述待處理數據的向量進行哈希運算，得到與所述待處理數據的向量對應的映射值，其中，所述預設的位置敏感哈希函數族包括多個位置敏感哈希函數；

重復執行模塊，被配置為重復執行第一預定數目次構造覆蓋組的步驟，得到多個覆蓋組，所述構造覆蓋組的步驟包括基于所述與所述待處理數據的向量對應的映射值和對所述待處理數據的向量進行哈希運算的位置敏感哈希函數，構造覆蓋組，所述覆蓋組包括至少一個覆蓋，每一所述覆蓋包括至少一個所述待處理數據；

集成模塊，被配置為集成所述多個覆蓋組，得到每一所述待處理數據所屬的最終覆蓋，其中，屬于同一最終覆蓋的待處理數據為近似數據。

根據本公開的另一方面，提供了一種計算機可讀程序介質，其存儲有計算機程序指令，當所述計算機程序指令被計算機執行時，使計算機執行如前所述的方法。