[發明專利]資源數據的檢索方法、裝置、電子設備及存儲介質

在審

• 申請號: 202211238792.7
• 申請日: 2022-10-11
• 公開（公告）號: CN115794809A
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 吳蔚;劉理;余晉;臧成杰;劉凌志
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 王天慶

本公開涉及資源數據的檢索方法、裝置、電子設備及存儲介質。所述方法包括：獲取資源數據的初始第一向量以及多個量化后的第二向量；其中，所述量化后的第二向量為利用預設的正交矩陣對數據集中的初始第二向量進行特征處理，以及利用縮放因子對特征處理后的第二向量進行量化處理得到，所述特征處理后的第二向量的均勻分布程度高于所述初始第二向量的均勻分布程度；利用所述正交矩陣對所述初始第一向量進行特征處理，得到第一向量；分別計算所述第一向量與多個所述量化后的第二向量的相似度，確定相似度最高的預設數量的量化后的第二向量，并將所述預設數量的量化后的第二向量對應的資源數據作為檢索結果。本公開實施例的檢索準確率較高。

技術領域

本公開涉及互聯網技術領域，尤其涉及資源數據的檢索方法、裝置、電子設備及存儲介質。

背景技術

隨著互聯網技術的發展，出現了資源數據檢索技術，應用例如短視頻資源、圖片資源或文章資源等。近似近鄰向量檢索(Approximately Nearest Neighbor Search，簡稱ANNS)方法是一種較為廣泛的檢索方法，具體為給定一個待推薦或待檢索的特征向量，從已有的數據庫中查找到與該特征向量最相似的若干的特征向量，作為查找結果。然而，當用戶數據量較大時，將導致內存占用高，查找速度慢。

相關技術中，采用ANNS+量化的方法，具體為利用縮放因子，將特征向量的浮點數格式轉換為整數格式，從而降低內存的占用以及提高檢索速度。然而，由于浮點數格式的表示范圍往往大于整數格式的表示范圍，因此，在量化的過程中，若選擇的縮放因子過大，將會導致有較多數量的特征向量丟失；若選擇的縮放因子過小，特征向量中較小的元素將會出現較大的信息損失。因此，相關技術中的ANNS+量化的方法，準確率不高。

發明內容

本公開提供資源數據的檢索方法、裝置、電子設備及存儲介質，以至少解決相關技術中檢索準確率不高的問題。本公開的技術方案如下：

根據本公開實施例的第一方面，提供一種資源數據的檢索方法，包括：

獲取資源數據的初始第一向量以及多個量化后的第二向量；其中，所述量化后的第二向量為利用預設的正交矩陣對數據集中的初始第二向量進行特征處理，以及利用縮放因子對特征處理后的第二向量進行量化處理得到，所述特征處理后的第二向量的均勻分布程度高于所述初始第二向量的均勻分布程度；

利用所述正交矩陣對所述初始第一向量進行特征處理得到特征處理后的第一向量，對所述特征處理后的第一向量進行量化處理，得到第一向量；

分別計算所述第一向量與多個所述量化后的第二向量的相似度，確定相似度最高的預設數量的量化后的第二向量，并將所述預設數量的量化后的第二向量對應的資源數據作為檢索結果。

在一種可能的實現方式中，所述正交矩陣的獲得方式包括：

獲取初始正交矩陣以及多個所述初始第二向量；

利用所述初始正交矩陣分別對多個所述初始第二向量進行特征處理，得到多個特征處理后的第二向量；

構建映射函數，所述映射函數包括，在所述特征處理后的第二向量的元素超出第一邊界值的情況下，將所述元素的值設置為所述第一邊界值，其中，所述第一邊界值被設置為多個所述特征處理后的第二向量中元素絕對值的均值的倍數；

將滿足所述映射函數與多個所述特征處理后的第二向量距離最小的初始正交矩陣，作為所述正交矩陣。

在一種可能的實現方式中，所述縮放因子的獲得方式包括：

利用初始縮放因子乘以所述特征處理后的第二向量后，對得到的乘積進行取整處理，得到量化后的第一中間第二向量；

利用所述第一中間第二向量除以所述初始縮放因子，得到解量化的第二向量；