[發(fā)明專(zhuān)利]向量相似度計(jì)算方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111536035.3
• 申請(qǐng)日: 2021-12-15
• 公開(kāi)（公告）號(hào): CN114238329A
• 公開(kāi)（公告）日: 2022-03-25
• 發(fā)明（設(shè)計(jì)）人: 舒暢;陳又新
• 申請(qǐng)（專(zhuān)利權(quán)）人: 平安科技（深圳）有限公司
• 主分類(lèi)號(hào): G06F16/22
• 分類(lèi)號(hào): G06F16/22;G06F16/2455;G06K9/62;G06N20/00
• 代理公司: 廣州嘉權(quán)專(zhuān)利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 廖慧賢

本申請(qǐng)實(shí)施例提出一種向量相似度計(jì)算方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，屬于機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域。其中方法包括：獲取查詢(xún)向量，計(jì)算查詢(xún)向量與預(yù)設(shè)的第一簇心之間的第一距離，根據(jù)第一距離和預(yù)設(shè)第一閾值，從對(duì)應(yīng)第一簇心的第一簇中選取第一查詢(xún)簇，根據(jù)查詢(xún)向量的多個(gè)查詢(xún)子段向量在第一查詢(xún)簇中進(jìn)行向量分段計(jì)算，得到第二距離，根據(jù)第二距離計(jì)算向量相似度值。本實(shí)施例首先篩選得到第一查詢(xún)簇，避免在整個(gè)數(shù)據(jù)庫(kù)中進(jìn)行查詢(xún)，在一定程度上減少查詢(xún)數(shù)據(jù)量，然后在第一查詢(xún)簇中進(jìn)行向量分段計(jì)算，通過(guò)分段查詢(xún)簡(jiǎn)化計(jì)算的過(guò)程，降低計(jì)算復(fù)雜程度，減少計(jì)算成本，能夠高效的計(jì)算向量之間的相似度，適用于數(shù)據(jù)量大或者維度高的復(fù)雜業(yè)務(wù)場(chǎng)景。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種向量相似度計(jì)算方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)時(shí)代的發(fā)展，互聯(lián)網(wǎng)信息數(shù)據(jù)正以極快的速度增長(zhǎng)。由于大數(shù)據(jù)的發(fā)展及人工智能的應(yīng)用，迫切需要發(fā)現(xiàn)大型數(shù)據(jù)集中的數(shù)據(jù)模式，類(lèi)似于數(shù)據(jù)挖掘技術(shù)，使用不同的方式來(lái)分析數(shù)據(jù)集。例如在數(shù)據(jù)庫(kù)中快速且準(zhǔn)確地進(jìn)行向量相似性搜索，相似性搜索的目的是迅速地標(biāo)識(shí)數(shù)據(jù)集中類(lèi)似于特定的查詢(xún)向量的向量。

但是在數(shù)據(jù)庫(kù)中計(jì)算向量之間的相似度，計(jì)算復(fù)雜度會(huì)隨著目標(biāo)數(shù)據(jù)量的增加而線性增加，例如數(shù)據(jù)庫(kù)中有1000萬(wàn)條向量數(shù)據(jù)，現(xiàn)需要計(jì)算數(shù)據(jù)庫(kù)中哪個(gè)向量表示與查詢(xún)向量最相似，此時(shí)的時(shí)間復(fù)雜度為O(N)，即需要把查詢(xún)向量與數(shù)據(jù)庫(kù)中的1000萬(wàn)向量數(shù)據(jù)逐一計(jì)算，即計(jì)算1000萬(wàn)次。此時(shí)如果數(shù)據(jù)庫(kù)中的數(shù)據(jù)增加了1000萬(wàn)，此時(shí)需計(jì)算2000萬(wàn)次，計(jì)算成本非常高，不利于工業(yè)級(jí)的應(yīng)用。相關(guān)技術(shù)中，向量相似度計(jì)算系統(tǒng)主要利用神經(jīng)網(wǎng)絡(luò)算法，該算法的優(yōu)點(diǎn)是計(jì)算精度高，但是缺點(diǎn)是實(shí)時(shí)性差；另一種非神經(jīng)網(wǎng)絡(luò)算法計(jì)算向量相似度，則存在計(jì)算精度低、計(jì)算復(fù)雜度高的問(wèn)題，難以在數(shù)據(jù)量大，維度高的復(fù)雜業(yè)務(wù)場(chǎng)景中使用。

發(fā)明內(nèi)容

以下是對(duì)本文詳細(xì)描述的主題的概述。本概述并非是為了限制權(quán)利要求的保護(hù)范圍。

本申請(qǐng)實(shí)施例提供一種向量相似度計(jì)算方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，能夠降低計(jì)算復(fù)雜程度，減少計(jì)算成本，提高向量相似度的計(jì)算效率。

第一方面，本申請(qǐng)實(shí)施例提供一種向量相似度計(jì)算方法，包括：

獲取查詢(xún)向量；

計(jì)算所述查詢(xún)向量與預(yù)設(shè)的第一簇心之間的第一距離；

根據(jù)所述第一距離和預(yù)設(shè)第一閾值，從對(duì)應(yīng)所述第一簇心的第一簇中選取第一查詢(xún)簇；

根據(jù)所述查詢(xún)向量的多個(gè)查詢(xún)子段向量在所述第一查詢(xún)簇中進(jìn)行向量分段計(jì)算，得到第二距離；

根據(jù)所述第二距離計(jì)算向量相似度值。

在一可選的實(shí)現(xiàn)方式中，所述獲取查詢(xún)向量之前，所述方法還包括：

獲取預(yù)設(shè)的查詢(xún)數(shù)據(jù)庫(kù)；

對(duì)所述查詢(xún)數(shù)據(jù)庫(kù)的數(shù)據(jù)庫(kù)向量進(jìn)行第一聚類(lèi)處理，得到所述第一簇；其中每個(gè)所述第一簇包括一個(gè)第一簇心。

在一可選的實(shí)現(xiàn)方式中，所述根據(jù)所述查詢(xún)向量的多個(gè)查詢(xún)子段向量在所述第一查詢(xún)簇中進(jìn)行向量分段計(jì)算，得到第二距離，包括：

獲取預(yù)分段段數(shù)；

根據(jù)所述預(yù)分段段數(shù)對(duì)所述查詢(xún)向量進(jìn)行分段處理，得到查詢(xún)子段向量，所述查詢(xún)子段向量的數(shù)量與所述預(yù)分段段數(shù)相等；

計(jì)算每個(gè)所述查詢(xún)子段向量與預(yù)設(shè)的第二簇心之間的第二距離。

在一可選的實(shí)現(xiàn)方式中，所述計(jì)算每個(gè)所述查詢(xún)子段向量與預(yù)設(shè)的第二簇心之間的第二距離之前，所述方法還包括獲取預(yù)設(shè)的第二簇心，具體包括：

獲取預(yù)設(shè)的查詢(xún)數(shù)據(jù)庫(kù)；