[發(fā)明專利]向量數(shù)據(jù)處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010849765.8
• 申請(qǐng)日: 2020-08-21
• 公開（公告）號(hào): CN114077690A
• 公開（公告）日: 2022-02-22
• 發(fā)明（設(shè)計(jì)）人: 宋炳輝
• 申請(qǐng)（專利權(quán)）人: 浙江宇視科技有限公司
• 主分類號(hào): G06F16/901
• 分類號(hào): G06F16/901;G06F16/903
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本申請(qǐng)實(shí)施例公開了一種向量數(shù)據(jù)處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。該方法包括：確定隨機(jī)存取存儲(chǔ)器中存儲(chǔ)的向量數(shù)據(jù)簇和特征分類索引的占用空間；若所述占用空間達(dá)到隨機(jī)存取存儲(chǔ)器的預(yù)設(shè)容量閾值，則從所述向量數(shù)據(jù)簇中選取預(yù)設(shè)數(shù)量的目標(biāo)向量數(shù)據(jù)簇；其中，預(yù)設(shè)數(shù)量的目標(biāo)向量數(shù)據(jù)簇占用空間小于所述預(yù)設(shè)容量閾值；若檢測(cè)到目標(biāo)向量數(shù)據(jù)簇的轉(zhuǎn)移觸發(fā)事件，則將所述目標(biāo)向量數(shù)據(jù)簇轉(zhuǎn)移至只讀存儲(chǔ)器中。上述方案能夠是隨機(jī)存取存儲(chǔ)器滿足對(duì)向量數(shù)據(jù)簇和特征分類索引的存儲(chǔ)要求，并且使隨機(jī)存取存儲(chǔ)器能夠有效地發(fā)揮優(yōu)勢(shì)，根據(jù)存儲(chǔ)的數(shù)據(jù)實(shí)現(xiàn)快速高效地運(yùn)行。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種向量數(shù)據(jù)處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著人工智能技術(shù)的發(fā)展和落地，越來越多不易描述的數(shù)據(jù)被通過以特征向量數(shù)據(jù)的方式進(jìn)行描述和計(jì)算，比如文本、聲音、外貌等等，當(dāng)這些海量的特征數(shù)據(jù)匯聚在一起時(shí)，如何快速準(zhǔn)確的找到相同或者相似的數(shù)據(jù)成為了亟待解決的問題。

目前，將所有數(shù)據(jù)存儲(chǔ)在RAM中的方案，檢索速度較快，但是RAM的單位存儲(chǔ)成本遠(yuǎn)高于ROM，且受制于內(nèi)存通道和單內(nèi)存最大容量的限制，最大存儲(chǔ)容量受限。而且，RAM存儲(chǔ)的同時(shí)還需要等量空間的ROM做持久化存儲(chǔ)，占用雙倍的存儲(chǔ)空間。將所有數(shù)據(jù)存儲(chǔ)于ROM中的方案，數(shù)據(jù)從ROM加載到RAM的過程非常耗時(shí)，尤其是當(dāng)數(shù)據(jù)量很大的時(shí)候，這個(gè)問題會(huì)越來越凸顯。以512維的向量為例，1000萬的512維向量需要4*512*1000*10000＝20GB左右存儲(chǔ)空間，以當(dāng)前7200轉(zhuǎn)硬盤的理論讀寫速度190MB/s來計(jì)算，需要105秒左右，以SSD硬盤的速度500MB/s來計(jì)算，也需要40秒，耗時(shí)較長(zhǎng)。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種向量數(shù)據(jù)處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，以在滿足大量向量數(shù)據(jù)存儲(chǔ)的同時(shí)實(shí)現(xiàn)快速檢索。

在一個(gè)實(shí)施例中，本申請(qǐng)實(shí)施例提供了一種向量數(shù)據(jù)處理方法，該方法包括：

確定隨機(jī)存取存儲(chǔ)器中存儲(chǔ)的向量數(shù)據(jù)簇和特征分類索引的占用空間；

若所述占用空間達(dá)到隨機(jī)存取存儲(chǔ)器的預(yù)設(shè)容量閾值，則從所述向量數(shù)據(jù)簇中選取預(yù)設(shè)數(shù)量的目標(biāo)向量數(shù)據(jù)簇；其中，預(yù)設(shè)數(shù)量的目標(biāo)向量數(shù)據(jù)簇占用空間小于所述預(yù)設(shè)容量閾值；

若檢測(cè)到目標(biāo)向量數(shù)據(jù)簇的轉(zhuǎn)移觸發(fā)事件，則將所述目標(biāo)向量數(shù)據(jù)簇轉(zhuǎn)移至只讀存儲(chǔ)器中。

在另一個(gè)實(shí)施例中，本申請(qǐng)實(shí)施例還提供了一種向量數(shù)據(jù)處理裝置，該裝置包括：

占用空間確定模塊，用于確定隨機(jī)存取存儲(chǔ)器中存儲(chǔ)的向量數(shù)據(jù)簇和特征分類索引的占用空間；

目標(biāo)向量數(shù)據(jù)簇選取模塊，用于若所述占用空間達(dá)到隨機(jī)存取存儲(chǔ)器的預(yù)設(shè)容量閾值，則從所述向量數(shù)據(jù)簇中選取預(yù)設(shè)數(shù)量的目標(biāo)向量數(shù)據(jù)簇；其中，預(yù)設(shè)數(shù)量的目標(biāo)向量數(shù)據(jù)簇占用空間小于所述預(yù)設(shè)容量閾值；

轉(zhuǎn)移模塊，用于若檢測(cè)到目標(biāo)向量數(shù)據(jù)簇的轉(zhuǎn)移觸發(fā)事件，則將所述目標(biāo)向量數(shù)據(jù)簇轉(zhuǎn)移至只讀存儲(chǔ)器中。

在又一個(gè)實(shí)施例中，本申請(qǐng)實(shí)施例還提供了一種向量數(shù)據(jù)處理設(shè)備，包括：一個(gè)或多個(gè)處理器；

存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序；

當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)本申請(qǐng)實(shí)施例任一項(xiàng)所述的向量數(shù)據(jù)處理方法。

在再一個(gè)實(shí)施例中，本申請(qǐng)實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本申請(qǐng)實(shí)施例中任一項(xiàng)所述的向量數(shù)據(jù)處理方法。