[發(fā)明專(zhuān)利]數(shù)據(jù)處理方法、數(shù)據(jù)檢索方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110682519.2
• 申請(qǐng)日: 2021-06-18
• 公開(kāi)（公告）號(hào): CN113343047A
• 公開(kāi)（公告）日: 2021-09-03
• 發(fā)明（設(shè)計(jì)）人: 陳欽欽;王光遠(yuǎn)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類(lèi)號(hào): G06F16/903
• 分類(lèi)號(hào): G06F16/903;G06F16/906;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 中科專(zhuān)利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 鄢功軍

本公開(kāi)提供了一種數(shù)據(jù)處理方法、數(shù)據(jù)檢索方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)以及程序產(chǎn)品，涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及智能搜索技術(shù)領(lǐng)域。具體實(shí)現(xiàn)方案為：針對(duì)多個(gè)文件中的每個(gè)文件，根據(jù)文件的文件特征向量，確定文件的多個(gè)融合特征向量；以及對(duì)多個(gè)文件的融合特征向量進(jìn)行聚類(lèi)處理，得到多個(gè)特征向量簇，其中，每個(gè)特征向量簇與同一個(gè)標(biāo)簽相關(guān)聯(lián)；其中，確定文件的多個(gè)融合特征向量包括：將文件的文件特征向量輸入多個(gè)第一神經(jīng)網(wǎng)絡(luò)模型，得到多個(gè)標(biāo)簽特征向量；以及將文件特征向量分別與多個(gè)標(biāo)簽特征向量中的每個(gè)標(biāo)簽特征向量進(jìn)行融合處理，得到多個(gè)融合特征向量。

技術(shù)領(lǐng)域

本公開(kāi)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及智能搜索技術(shù)領(lǐng)域。

背景技術(shù)

隨著AI技術(shù)的廣泛普及和應(yīng)用，以及互聯(lián)網(wǎng)數(shù)據(jù)規(guī)模的不斷增長(zhǎng)，向量檢索作為傳統(tǒng)檢索系統(tǒng)的補(bǔ)充，正在逐漸成為AI技術(shù)鏈路中不可或缺的一環(huán)。

發(fā)明內(nèi)容

本公開(kāi)提供了一種數(shù)據(jù)處理方法、數(shù)據(jù)檢索方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)以及程序產(chǎn)品。

根據(jù)本公開(kāi)的一方面，提供了一種數(shù)據(jù)處理方法，包括：針對(duì)多個(gè)文件中的每個(gè)文件，根據(jù)所述文件的文件特征向量，確定所述文件的多個(gè)融合特征向量；以及對(duì)所述多個(gè)文件的融合特征向量進(jìn)行聚類(lèi)處理，得到多個(gè)特征向量簇，其中，每個(gè)所述特征向量簇與同一個(gè)標(biāo)簽相關(guān)聯(lián)；其中，確定所述文件的多個(gè)融合特征向量包括：將所述文件的文件特征向量輸入多個(gè)第一神經(jīng)網(wǎng)絡(luò)模型，得到多個(gè)標(biāo)簽特征向量，其中，所述每個(gè)第一神經(jīng)網(wǎng)絡(luò)模型對(duì)應(yīng)于一個(gè)標(biāo)簽，所述標(biāo)簽特征向量用于表示所述文件與所述標(biāo)簽之間的相關(guān)程度；以及將所述文件特征向量分別與所述多個(gè)標(biāo)簽特征向量中的每個(gè)標(biāo)簽特征向量進(jìn)行融合處理，得到多個(gè)融合特征向量。

根據(jù)本公開(kāi)的另一方面，提供了一種數(shù)據(jù)檢索方法，包括：根據(jù)檢索請(qǐng)求，確定目標(biāo)向量，其中，所述目標(biāo)向量包括目標(biāo)標(biāo)簽的特征信息；確定多個(gè)特征向量簇中與所述目標(biāo)標(biāo)簽對(duì)應(yīng)的目標(biāo)特征向量簇；分別計(jì)算所述目標(biāo)向量與所述目標(biāo)特征向量簇中每個(gè)融合特征向量之間的空間距離；以及確定所述目標(biāo)特征向量簇中空間距離小于第一距離閾值的目標(biāo)融合特征向量，作為所述檢索結(jié)果；其中，所述多個(gè)特征向量簇是利用根據(jù)本公開(kāi)實(shí)施例所示的方法確定的。

根據(jù)本公開(kāi)的另一方面，提供了一種數(shù)據(jù)處理裝置，包括：確定模塊，用于針對(duì)多個(gè)文件中的每個(gè)文件，根據(jù)所述文件的文件特征向量，確定所述文件的多個(gè)融合特征向量；以及聚類(lèi)模塊，用于對(duì)所述多個(gè)文件的融合特征向量進(jìn)行聚類(lèi)處理，得到多個(gè)特征向量簇，其中，每個(gè)特征向量簇與同一個(gè)標(biāo)簽相關(guān)聯(lián)；其中，確定模塊包括：輸入子模塊，用于將所述文件的文件特征向量輸入多個(gè)第一神經(jīng)網(wǎng)絡(luò)模型，得到多個(gè)標(biāo)簽特征向量，其中，所述每個(gè)第一神經(jīng)網(wǎng)絡(luò)模型對(duì)應(yīng)于一個(gè)標(biāo)簽，所述標(biāo)簽特征向量用于表示所述文件與所述標(biāo)簽之間的相關(guān)程度；以及融合子模塊，用于將所述文件特征向量分別與所述多個(gè)標(biāo)簽特征向量中的每個(gè)標(biāo)簽特征向量進(jìn)行融合處理，得到多個(gè)融合特征向量。

根據(jù)本公開(kāi)的另一方面，提供了一種數(shù)據(jù)檢索裝置，包括：第一確定模塊，用于根據(jù)檢索請(qǐng)求，確定目標(biāo)向量，其中，所述目標(biāo)向量包括目標(biāo)標(biāo)簽的特征信息；第二確定模塊，用于確定多個(gè)特征向量簇中與所述目標(biāo)標(biāo)簽對(duì)應(yīng)的目標(biāo)特征向量簇；計(jì)算模塊，用于分別計(jì)算所述目標(biāo)向量與所述目標(biāo)特征向量簇中每個(gè)融合特征向量之間的空間距離；以及第三確定模塊，用于確定所述目標(biāo)特征向量簇中空間距離小于第一距離閾值的目標(biāo)融合特征向量，作為所述檢索結(jié)果；其中，所述多個(gè)特征向量簇是利用根據(jù)本公開(kāi)實(shí)施例所示的方法確定的。

本公開(kāi)的另一個(gè)方面提供了一種電子設(shè)備，包括：至少一個(gè)處理器；以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行本公開(kāi)實(shí)施例所示的方法。

根據(jù)本公開(kāi)實(shí)施例的另一方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行本公開(kāi)實(shí)施例所示的方法。