[發(fā)明專利]應(yīng)用于跨模態(tài)數(shù)據(jù)檢索領(lǐng)域的樣本選擇方法及裝置

有效

• 申請?zhí)枺?/td>: 201710069595.X
• 申請日: 2017-02-08
• 公開（公告）號: CN108399414B
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計）人: 黃圣君;高能能;袁坤;陳偉;王迪
• 申請（專利權(quán)）人: 南京航空航天大學(xué);騰訊科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 朱雅男

一種樣本選擇方法及裝置，屬于度量學(xué)習(xí)技術(shù)領(lǐng)域。所述方法包括：從未標(biāo)注樣本集中選取n組樣本對，每一組樣本對包括兩個樣本，每一個樣本包括p種模態(tài)的數(shù)據(jù)；對于每一組樣本對，計算樣本對包括的一個樣本的每一種模態(tài)的數(shù)據(jù)和另一個樣本的每一種模態(tài)的數(shù)據(jù)之間的部分相似度，得到p×p個部分相似度；根據(jù)p×p個部分相似度計算樣本對包括的兩個樣本之間的整體相似度；獲取p×p個部分相似度與整體相似度之間的差異程度；從n組樣本對中選擇符合預(yù)設(shè)條件的樣本對作為訓(xùn)練樣本。本發(fā)明通過選擇高質(zhì)量的訓(xùn)練樣本訓(xùn)練度量模型，能夠用更少的訓(xùn)練樣本訓(xùn)練出更高精度的度量模型。

技術(shù)領(lǐng)域

本發(fā)明涉及度量學(xué)習(xí)技術(shù)領(lǐng)域，特別涉及一種應(yīng)用于跨模態(tài)數(shù)據(jù)檢索領(lǐng)域的樣本選擇方法及裝置。

背景技術(shù)

度量學(xué)習(xí)(metric learning)是指從已標(biāo)注相關(guān)性的樣本對中自動學(xué)習(xí)出合理描述兩個對象之間的語義相似度的距離度量，是圖像檢索領(lǐng)域中常用的一種機(jī)器學(xué)習(xí)技術(shù)。

目前，已經(jīng)有一些較為成熟的有關(guān)度量學(xué)習(xí)的技術(shù)，但這些技術(shù)大多是針對單模態(tài)數(shù)據(jù)(如圖像和圖像)之間的相關(guān)性度量，并不適用于跨模態(tài)數(shù)據(jù)(如圖像和文本)之間的相關(guān)性度量。針對跨模態(tài)數(shù)據(jù)的度量學(xué)習(xí)，在現(xiàn)有技術(shù)中，預(yù)先構(gòu)建訓(xùn)練樣本集，該訓(xùn)練樣本集中包括大量的訓(xùn)練樣本，每一個訓(xùn)練樣本包括一組已標(biāo)注相關(guān)性的樣本對，而后采用該訓(xùn)練樣本集訓(xùn)練度量模型，該度量模型用于度量一組跨模態(tài)數(shù)據(jù)之間的相關(guān)性。訓(xùn)練樣本集的構(gòu)建方式通常采用隨機(jī)抽樣方式從未標(biāo)注樣本集中選取樣本對作為訓(xùn)練樣本，并將選取的訓(xùn)練樣本交由標(biāo)注人員進(jìn)行相關(guān)性標(biāo)注。

在現(xiàn)有技術(shù)中，采用隨機(jī)抽樣方式選取的訓(xùn)練樣本質(zhì)量偏低，導(dǎo)致最終訓(xùn)練得到的度量模型的準(zhǔn)確性較低。并且，由于需要大量已標(biāo)注相關(guān)性的訓(xùn)練樣本來訓(xùn)練度量模型，導(dǎo)致模型的訓(xùn)練效率較低，且對訓(xùn)練樣本的標(biāo)注需要耗費較多的時間和成本。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種應(yīng)用于跨模態(tài)數(shù)據(jù)檢索領(lǐng)域的樣本選擇方法及裝置，用以解決現(xiàn)有技術(shù)在針對跨模態(tài)數(shù)據(jù)的度量學(xué)習(xí)中，所存在的模型的準(zhǔn)確性較低，模型的訓(xùn)練效率較低，以及對訓(xùn)練樣本的標(biāo)注需要耗費較多的時間和成本的問題。所述技術(shù)方案如下：

第一方面，提供了一種應(yīng)用于跨模態(tài)數(shù)據(jù)檢索領(lǐng)域的樣本選擇方法，所述方法包括：

從未標(biāo)注樣本集中選取n組樣本對，每一組樣本對包括兩個樣本，每一個樣本包括p種模態(tài)的數(shù)據(jù)，所述n為正整數(shù)，所述p為大于1的整數(shù)；

對于所述n組樣本對中的每一組樣本對，計算所述樣本對包括的一個樣本的每一種模態(tài)的數(shù)據(jù)和另一個樣本的每一種模態(tài)的數(shù)據(jù)之間的部分相似度，得到p×p個部分相似度；

根據(jù)所述p×p個部分相似度計算所述樣本對包括的兩個樣本之間的整體相似度；

獲取所述p×p個部分相似度與所述整體相似度之間的差異程度；

從所述n組樣本對中符合預(yù)設(shè)條件的樣本對中選擇訓(xùn)練樣本；其中，所述預(yù)設(shè)條件滿足所述差異程度大于第一閾值且所述整體相似度小于第二閾值。

第二方面，提供了一種應(yīng)用于跨模態(tài)數(shù)據(jù)檢索領(lǐng)域的樣本選擇裝置，所述裝置包括：

選取模塊，用于從未標(biāo)注樣本集中選取n組樣本對，每一組樣本對包括兩個樣本，每一個樣本包括p種模態(tài)的數(shù)據(jù)，所述n為正整數(shù)，所述p為大于1的整數(shù)；

第一計算模塊，用于對于所述n組樣本對中的每一組樣本對，計算所述樣本對包括的一個樣本的每一種模態(tài)的數(shù)據(jù)和另一個樣本的每一種模態(tài)的數(shù)據(jù)之間的部分相似度，得到p×p個部分相似度；

第二計算模塊，用于根據(jù)所述p×p個部分相似度計算所述樣本對包括的兩個樣本之間的整體相似度；

第三計算模塊，用于獲取所述p×p個部分相似度與所述整體相似度之間的差異程度；