[發(fā)明專利]一種基于無標記數據遷移的跨模態(tài)檢索方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201910707010.1
• 申請日: 2019-08-01
• 公開（公告）號: CN110647904B
• 公開（公告）日: 2022-09-23
• 發(fā)明（設計）人: 朱福慶;王雪如;張衛(wèi)博;戴嬌;虎嵩林;韓冀中
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/903
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 陳艷

本發(fā)明提出一種基于無標記數據遷移的跨模態(tài)檢索方法及系統(tǒng)，將經過聚類的無標注信息的單模態(tài)圖像和文本數據作為遷移源域，有標注信息的跨模態(tài)數據集作為目標域，通過遷移學習將源域遷移至目標域的跨模態(tài)數據集，擴大訓練數據規(guī)模，增加跨模態(tài)數據的語義信息，學得一個更好的共同空間。本發(fā)明很好地解決了跨模態(tài)數據集數據規(guī)模小的問題，更加符合實際用戶查詢不在預定義類別范圍內的情況；同時，可以更好地提取不同模態(tài)數據的上層語義信息，克服模態(tài)之間的異構性差異，增加模態(tài)之間的相似性，提高跨模態(tài)檢索準確率。

技術領域

本發(fā)明涉及跨模態(tài)數據檢索技術領域，具體涉及一種基于無標記數據遷移的跨模態(tài)檢索方法及系統(tǒng)。

背景技術

圖像、文本等不同模態(tài)數據廣泛存在于互聯(lián)網中，且呈現(xiàn)相互融合的趨勢?？缒B(tài)檢索任務嘗試打破不同模態(tài)數據之間的界限，跨越不同模態(tài)數據實現(xiàn)信息檢索，即嘗試利用某一模態(tài)樣本檢索出與其語義相似的其他模態(tài)的樣本，在搜索引擎和大數據管理中均有廣泛應用?，F(xiàn)有跨模態(tài)檢索方法嘗試將不同模態(tài)數據的特征表示映射到一個共同空間來學習統(tǒng)一表征，通過計算其對應統(tǒng)一表征之間的距離來度量相似度。然而，由于不同模態(tài)數據的異構性，數據分布及表征不一致，難以實現(xiàn)語義關聯(lián)，跨模態(tài)相似性依舊難以度量。

雖然互聯(lián)網中圖像、文本數據眾多，但是絕大多數的圖像和文本數據是未經標注的，難以利用。這些數據含有豐富的語義信息，一方面數據標注需要大量的成本，另一方面，互聯(lián)網信息時刻更新，每一個新的熱點事件的發(fā)生都伴隨著大量新類別的圖像、文本等數據，因此也無法對所有類別的數據進行標注，如何充分利用這些無標注數據對于傳統(tǒng)的跨模態(tài)檢索任務是一個很大的挑戰(zhàn)。

在實際場景中，用戶提交的查詢，往往不一定落在預先定義的類別范圍內，訓練集和測試集不共享相同的類別的情況時有發(fā)生?，F(xiàn)有的跨模態(tài)檢索方法通常只針對訓練數據和測試數據類別相同的情況(不可擴展的跨模態(tài)檢索)。如何更好地構造出一個跨模態(tài)共同空間，輸入一種模態(tài)數據，無論這個數據的類別為已知或未知，都能檢索出與其相關的多模態(tài)數據在實際應用中有著重要意義。

發(fā)明內容

為了克服不同模態(tài)數據異構性、無標記數據過多、訓練數據不足并且不可擴展等問題，本發(fā)明提出一種基于無標記數據遷移的跨模態(tài)檢索方法及系統(tǒng)，將經過聚類的無標注信息的單模態(tài)圖像和文本數據作為遷移源域，有標注信息的跨模態(tài)數據集作為目標域，通過遷移學習將源域遷移至目標域的跨模態(tài)數據集，擴大訓練數據規(guī)模，增加跨模態(tài)數據的語義信息，學得一個更好的共同空間。

本發(fā)明的技術方案如下：

一種基于無標記數據遷移的跨模態(tài)檢索方法，包括以下步驟：

將待檢索樣本輸入訓練完成的跨模態(tài)數據檢索模型，得到其特征表示；

對于每個待檢索的樣本，計算其與所有其他模態(tài)樣本的歐氏距離，再進行排序，距離小于指定閾值的其他模態(tài)樣本即為檢索結果；

其中，所述跨模態(tài)數據檢索模型的訓練過程如下：

(1)通過聚類的方法分別為無標記圖像、文本設置偽標簽；

(2)將帶有偽標簽的無標記圖像、文本所含知識分別遷移至跨模態(tài)數據集的圖像、文本部分，學習跨模態(tài)數據集圖像和文本的單獨表達；

(3)將圖像和文本的單獨表達傳入同一個網絡，學習圖像和文本在同一語義空間下的共同表達。