[發(fā)明專利]一種用于零樣本學(xué)習(xí)的聯(lián)合嵌入模型

在審

• 申請?zhí)枺?/td>: 201610052504.7
• 申請日: 2016-01-26
• 公開（公告）號: CN105740888A
• 公開（公告）日: 2016-07-06
• 發(fā)明（設(shè)計）人: 冀中;于云龍
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 杜文茹

技術(shù)領(lǐng)域

本發(fā)明涉及一種聯(lián)合嵌入模型。特別是涉及一種用于零樣本學(xué)習(xí)的聯(lián)合嵌入模型。

背景技術(shù)

伴隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)上的多模態(tài)數(shù)據(jù)不斷的增長，多模態(tài)學(xué)習(xí)逐漸成為機器學(xué)習(xí)和數(shù)據(jù)挖掘的研究熱點。多模態(tài)學(xué)習(xí)可是使不同模態(tài)的數(shù)據(jù)特征建立關(guān)系，理想情況下多模態(tài)學(xué)習(xí)能夠?qū)⒉煌B(tài)的特征信息融合到一個公共的表示空間，實現(xiàn)在同一個語義層次上的比較和檢索。在多模態(tài)數(shù)據(jù)不斷增長的大數(shù)據(jù)時代，伴隨著用戶對于面向多模態(tài)數(shù)據(jù)的挖掘技術(shù)的需求與日劇增，傳統(tǒng)的面向單模態(tài)模型的數(shù)據(jù)挖掘技術(shù)已經(jīng)不能滿足人們的要求。如何挖掘出不同模態(tài)之間的有效信息是當(dāng)前機器學(xué)習(xí)領(lǐng)域的一個重要任務(wù)。

當(dāng)前的多模態(tài)特征融合方法可以分為兩類：深層多模態(tài)特征融合和淺層多模態(tài)特征融合。深層多模態(tài)融合的層數(shù)一般要大于三層，這種模型大都從不同的模態(tài)的輸入數(shù)據(jù)中提取輸入的不同模態(tài)數(shù)據(jù)的中間表示再將其作為關(guān)聯(lián)模塊的輸入，學(xué)習(xí)這些中間表示特征相互之間的關(guān)聯(lián)關(guān)系。這類方法的缺點是：訓(xùn)練時間長，復(fù)雜度高，且容易陷入局部最優(yōu)。淺層多模態(tài)模型大部分屬于由一到兩層結(jié)構(gòu)組成模型，這種方法的優(yōu)點是比較簡單，復(fù)雜度低，但在一些復(fù)雜數(shù)據(jù)集上使用淺層模型對模態(tài)特征之間進行關(guān)聯(lián)仍存在一些困難。

零樣本分類是多模態(tài)特征融合的一個重要應(yīng)用。隨著現(xiàn)實應(yīng)用的需要，零樣本學(xué)習(xí)獲得了大量的關(guān)注。其常用的方法是將已見過的類別的視覺模態(tài)特征和文本特征映射到能夠關(guān)聯(lián)不同模態(tài)關(guān)系的公共空間，并將未見過類別的視覺模態(tài)映射到已學(xué)習(xí)到的公共空間尋找其對應(yīng)的文本模態(tài)，以此來判斷其所屬的類別。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是，提供一種能夠使不同模態(tài)的特征之間產(chǎn)生關(guān)聯(lián)，從而實現(xiàn)不同模態(tài)特征之間轉(zhuǎn)換的用于零樣本學(xué)習(xí)的聯(lián)合嵌入模型。

本發(fā)明所采用的技術(shù)方案是：一種用于零樣本學(xué)習(xí)的聯(lián)合嵌入模型，包括如下步驟：

1)輸入訓(xùn)練樣本的圖像特征X＝[X₁,...,X_i,…,X_n]，圖像所對應(yīng)的文本特征以及權(quán)重參數(shù)α，β，λ，

其中，X_i是第i類的訓(xùn)練樣本的圖像特征，y_i是第i類的文本特征，q是文本特征向量的維度，n是文本特征向量的個數(shù)；

2)計算所有文本特征向量之和然后通過如下公式計算特征轉(zhuǎn)換矩陣M：

M=(XXT+αI)-1((1+λ)XYT-λXY^T)(YYT+βI)-1]]>

其中I是單位矩陣；

3)輸出特征轉(zhuǎn)換矩陣M。

步驟1)中所述的α、β和λ是用于調(diào)節(jié)目標函數(shù)中不同目標之間的權(quán)重。

所述的α、β和λ是在實驗中通過交叉驗證的方法獲得的。

本發(fā)明的一種用于零樣本學(xué)習(xí)的聯(lián)合嵌入模型，采用不同模態(tài)之間相關(guān)關(guān)系來構(gòu)建目標函數(shù)，使得屬于同一類別兩種模態(tài)特征在公共空間中的相關(guān)性最大，同時最小化屬于不同類別的兩種模態(tài)在公共空間中的相關(guān)性。本發(fā)明利用訓(xùn)練樣本學(xué)習(xí)到一個轉(zhuǎn)移矩陣使得屬于不同模態(tài)的特征之間能夠相互比較相似度。其有益效果主要體現(xiàn)在：