[發明專利]學習跨平臺多模態媒體數據共同特征表示的方法及裝置

有效

• 申請號: 201410366722.9
• 申請日: 2014-07-29
• 公開（公告）號: CN104133807B
• 公開（公告）日: 2017-06-23
• 發明（設計）人: 徐常勝;楊小汕;張天柱
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F17/11
• 分類號: G06F17/11;G06F17/30;G06K9/46
• 代理公司: 中科專利商標代理有限責任公司11021
• 代理人: 宋焰琴

1.一種利用去噪自編碼器學習跨平臺多模態媒體數據共同特征表示的方法，其特征在于，該方法包括以下步驟：

步驟S1，建立優化目標方程；目標方程中，采用單層的去噪自編碼器來重建不同平臺和不同模態的媒體數據特征，在重建時，考慮模態相關性約束和跨平臺約束；其中，所述不同平臺和不同模態的媒體數據特征包括圖像特征和文本特征；

步驟S2，求得所述優化目標方程的解析解，在求解析解過程中，通過尋找偏導數為零的點得到全局最優解；

步驟S3，利用邊緣化方法對所得到的解析解進行求解，其中求解過程中通過弱大數定律來邊緣化特征向量的隨機噪聲進行求解；

其中，步驟S1中的優化目標方程是采用去噪自編碼器構造的，所構造的優化目標方程可以表示為：

其中，λ_x，λ_y，λ_mc和λ_cd都表示正則化參數；W_x和W_y表示圖像特征和文本特征對應的去噪自編碼器的線性映射矩陣；和分別表示圖像特征和文本特征的重建目標方程，和表示模態相關性約束和跨平臺約束；

其中，分別定義如下：

其中，m表示加噪聲的次數，n表示媒體數據特征向量的個數，是m個X組成的矩陣，是m個Y組成的矩陣，X＝[X_s,X_t]和Y＝[Y_s,Y_t]表示兩個不同平臺上結合起來的圖像特征矩陣和文本特征矩陣，且X＝[X_s,X_t]和Y＝[Y_s,Y_t]還可以表示成X＝{x_i|i＝1,...,n}，Y＝{y_i|i＝1,...,n}，和是和加噪聲以后的版本，x_i是矩陣X的第i列的特征向量，為的第i*n+j列元素，y_i是矩陣Y的第i列的特征向量；定義如下：

其中，表示圖像特征的方差矩陣，表示文本特征的方差矩陣，是圖像特征和文本特征之間的協方差矩陣，Tr表示矩陣的跡；

定義如下：

其中，n1和n2分別表示不同平臺上的媒體數據特征的個數。

2.根據權利要求1所述的方法，其特征在于，步驟S2中通過尋找優化目標方程的偏導數為零的點得到全局最優解，具體包括：

關于W_x的偏導數可以計算為：

其中，代表和并且

關于W_y的偏導：

其中，并且

通過求解方程組當Q_x和都可逆的時候，得到W_x和W_y的解析解：

當Q_x和不可逆時，用偽逆來得到近似解。