[發(fā)明專利]多模態(tài)變分自編碼模型訓(xùn)練方法、系統(tǒng)及相關(guān)設(shè)備

在審

• 申請?zhí)枺?/td>: 202210659509.1
• 申請日: 2022-06-09
• 公開（公告）號: CN115035366A
• 公開（公告）日: 2022-09-09
• 發(fā)明（設(shè)計(jì)）人: 陳亞瑞;楊劍寧;吳世偉;劉垚;王曉捷;閆瀟寧;許能華
• 申請（專利權(quán)）人: 深圳市安軟慧視科技有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06N3/04;G06N3/08;G06F17/18
• 代理公司: 深圳君信誠知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44636
• 代理人: 劉偉

1.一種多模態(tài)變分自編碼模型訓(xùn)練方法，其特征在于，所述方法包括以下步驟：

獲取包含多種模態(tài)的圖像數(shù)據(jù)，并將每兩張不同模態(tài)的圖像數(shù)據(jù)進(jìn)行配對，得到圖像對數(shù)據(jù)集；

構(gòu)建多模態(tài)變分自編碼框架模型，并將所述圖像對數(shù)據(jù)集作為所述多模態(tài)變分自編碼框架模型的輸入，對所述多模態(tài)變分自編碼框架模型進(jìn)行訓(xùn)練；

使用四元組度量損失作為所述多模態(tài)變分自編碼框架模型訓(xùn)練的損失函數(shù)，直到損失函數(shù)收斂，輸出完成訓(xùn)練的多模態(tài)變分自編碼模型。

2.如權(quán)利要求1所述的多模態(tài)變分自編碼模型訓(xùn)練方法，其特征在于，定義所述圖像對數(shù)據(jù)集中的其中一對圖像分別為第一模態(tài)圖像x和第二模態(tài)圖像y，所述第一模態(tài)圖像x和所述第二模態(tài)圖像y相互配對得到的一對兩模態(tài)數(shù)據(jù)為(x,y)，所述兩模態(tài)數(shù)據(jù)(x,y)具有共享隱向量z、以及分別對應(yīng)所述第一模態(tài)圖像x和所述第二模態(tài)圖像y的私有隱向量h_x、h_y；

所述多模態(tài)變分自編碼框架模型包括分別對應(yīng)所述第一模態(tài)圖像x和所述第二模態(tài)圖像y的第一生成器第二生成器所述多模態(tài)變分自編碼框架模型還包括分別對應(yīng)所述私有隱向量h_x和所述私有隱向量h_y的第一私有信息編碼器第二私有信息編碼器以及分別對應(yīng)所述第一模態(tài)圖像x和所述第二模態(tài)圖像y的第一共享信息編碼器第一共享信息編碼器

3.如權(quán)利要求2所述的多模態(tài)變分自編碼模型訓(xùn)練方法，其特征在于，所述多模態(tài)變分自編碼框架模型對所述兩模態(tài)數(shù)據(jù)(x,y)的聯(lián)合概率分布建模滿足如下關(guān)系式(1)：

關(guān)系式(1)中，p(z)、p(h_x)、p(h_y)分別為所述共享隱向量z、所述私有隱向量h_x、所述私有隱向量h_y的先驗(yàn)分布，且均服從各向同性的高斯分布。

4.如權(quán)利要求3所述的多模態(tài)變分自編碼模型訓(xùn)練方法，其特征在于，所述多模態(tài)變分自編碼框架模型進(jìn)行訓(xùn)練時(shí)，對于所述兩模態(tài)數(shù)據(jù)(x,y)，其邊緣概率分布p_θ(x,y)滿足如下關(guān)系式(2)：

所述多模態(tài)變分自編碼框架模型使用變分推理法，利用q(z,h_x,h_y|x,y)作為變分分布，并計(jì)算lnp_θ(x,y)的變分下界所述變分下界滿足如下關(guān)系式(3)：

5.如權(quán)利要求4所述的多模態(tài)變分自編碼模型訓(xùn)練方法，其特征在于，所述多模態(tài)變分自編碼框架模型進(jìn)行訓(xùn)練時(shí)，對于所述兩模態(tài)數(shù)據(jù)(x,y)存在模態(tài)數(shù)據(jù)缺失的情況，其邊緣概率分布p_θ(x)、p_θ(y)分別滿足如下關(guān)系式(4)、(5)：

所述多模態(tài)變分自編碼框架模型使用變分推理法，利用q(z,h_x,|x)、q(z,h_y,|y)作為變分分布，并計(jì)算lnp_θ(x)的變分下界或lnp_θ(y)的變分下界變分下界滿足如下關(guān)系式(6)：

變分下界滿足如下關(guān)系式(7)：

6.如權(quán)利要求5所述的多模態(tài)變分自編碼模型訓(xùn)練方法，其特征在于，定義所述第一模態(tài)圖像x和所述第二模態(tài)圖像y對應(yīng)的負(fù)樣本分別為x_、y_，所述四元組度量損失的約束滿足如下關(guān)系式(8)：

關(guān)系式(8)中，μ_x(x)與μ_y(y)分別表示所述第一共享信息編碼器所述第二共享信息編碼器的輸出結(jié)果的均值，α₁、α₂為超參數(shù)；

所述多模態(tài)變分自編碼框架模型最終的目標(biāo)函數(shù)滿足如下關(guān)系式(9)：

其中，β為超參數(shù)。

7.如權(quán)利要求1所述的多模態(tài)變分自編碼模型訓(xùn)練方法，其特征在于，所述多模態(tài)變分自編碼模型在訓(xùn)練時(shí)使用梯度下降方法進(jìn)行優(yōu)化，使用Adam作為優(yōu)化器。