[發(fā)明專利]一種針對(duì)多模態(tài)數(shù)據(jù)離散語(yǔ)義編碼的裝置和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111150268.X
• 申請(qǐng)日: 2021-09-29
• 公開(kāi)（公告）號(hào): CN113837301A
• 公開(kāi)（公告）日: 2021-12-24
• 發(fā)明（設(shè)計(jì)）人: 趙天成
• 申請(qǐng)（專利權(quán)）人: 宏龍科技（杭州）有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州知見(jiàn)專利代理有限公司 33295
• 代理人: 盧金元

1.一種針對(duì)多模態(tài)數(shù)據(jù)離散語(yǔ)義編碼的裝置，其特征在于，包括：

數(shù)據(jù)編碼器：對(duì)輸入數(shù)據(jù)x編碼，輸出結(jié)果為一個(gè)多維張量h；

編碼生成器：根據(jù)張量h生成M個(gè)K維的離散變量的概率分布q(z|h)，離散變量有M個(gè)，每個(gè)離散變量均為K維；

針對(duì)給定張量h,編碼生成器是一套神經(jīng)網(wǎng)絡(luò)，基于M個(gè)K維的離散變量生成概率分布作為編碼結(jié)果q(z|h)；同時(shí)針對(duì)每一個(gè)維度，每個(gè)不同的變量，編碼器包含離散符號(hào)和嵌入向量，嵌入向量的維數(shù)為D，嵌入向量為M×D的矩陣；編碼器生成的輸出包含兩部分，第一部分是M個(gè)離散符號(hào)，另外是M個(gè)相對(duì)應(yīng)的嵌入向量e(z)，大小為e(z)∈R^M×D；將h中代表現(xiàn)實(shí)意義的維度作為主要坐標(biāo)輸入Transfomer模型，然后經(jīng)過(guò)數(shù)層Transfomer計(jì)算后，用Transfomer模型的前M個(gè)輸出作為q(z|h)。

2.一種針對(duì)多模態(tài)數(shù)據(jù)離散語(yǔ)義編碼的方法，基于權(quán)利要求1所述的編碼裝置，其特征在于，包括以下步驟：

S1、通過(guò)數(shù)據(jù)編碼器對(duì)輸入數(shù)據(jù)進(jìn)行編碼，輸出結(jié)果為多維張量h；

S2、將h中代表現(xiàn)實(shí)意義的維度作為主要坐標(biāo)輸入Transfomer模型，然后經(jīng)過(guò)若干層Transfomer計(jì)算后，用Transfomer模型的前M個(gè)輸出作為q(z|h)。

3.根據(jù)權(quán)利要求2所述的一種針對(duì)多模態(tài)數(shù)據(jù)離散語(yǔ)義編碼的方法，其特征在于，步驟S1中，對(duì)于文本數(shù)據(jù)采用LSTM進(jìn)行編碼，對(duì)于圖片文件采用CNN模型進(jìn)行編碼。

4.根據(jù)權(quán)利要求2或3所述的一種針對(duì)多模態(tài)數(shù)據(jù)離散語(yǔ)義編碼的方法，其特征在于，步驟S2中，h中代表現(xiàn)實(shí)意義的維度包括文字中的時(shí)間軸和圖片中的方位信息。

5.根據(jù)權(quán)利要求2所述的一種針對(duì)多模態(tài)數(shù)據(jù)離散語(yǔ)義編碼的方法，其特征在于，還包括對(duì)模型的訓(xùn)練方法，訓(xùn)練方法采用的損失函數(shù)為：

式中，q(z)按以下方式進(jìn)行仿真：

式中，L_VAE為ELBO損失函數(shù)，I(Z,X)為最大互信息損失，q_qФ(z|x)為編碼器模型，p(x)為x的邊際分布，p_pФ(x|z)為解碼器模型，KL為K-L距離，q(z)為擬似的z的邊際分布，p(z)為z的邊際分布，N為一個(gè)訓(xùn)練集的數(shù)據(jù)數(shù)量；

訓(xùn)練時(shí)，得到編碼結(jié)果以后通過(guò)解碼器重建原始數(shù)據(jù)。