[發明專利]一種針對多模態數據離散語義編碼的裝置和方法

在審

• 申請號: 202111150268.X
• 申請日: 2021-09-29
• 公開（公告）號: CN113837301A
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 趙天成
• 申請（專利權）人: 宏龍科技（杭州）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州知見專利代理有限公司 33295
• 代理人: 盧金元

本發明公開了一種針對多模態數據離散語義編碼的裝置和方法，方法包括以下步驟：S1、數據編碼器的輸入數據為x，采用LSTM對于文本數據進行編碼，采用CNN模型對于圖片進行編碼，輸出結果為一個多維張量h；S2、將h中代表現實意義的維度作為主要坐標輸入Transfomer，然后經過數層Transfomer計算后，用Transfomer的前M個維度預測q(z|h)。本方案通過新的損失函數實現數據編碼z的離散化，保證z包含豐富的信息，最大程度的保留原始數據中的信息點。

技術領域

本發明涉及人工智能領域，尤其是涉及針對多模態數據離散語義編碼的裝置和方法。

背景技術

將多模態數據轉換為離散編碼在許多行業有著重大意義。首先因為離散變量相較于連續的模擬數據占據更小的空間，因此可以大大的節省數據存儲的空間，對于數據湖、物聯網和邊緣計算領域有著很高的作用，大大節省成本。其次，對于離散編碼可以更加高效的被檢索，因此對于大規模的信息(圖片、文本、視頻等)信息檢索，離散編碼有著巨大的優勢。最后，離散編碼相較于連續的向量有著更好的可讀性，對于促進科研人員理解人工智能系統，進行人工智能決策優化有著重要的作用。

發明內容

本發明主要是提供一種針對多模態數據離散語義編碼的方法和裝置，對原始數據中的信息點有較好的保留。

本發明針對上述技術問題主要是通過下述技術方案得以解決的：一種針對多模態數據離散語義編碼的裝置，包括：

數據編碼器：對輸入數據x編碼，輸出結果為一個多維張量h；

編碼生成器：根據張量h生成M個K維的離散變量z的概率分布q(z|h)，離散變量有M個，每個離散變量均為K維；

針對給定張量h,編碼生成器是一套神經網絡，基于M個K維的離散變量生成概率分布作為編碼結果q(z|h)；同時針對每一個維度，每個不同的變量，編碼器包括離散符號和嵌入向量，嵌入向量的維數為D，嵌入向量為M×D的矩陣；編碼器生成的輸出包含兩部分，第一部分是M個離散符號，另外是M個相對應的嵌入向量e(z)，大小為e(z)∈R^M×D；將h中代表現實意義的維度作為主要坐標輸入Transfomer模型，然后經過數層Transfomer計算后，用Transfomer模型的前M個輸出作為q(z|h)。

一種針對多模態數據離散語義編碼的方法，基于前述的編碼裝置，包括以下步驟：

S1、通過數據編碼器對輸入數據進行編碼，輸出結果為多維張量h；

S2、將h中代表現實意義的維度作為主要坐標輸入Transfomer模型，然后經過若干層(一般為12層)Transfomer計算后，用Transfomer模型的前M個輸出作為q(z|h)。

作為優選，步驟S1中，對于文本數據采用LSTM進行編碼，對于圖片文件采用CNN模型進行編碼。

作為優選，步驟S2中，h中代表現實意義的維度包括文字中的時間軸和圖片中的方位信息。

作為優選，一種針對多模態數據離散語義編碼的方法還包括對模型的訓練方法，訓練方法采用的損失函數為：

式中，q(z)按以下方式進行仿真：

式中，L_VAE為ELBO損失函數，I(Z,X)為最大互信息損失，q_qФ(z|x)為編碼器模型，p(x)為x的邊際分布，p_pФ(x|z)為解碼器模型，KL為K-L距離，q(z)為擬似的z的邊際分布，p(z)為z的邊際分布，N為一個訓練集的數據數量；

訓練時，得到編碼結果以后通過解碼器重建原始數據。