[發(fā)明專利]一種模態(tài)信息補(bǔ)全方法、裝置及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010582370.6
• 申請(qǐng)日: 2020-06-23
• 公開（公告）號(hào): CN113837390A
• 公開（公告）日: 2021-12-24
• 發(fā)明（設(shè)計(jì)）人: 李太松;李明磊;吳益靈;懷寶興;袁晶
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 張翠華

1.一種模態(tài)信息補(bǔ)全方法，其特征在于，該方法包括：

獲取模態(tài)信息組，所述模態(tài)信息組包括至少兩個(gè)模態(tài)信息；

根據(jù)所述模態(tài)信息組的屬性，確定所述模態(tài)信息組缺失了第一模態(tài)信息的部分或全部，所述模態(tài)信息組還包括第二模態(tài)信息；

提取所述第二模態(tài)信息的特征向量；

基于預(yù)設(shè)的特性向量映射關(guān)系，根據(jù)所述第二模態(tài)信息的特征向量確定所述第一模態(tài)信息的目標(biāo)特征向量。

2.如權(quán)利要求1所述的方法，其特征在于，所述基于預(yù)設(shè)的特性向量映射關(guān)系，根據(jù)所述第二模態(tài)信息的特征向量確定所述第一模態(tài)信息的目標(biāo)特征向量，包括：

基于所述特性向量映射關(guān)系，根據(jù)所述第二模態(tài)信息的特征向量確定所述第一模態(tài)信息的候選特征向量；

根據(jù)所述第一模態(tài)信息的候選特征向量確定所述第一模態(tài)信息的目標(biāo)特征向量。

3.如權(quán)利要求1或2所述的方法，其特征在于，所述基于預(yù)設(shè)的特性向量映射關(guān)系，根據(jù)所述第二模態(tài)信息的特征向量確定所述第一模態(tài)信息的目標(biāo)特征向量，包括：

基于預(yù)設(shè)的機(jī)器學(xué)習(xí)模型，根據(jù)所述第二模態(tài)信息的特征向量確定所述第一模態(tài)信息的目標(biāo)特征向量，所述機(jī)器學(xué)習(xí)模型學(xué)習(xí)了所述特性向量映射關(guān)系，用于根據(jù)輸入的模態(tài)信息的特征向量輸出其他的模態(tài)信息的特征向量。

4.如權(quán)利要求1～3任一所述的方法，其特征在于，所述模態(tài)信息組的屬性包括下列的部分或全部：

所述模態(tài)信息組中模態(tài)信息的數(shù)量、所述模態(tài)信息組中每個(gè)模態(tài)信息的數(shù)據(jù)量。

5.如權(quán)利要求1～4任一所述的方法，其特征在于，所述方法還包括：

獲取所述第一輔助信息，根據(jù)所述第一輔助信息確定所述模態(tài)信息組的屬性，所述第一輔助信息用于指示下列的部分或全部：所述模態(tài)信息組中模態(tài)信息的數(shù)量、所述模態(tài)信息組中每個(gè)模態(tài)信息的數(shù)據(jù)量；或

根據(jù)預(yù)設(shè)的第二輔助信息，確定所述模態(tài)信息組的屬性，所述第二輔助信息用于指示下列的部分或全部：獲取的任一模態(tài)信息組中模態(tài)信息的數(shù)量、獲取的任一模態(tài)信息組中每個(gè)模態(tài)信息的數(shù)據(jù)量；或

根據(jù)其他模態(tài)信息組的屬性確定所述模態(tài)信息組的屬性，所述其他模態(tài)信息組為在獲取所述模態(tài)信息組之前所獲取的模態(tài)信息組。

6.如權(quán)利要求1～5任一所述的方法，其特征在于，所述模態(tài)信息組還包括第三模態(tài)信息；

所述方法還包括：

提取所述第三模態(tài)信息的特征向量；

基于所述特性向量映射關(guān)系，根據(jù)所述第三模態(tài)信息的特征向量和所述第二模態(tài)信的特征向量確定所述第一模態(tài)信息的目標(biāo)特征向量。

7.如權(quán)利要求6所述的方法，其特征在于，所述基于所述預(yù)設(shè)的特性向量映射關(guān)系，根據(jù)所述第三模態(tài)信息的特征向量和所述第二模態(tài)信的特征向量確定所述第一模態(tài)信息的目標(biāo)特征向量，包括：

基于所述特性向量映射關(guān)系，根據(jù)所述第三模態(tài)信息的特征向量確定所述第一模態(tài)信息的另一候選特征向量；

根據(jù)所述第一模態(tài)信息的候選特征向量和所述第一模態(tài)信息的另一候選特征向量確定所述第一模態(tài)信息的目標(biāo)特征向量。

8.如權(quán)利要求1～7任一所述的方法，其特征在于，所述模態(tài)信息組中包括的每個(gè)模態(tài)信息的類型不同。

9.一種補(bǔ)全裝置，其特征在于，該裝置包括：

信息獲取模塊，用于獲取模態(tài)信息組，所述模態(tài)信息組包括至少兩個(gè)模態(tài)信息；以及根據(jù)所述模態(tài)信息組的屬性，確定所述模態(tài)信息組缺失了第一模態(tài)信息的部分或全部，所述模態(tài)信息組還包括第二模態(tài)信息；

特征提取模塊，用于提取所述第二模態(tài)信息的特征向量；

補(bǔ)全模塊，用于基于預(yù)設(shè)的特性向量映射關(guān)系，根據(jù)所述第二模態(tài)信息的特征向量確定所述第一模態(tài)信息的目標(biāo)特征向量。