[發明專利]一種跨模態識別機器人指令的方法及系統

有效

• 申請號: 202010789075.8
• 申請日: 2020-08-07
• 公開（公告）號: CN111914777B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 劉文印;王思涵;陳俊洪;林大潤;朱展模
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G10L15/22
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郭帥

1.一種跨模態識別機器人指令的方法，其特征在于，包括：

S1、將獲取的各模態數據作為訓練集輸入至神經網絡中，經過訓練確立機器人指令識別模型；

所述機器人指令識別模型包括各模態低級特征提取模型、各模態指令特征提取模型、各模態特征選擇模型、特征融合模型；

步驟S1包括以下步驟：

S11、將獲取的各模態數據輸入至對應的各模態低級特征提取模型中，提取所述各模態數據對應的各模態低級特征，輸出所述各模態低級特征；

S12、將所述各模態低級特征輸入至對應的各模態指令特征提取模型中，提取所述各模態低級特征對應的各模態指令特征，并將所述各模態指令特征轉化為相同維度，輸出所述各模態指令特征；

S13、將所述各模態指令特征輸入至對應的各模態特征選擇模型中，對所述各模態指令特征進行擬合選擇，輸出各模態擬合選擇后的指令特征；

S14、將所述各模態擬合選擇后的指令特征輸入至特征融合模型中，對所述各模態擬合選擇后的指令特征進行特征融合，輸出高級指令特征；

S15、將所述高級指令特征輸入至識別分類模型中，對所述高級指令特征進行識別分類，并將識別分類結果轉譯成機器人指令；

S16、獲取已標記的真實機器人指令，將所述機器人指令與所述已標記的真實機器人指令輸入至判決模型中，計算所述機器人指令與所述已標記的真實機器人指令對應的損失函數，將所述損失函數反饋至各模態低級特征提取模型、各模態指令特征提取模型、各模態特征選擇模型；

S17、利用所述損失函數調整各模態低級特征提取模型、各模態指令特征提取模型、各模態特征選擇模型的參數，更新各模態低級特征提取模型、各模態指令特征提取模型、各模態特征選擇模型；

S2、將待識別的各模態數據輸入至所述機器人指令識別模型中，輸出機器人指令。

2.根據權利要求1所述的一種跨模態識別機器人指令的方法，其特征在于，所述步驟S11中輸入至神經網絡中的各模態數據在不同模態之間的數據為一一對應的關系，若缺失其中一個模態的數據，則將該模態置為無。

3.根據權利要求1所述的一種跨模態識別機器人指令的方法，其特征在于，所述步驟S2中輸入至機器人指令識別模型的待識別的各模態數據，在不同模態之間的數據為一一對應的關系，若缺失其中一個模態的數據，則將該模態置為無。

4.根據權利要求1所述的一種跨模態識別機器人指令的方法，其特征在于，所述步驟S13中的對所述各模態指令特征進行擬合選擇包括：

將所述各模態指令特征進行逐個比較，從各模態指令特征中各選擇出一個最接近真實指令特性的指令特征。

5.根據權利要求1所述的一種跨模態識別機器人指令的方法，其特征在于，所述各模態數據包括：

視頻數據、語音數據、圖像數據、文本數據中的至少兩項。

6.根據權利要求5所述的一種跨模態識別機器人指令的方法，其特征在于，若所述模態數據中包括視頻數據時，先對將視頻數據逐幀拆分成圖像數據，或者將視頻數據以一定的采樣間隔拆分成圖像數據，再將處理后的數據輸入至機器人指令識別模型。

7.根據權利要求1所述的一種跨模態識別機器人指令的方法，其特征在于，所述各模態低級特征提取模型包括：針對視頻數據與圖像數據，使用卷積神經網絡構成的視頻低級特征提取模型與圖像低級特征提取模型；

所述各模態指令特征提取模型包括：

針對視頻數據與圖像數據，使用雙流三維卷積神經網絡構成的視頻指令特征提取模型與圖像指令特征提取模型；針對語音序列數據，使用自注意力機制與循環神經網絡構成的語音指令特征提取模型；

所述各模態特征選擇模型，包括：卷積神經網絡與線性方程構成的所述各模態特征選擇模型；

所述判決模型，包括：門控循環單元網絡與分類器網絡構成的所述判決模型。

8.一種基于跨模態識別機器人指令的系統，其特征在于，包括：

各模態數據獲取模塊，用于獲取各模態數據；

各模態特征提取模塊，用于將獲取的各模態數據輸入至對應的各模態低級特征提取模型中，提取所述各模態數據對應的各模態低級特征，輸出所述各模態低級特征；將所述各模態低級特征輸入至對應的各模態指令特征提取模型中，提取所述各模態低級特征對應的各模態指令特征，并將所述各模態指令特征轉化為相同維度，輸出所述各模態指令特征；

選擇模塊，用于將所述各模態指令特征輸入至對應的各模態特征選擇模型中，對所述各模態指令特征進行擬合選擇，輸出各模態擬合選擇后的指令特征；

融合模塊，用于將所述各模態擬合選擇后的指令特征輸入至特征融合模型中，對所述各模態擬合選擇后的指令特征進行特征融合，輸出高級指令特征；

識別分類模塊，用于將所述高級指令特征輸入至識別分類模型中，對所述高級指令特征進行識別分類，并將識別分類結果轉譯成機器人指令；

判決模塊，用于獲取已標記的真實機器人指令，計算所述機器人指令與所述已標記的真實機器人指令對應的損失函數；將所述損失函數反饋至各模態特征提取模塊中的各模態低級特征提取模型與各模態指令特征提取模型、選擇模塊中的選擇模型；

輸出模塊，輸出所述機器人指令。