[發明專利]基于視頻學習和文本學習的三元組獲取方法及裝置

有效

• 申請號: 202010830803.5
• 申請日: 2020-08-18
• 公開（公告）號: CN111950482B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 黃可思;劉文印;陳俊洪;朱展模;王思涵
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V20/40;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郭帥

1.一種基于視頻學習和文本學習的三元組獲取方法，應用于機器人，其特征在于，所述方法包括：

獲取長視頻，將所述長視頻分割為多個視頻段，并根據所述視頻段的主體物體、受體物體以及動作類型確定對應的操作指令三元組；

將所述操作指令三元組組成文本信息后輸入到預先訓練好的自然語言模型中，得到預測三元組；其中，所述自然語言模型利用文本-三元組正負樣本數據集進行訓練；

將所述預測三元組與所述操作指令三元組進行比對，確定目標三元組，并將所述目標三元組輸入到所述機器人中，以使所述機器人執行相應的操作指令；

所述將所述操作指令三元組組成文本信息后輸入到預先訓練好的自然語言模型中，得到預測三元組的步驟，包括：

將所述操作指令三元組輸入到固定的句式中得到對應的句子，并將所述句子輸入到BERT+GRU模型中，通過所述BERT模型提取所述句子的特征數據，并將所述特征數據輸入到GRU模型中，得到主體物體矩陣、受體物體矩陣和動作類型矩陣；

利用sigmoid函數確定所述主體物體矩陣、受體物體矩陣和動作類型矩陣中各個類別對應的識別概率，并將所述主體物體矩陣、受體物體矩陣和動作類型矩陣中識別概率最高的類別組成預測三元組；

所述將所述預測三元組與所述操作指令三元組進行比對，確定目標三元組的步驟，包括：

將所述預測三元組中的各個類別與所述操作指令三元組中的各個類別之間進行比對；

若所述操作指令三元組中的各個類別與所述預測三元組不同，則將所述預測三元組作為目標三元組。

2.根據權利要求1所述的基于視頻學習和文本學習的三元組獲取方法，其特征在于，將所述長視頻分割為多個視頻段的步驟，包括：

確定所述長視頻中每一幀的預測動作，并將相同預測動作對應的幀進行合并，得到多個視頻段。

3.根據權利要求2所述的基于視頻學習和文本學習的三元組獲取方法，其特征在于，根據所述視頻段的主體物體、受體物體以及動作類型確定對應的操作指令三元組的步驟，包括：

根據所述視頻段中的預測動作確定各個視頻段對應的動作類型以及動作識別概率；

對所述視頻段進行目標檢測并分類，得到與所述視頻段對應的主體物體、受體物體以及對應的物體識別概率；

根據所述動作識別概率和所述物體識別概率選取相應的動作類型、主體物體和受體物體，并組成操作指令三元組。

4.根據權利要求1所述的基于視頻學習和文本學習的三元組獲取方法，其特征在于，將所述操作指令三元組組成文本信息后輸入到預先訓練好的自然語言模型中的步驟之前，還包括：

獲取多個長視頻，并組成視頻數據集，根據所述視頻數據集構建文本-三元組正負樣本數據集；

利用所述文本-三元組正負樣本數據集對預先建立的自然語言模型進行訓練，得到訓練后的自然語言模型。

5.根據權利要求4所述的基于視頻學習和文本學習的三元組獲取方法，其特征在于，所述自然語言模型為BERT+GRU模型；

利用所述文本-三元組正負樣本數據集對預先建立的自然語言模型進行訓練的步驟，包括：

通過所述BERT+GRU模型的BERT模型提取所述文本-三元組正負樣本數據集的特征數據，并將所述特征數據輸入到所述BERT+GRU模型的GRU模型中，得到三個長度相同的矩陣；

利用sigmoid函數確定各個矩陣中各個類別對應的識別概率，并將各個矩陣中識別概率最高的類別組成三元組。