[發明專利]基于視頻學習和文本學習的三元組獲取方法及裝置

有效

• 申請號: 202010830803.5
• 申請日: 2020-08-18
• 公開（公告）號: CN111950482B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 黃可思;劉文印;陳俊洪;朱展模;王思涵
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V20/40;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郭帥

本發明提供的一種基于視頻學習和文本學習的三元組獲取方法、裝置、共融機器人視覺編程及在線協作系統、機器人，首先對長視頻進行學習，得到各個視頻段對應的主體物體、受體物體以及動作類型，并組成相應的操作指令三元組，然后利用文本?三元組正負樣本數據集訓練自然語言模型，并將操作指令三元組組成的文本信息輸入到該自然語言模型中，以得到預測三元組，通過該預測三元組來糾正長視頻輸出的操作指令三元組，從而實現多模態的融合；并且，通過視頻學習和文本學習得到的目標三元組，其準確率相對較高，能夠有效提高機器人識別長視頻操作指令的正確率，有利于機器人更好地自主學習，提高學習效率。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種基于視頻學習和文本學習的三元組獲取方法、裝置、共融機器人視覺編程及在線協作系統、機器人。

背景技術

隨著機器人技術的不斷發展，機器人的自主學習能力也在不斷提高；例如，現有技術中，通常利用長視頻來學習操作指令三元組，機器人將輸入的長視頻按照動作劃分為視頻段，然后識別各個視頻段中的主體物體和受體物體的位置和種類，以及主體物體與受體物體之間的動作，從而構成操作指令三元組，隨后機器人執行相應的操作指令，從而完成自主學習的過程，并能夠根據不同場景做出不同的動作。

但是，機器人通過長視頻來提高自主學習能力的過程中，由于其主要通過識別各個視頻段中的主體物體和受體物體的位置和種類，以及主體物體與受體物體之間的動作來執行相應的操作指令，卻無法判斷出物體間的聯系以及動作與物體間的聯系，導致出現一些錯誤的三元組；比如輸出的三元組為(榨汁機，榨，碗)，機器人無法判斷該組三元組存在常識性的錯誤，仍舊會按照輸出的三元組來執行錯誤的動作，從而限制了機器人的自主學習能力，使得機器人執行動作的準確度和效率較低。

發明內容

本發明的目的旨在至少能解決上述的技術缺陷之一，特別是現有技術中機器人無法判斷出物體間的聯系以及動作與物體間的聯系，從而限制了機器人的自主學習能力，使得機器人執行動作的準確度和效率較低的技術缺陷。

本發明實施例提供了一種基于視頻學習和文本學習的三元組獲取方法，應用于機器人，所述方法包括：

獲取長視頻，將所述長視頻分割為多個視頻段，并根據所述視頻段的主體物體、受體物體以及動作類型確定對應的操作指令三元組；

將所述操作指令三元組組成文本信息后輸入到預先訓練好的自然語言模型中，得到預測三元組；其中，所述自然語言模型利用文本-三元組正負樣本數據集進行訓練；

將所述預測三元組與所述操作指令三元組進行比對，確定目標三元組，并將所述目標三元組輸入到所述機器人中，以使所述機器人執行相應的操作指令。

可選地，將所述長視頻分割為多個視頻段的步驟，包括：

確定所述長視頻中每一幀的預測動作，并將相同預測動作對應的幀進行合并，得到多個視頻段。

可選地，根據所述視頻段的主體物體、受體物體以及動作類型確定對應的操作指令三元組的步驟，包括：

根據所述視頻段中的預測動作確定各個視頻段對應的動作類型以及動作識別概率；

對所述視頻段進行目標檢測并分類，得到與所述視頻段對應的主體物體、受體物體以及對應的物體識別概率；

根據所述動作識別概率和所述物體識別概率選取相應的動作類型、主體物體和受體物體，并組成操作指令三元組。

可選地，將所述操作指令三元組組成文本信息后輸入到預先訓練好的自然語言模型中的步驟之前，還包括：

獲取多個長視頻，并組成視頻數據集，根據所述視頻數據集構建文本-三元組正負樣本數據集；

利用所述文本-三元組正負樣本數據集對預先建立的自然語言模型進行訓練，得到訓練后的自然語言模型。