[發明專利]動態預測方法、系統及所適用的設備

有效

• 申請號: 201810348528.6
• 申請日: 2018-04-18
• 公開（公告）號: CN108537820B
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 張崇潔;朱廣翔
• 申請（專利權）人: 圖靈人工智能研究院（南京）有限公司
• 主分類號: G06T7/215
• 分類號: G06T7/215;G06N3/04
• 代理公司: 上海巔石知識產權代理事務所(普通合伙) 31309
• 代理人: 王再朝;高磊

本申請提供一種動態預測方法、系統及所適用的設備。所述動態預測方法包括以下步驟：獲取當前幀圖像；基于所述當前幀圖像確定包括待預測對象的待預測對象掩碼矩陣以及包括參照對象的參照對象掩碼矩陣；基于所述待預測對象掩碼矩陣和所述參照對象掩碼矩陣之間的關系以及預設行為預測所述待預測對象的運動。本申請的動態預測方法通過將所獲取的當前幀圖像分割成待預測對象和參照對象，并基于由對象掩碼矩陣表示的參照對象掩碼矩陣與待預測對象掩碼矩陣之間的關系以及預設行為來預測待預測對象的運動，使得能夠提高動態預測的泛化能力，并且采用掩碼矩陣表示對象，使得所述預測過程可解釋。

技術領域

本申請涉及圖像分析技術領域，特別是涉及一種動態預測方法、系統及所適用的設備。

背景技術

近年來，得益于大數據的普及和計算能力的提升，強化學習與深度學習的結合即深度強化學習取得了開拓性進展。在實際應用中，泛化和可解釋性是深度強化學習面臨的主要挑戰。其中，泛化是指模型對新鮮樣本的適應，即訓練好的模型在未見過數據上的表現。可解釋性是指區別于“黑盒子”而能夠解釋是如何解決問題的特性。一般地，為了解決上述問題，關鍵是要從物體層面學習智能體行為的作用其中，智能體表示具備行為能力的物體，如機器人、無人車等。

然而，針對智能體行為的作用的學習，現有技術通常采用的以行為為條件的動態預測(dynamics prediction)集中于像素級運動且直接預測行為的作用，這限制了對于所學習動態的可解釋性和泛化能力。

發明內容

鑒于以上所述現有技術的缺點，本申請的目的在于提供一種動態預測方法、系統及所適用的設備，用于解決現有技術中動態預測方面存在的泛化能力低及不可解釋的問題。

為實現上述目的及其他相關目的，本申請的第一方面提供一種動態預測方法，包括以下步驟：獲取當前幀圖像；基于所述當前幀圖像確定包括待預測對象的待預測對象掩碼矩陣以及包括參照對象的參照對象掩碼矩陣；基于所述待預測對象掩碼矩陣和所述參照對象掩碼矩陣之間的關系以及預設行為預測所述待預測對象的運動。

在本申請的第一方面的某些實施方式中，所述待預測對象掩碼矩陣是基于所述待預測對象確定的，所述參照對象掩碼矩陣是基于所述參照對象與所述待預測對象運動的關聯關系或所述參照對象的種類確定的。

在本申請的第一方面的某些實施方式中，所述基于所述當前幀圖像確定包括待預測對象的待預測對象掩碼矩陣以及包括參照對象的參照對象掩碼矩陣的步驟包括：使用預先訓練的第一卷積神經網絡基于所述當前幀圖像確定包括待預測對象的待預測對象掩碼矩陣以及包括參照對象的參照對象掩碼矩陣。

在本申請的第一方面的某些實施方式中，所述基于所述待預測對象掩碼矩陣和所述參照對象掩碼矩陣之間的關系以及預設行為預測所述待預測對象的運動的步驟包括：以所述待預測對象掩碼矩陣中待預測對象的位置為中心依據預設視野窗尺寸對所述參照對象掩碼矩陣進行裁剪以獲得經裁剪的參照對象掩碼矩陣；基于預先訓練的第二卷積神經網絡確定所述經裁剪的參照對象掩碼矩陣所表示的參照對象對所述待預測對象的作用；基于預設行為和所確定的作用預測所述待預測對象的運動。

在本申請的第一方面的某些實施方式中，所述動態預測方法還包括以下步驟：對所獲得的經裁剪的參照對象掩碼矩陣添加位置信息并基于預先訓練的第二卷積神經網絡確定所述經裁剪的參照對象掩碼矩陣所表示的參照對象對所述待預測對象的作用。

在本申請的第一方面的某些實施方式中，所述作用還包括預設的待預測對象自身的作用。

在本申請的第一方面的某些實施方式中，所述動態預測方法還包括以下步驟：從所述當前幀圖像中提取時不變背景；結合所提取的時不變背景和所預測的待預測對象的運動獲得下一幀圖像。