[發明專利]視覺推理方法和裝置

在審

• 申請號: 202010126091.9
• 申請日: 2020-02-20
• 公開（公告）號: CN113282720A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 李涓子;史佳欣;侯磊;張鵬;唐杰
• 申請（專利權）人: 清華大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/583;G06N5/04
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 鄭朝然

1.一種視覺推理方法，其特征在于，包括：

將待推理的圖像解析為場景圖；

獲取尋點模塊、尋邊模塊、轉移模塊和邏輯模塊，所述尋點模塊用于基于輸入的場景圖和待解答的問題確定第一節點特征信息，所述尋邊模塊用于基于輸入的場景圖和待解答的問題確定邊特征信息，所述轉移模塊用于基于輸入的第一節點特征信息和邊特征信息確定第二節點特征信息，所述邏輯模塊用于根據輸入的第一節點特征信息和/或第二節點特征信息確定判斷結果；

基于待解答的問題，確定與所述問題對應的模塊序列，所述模塊序列包括所述尋點模塊、所述尋邊模塊、所述轉移模塊和所述邏輯模塊中的至少部分的排列；

將所述場景圖按所述模塊序列執行，確定推理結果。

2.根據權利要求1所述的視覺推理方法，其特征在于，還包括：

基于所述待解答的問題，確定關鍵詞特征；

所述尋點模塊用于基于輸入的場景圖和待解答的問題確定第一節點特征信息，包括：所述尋點模塊用于基于輸入的場景圖和所述關鍵詞特征確定第一節點特征信息；

所述尋邊模塊用于基于輸入的場景圖和待解答的問題確定邊特征信息，包括：所述尋邊模塊用于基于輸入的場景圖和所述關鍵詞特征確定邊特征信息。

3.根據權利要求2所述的視覺推理方法，其特征在于，所述場景圖包括：N個節點以及N個節點之間的邊，所述節點對應所述圖像中的物體，所述邊對應所述物體之間的關系，所述方法還包括：

將所述場景圖轉換為節點特征向量和邊特征向量。

4.根據權利要求3所述的視覺推理方法，其特征在于，

所述尋點模塊用于基于輸入的場景圖和所述關鍵詞特征確定第一節點特征信息，包括：所述尋點模塊用于基于節點特征向量和所述關鍵詞特征確定第一節點特征信息；

所述尋邊模塊用于基于輸入的場景圖和所述關鍵詞特征確定邊特征信息，包括：所述尋邊模塊用于基于邊特征向量和所述關鍵詞特征確定邊特征信息。

5.根據權利要求1-4中任一項所述的視覺推理方法，其特征在于，所述轉移模塊用于基于輸入的第一節點特征信息和邊特征信息確定第二節點特征信息，包括：

所述轉移模塊用于將輸入的第一節點特征信息沿輸入的邊特征信息進行轉移。

6.根據權利要求1-4中任一項所述的視覺推理方法，其特征在于，所述邏輯模塊用于根據輸入的第一節點特征信息和/或第二節點特征信息確定判斷結果，包括：

所述邏輯模塊用于執行以下三種邏輯運算之一：

a°＝min(a¹,a²)；

a°＝max(a¹,a²)；

a°＝1-a¹；

其中a¹和a²為所述邏輯模塊的輸入，a°為所述邏輯模塊的輸出，min表示取最小值，max表示取最大值。

7.根據權利要求1-4中任一項所述的視覺推理方法，其特征在于，所述將所述場景圖按所述模塊序列執行，確定推理結果，包括：

將所述場景圖按所述模塊序列執行，將執行后的輸出結果輸入到分類器，所述分類器輸出所述推理結果。

8.一種視覺推理裝置，其特征在于，包括：

解析單元，用于將待推理的圖像解析為場景圖；

獲取單元，用于獲取尋點模塊、尋邊模塊、轉移模塊和邏輯模塊，所述尋點模塊用于基于輸入的場景圖和待解答的問題確定第一節點特征信息，所述尋邊模塊用于基于輸入的場景圖和待解答的問題確定邊特征信息，所述轉移模塊用于基于輸入的第一節點特征信息和邊特征信息確定第二節點特征信息，所述邏輯模塊用于根據輸入的第一節點特征信息和/或第二節點特征信息確定判斷結果；

分析單元，用于基于待解答的問題，確定與所述問題對應的模塊序列，所述模塊序列包括所述尋點模塊、所述尋邊模塊、所述轉移模塊和所述邏輯模塊中的至少部分的排列；

執行單元，用于將所述場景圖按所述模塊序列執行，確定推理結果。