[發明專利]物體間關系識別設備、學習模型、識別方法和計算機可讀介質

有效

• 申請號: 201811472495.2
• 申請日: 2018-12-04
• 公開（公告）號: CN110059528B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 中山英樹;增井建斗;吉澤真太郎;落合亮吉
• 申請（專利權）人: 國立大學法人東京大學;豐田自動車株式會社
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/82;G06N3/0442;G06N3/0464;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 韓峰;孫志湧

1.一種物體間關系識別設備，所述物體間關系識別設備被配置為基于將圖像和在所述圖像中包括的物體之間的多個關系相關聯的學習數據進行學習，并且使用學習結果來識別和輸出在所述圖像中包含的物體之間的所述關系，所述設備包括：

第一學習裝置，所述第一學習裝置被配置為接收所述圖像并且輸出指示所述圖像的特征的第一特征量；

第二學習裝置，所述第二學習裝置被配置為接收從所述第一學習裝置輸出的所述第一特征量并且輸出維數比所述第一特征量低的第二特征量，并且所述第二學習裝置包括多個存儲單元，所述多個存儲單元在預定步長內保持內部狀態；以及

三元組部，所述三元組部包括多個三元組-單元，所述三元組-單元被連接至所述第二學習裝置的每個存儲單元、接收從每個所述存儲單元輸出的所述第二特征量、由第一識別單元至第三識別單元構成、并且分別輸出第一要素至第三要素的組合，所述第一識別單元至所述第三識別單元基于輸入的所述第二特征量分別識別所述第一要素至所述第三要素、輸出所述第一要素至所述第三要素的概率信息，

其中，所述三元組部基于從每個所述三元組-單元的所述第一識別單元至所述第三識別單元輸出的所述第一要素至所述第三要素的所述概率信息，來從自每個所述三元組-單元輸出的所述第一要素至所述第三要素的組合中選擇所述第一要素至所述第三要素的至少一個組合，并且識別并輸出所選擇的第一要素至所述第三要素的組合，作為在所述圖像中包含的物體之間的所述關系。

2.根據權利要求1所述的物體間關系識別設備，其中：

所述第二學習裝置是遞歸神經網絡，以及

所述第二學習裝置和所述三元組部通過優化預定功能的參數，基于將所述圖像和在物體之間的所述關系相關聯的學習數據來進行所述學習，并且將優化后的參數保持為所述學習結果。

3.根據權利要求1或2所述的物體間關系識別設備，其中：

所述第一識別單元和所述第三識別單元分別將所述第一要素和所述第三要素的所述概率信息輸出到第二識別單元，以及

所述第二識別單元基于從所述第一識別單元和所述第三識別單元輸出的所述第一要素和所述第三要素、以及從所述第二學習裝置的對應存儲單元輸出的所述第二特征量來識別第二要素，并且輸出所述第二要素的所述概率信息。

4.根據權利要求1或2所述的物體間關系識別設備，

其中，所述第二學習裝置的所述存儲單元是長短期記憶網絡LSTM(Long?Short-TermMemory)。

5.根據權利要求1或2所述的物體間關系識別設備，

其中，所述第一學習裝置被配置為卷積型神經網絡。

6.一種通過物體間關系識別設備進行的識別方法，所述物體間關系識別設備包括：

第一學習裝置，所述第一學習裝置被配置為接收圖像，輸出指示所述圖像的特征的第一特征量；

第二學習裝置，所述第二學習裝置被配置為接收從所述第一學習裝置輸出的所述第一特征量，輸出維數比所述第一特征量低的第二特征量，并且所述第二學習裝置具有在預定步長內保持內部狀態的多個存儲單元；以及

三元組部，所述三元組部包括多個三元組-單元，所述三元組-單元被連接至所述第二學習裝置的每個存儲單元、接收從每個所述存儲單元輸出的所述第二特征量、由第一識別單元至第三識別單元構成、并且分別輸出第一要素至第三要素的組合，所述第一識別單元至所述第三識別單元基于輸入的所述第二特征量來分別識別所述第一要素至所述第三要素、輸出所述第一要素至所述第三要素的概率信息，

所述識別方法包括：

所述三元組部基于從每個所述三元組-單元的所述第一識別單元至所述第三識別單元輸出的所述第一要素至所述第三要素的所述概率信息，從自每個所述三元組-單元輸出的所述第一要素至所述第三要素的組合中選擇所述第一要素至所述第三要素的至少一個組合，并且識別并輸出所選擇的所述第一要素至所述第三要素的組合作為在所述圖像中包含的物體之間的所述關系。

7.一種計算機可讀介質，所述計算機可讀介質存儲物體間關系識別設備的程序，所述物體間關系識別設備包括：

第一學習裝置，所述第一學習裝置被配置為接收圖像，輸出指示所述圖像的特征的第一特征量；

第二學習裝置，所述第二學習裝置被配置為接收從所述第一學習裝置輸出的所述第一特征量，輸出維數比所述第一特征量低的第二特征量，并且所述第二學習裝置具有在預定步長內保持內部狀態的多個存儲單元；以及

三元組部，所述三元組部包括多個三元組-單元，所述三元組-單元被連接至所述第二學習裝置的每個存儲單元、接收從每個所述存儲單元輸出的所述第二特征量、由第一識別單元至第三識別單元構成、并且分別輸出第一要素至第三要素的組合，所述第一識別單元至所述第三識別單元基于輸入的所述第二特征量來分別識別所述第一要素至所述第三要素、輸出所述第一要素至所述第三要素的概率信息，

其中，所述三元組部使計算機執行以下處理：

基于從每個所述三元組-單元的所述第一識別單元至所述第三識別單元輸出的所述第一要素至所述第三要素的所述概率信息，從自每個所述三元組-單元輸出的所述第一要素至所述第三要素的組合中選擇所述第一要素至所述第三要素的至少一個組合，并且識別并輸出所選擇的所述第一要素至所述第三要素的組合作為在所述圖像中包含的物體之間的所述關系。