[發明專利]圖像分析方法以及系統

在審

• 申請號: 201910065251.0
• 申請日: 2019-01-23
• 公開（公告）號: CN111476838A
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 鄭鵬鵬;李嘉豪;金鑫;涂丹丹
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06T7/60
• 分類號: G06T7/60;G06N3/04
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種圖像分析方法，其特征在于，包括：

獲取t幀圖像的影響因素，其中，所述影響因素包括所述t幀圖像中的每幀圖像中h個目標主體的自有特征以及h個目標主體之間的關系向量特征，每個目標主體的自有特征包括位置特征、屬性特征以及姿態特征，其中，t，h為大于1的自然數，所述位置特征表示對應的目標主體在所述圖像中的位置，所述屬性特征表示對應的目標主體的屬性，所述姿態特征表示對應的目標主體的動作，所述關系向量特征表示目標主體和目標主體之間的關系；

根據所述影響因素獲得全景語義描述，所述全景語義描述包括目標主體和目標主體之間，目標主體和目標主體的動作之間以及目標主體的動作與目標主體的動作之間的關系的描述。

2.根據權利要求1所述的方法，其特征在于，所述獲取t幀圖像的全景語義描述的影響因素包括：

對所述t幀圖像進行特征提取，從而得到t個特征向量；

對所述t個特征向量進行位置特征提取，從而得到所述位置特征；

對所述t個特征向量進行屬性特征提取，從而得到所述屬性特征；

對所述t個特征向量進行姿態特征提取，從而得到所述姿態特征；

對所述t個特征向量進行關系向量特征提取，從而得到所述關系向量特征。

3.根據權利要求2所述的方法，其特征在于，采用同一個卷積神經網絡執行對所述位置特征的提取，所述屬性特征的提取、所述姿態特征的提取和所述關系向量特征的提取。

4.根據權利要求2或3所述的方法，其特征在于，所述對所述t個特征向量進行關系向量特征提取，從而得到關系向量特征包括：

根據圖像i中的目標主體a和目標主體b對特征向量i進行感興趣區域池化，從而獲得與目標主體a和目標主體b對應的特征向量v_a,b，i，a和b均為自然數，并且，0i≤t，1≤a,b≤h，所述特征向量i根據所述圖像i提取；

根據目標主體a進行感興趣區域池化，從而獲得與目標主體a對應的特征向量v_a,a；

根據以下公式計算得到圖像i中的目標主體a和目標主體b之間的關系向量特征

其中，w_a,b＝sigmoid(w(v_a,b,v_a,a))，sigmoid()為S型的函數，v_a,b為目標主體a和目標主體b對應的特征向量，v_a,a為目標主體a對應的特征向量，w()為內積函數。

5.根據權利要求1至4任一權利要求所述的方法，其特征在于，所述根據所述影響因素獲得全景語義描述包括：

根據所述位置特征提取第一語義描述；

根據所述屬性特征以及所述第一語義描述提取第二語義描述；

根據所述姿態特征以及所述第二語義提取第三語義描述；

根據所述關系向量特征以及所述第三語義描述提取所述全景語義描述。

6.根據權利要求5所述的方法，其特征在于，

采用同一循環神經網絡執行所述第一語義描述、所述第二語義描述和所述第三語義描述的提取。

7.一種圖像分析系統，其特征在于，包括特征提取模塊以及全景語義模型，

所述特征提取模塊，用于獲取全景語義描述的影響因素，其中，所述影響因素包括t幀圖像中的每幀圖像中h個目標主體的自有特征以及h個目標主體之間的關系向量特征，所述自有特征包括位置特征、屬性特征以及姿態特征，其中，t，h為大于1的自然數，所述位置特征用于表示對應的目標主體在圖像中的位置，所述屬性特征用于表示對應的目標主體的屬性，所述姿態特征用于表示對應的目標主體的動作，所述關系向量特征用于表示目標主體和目標主體之間的關系；

所述全景語義模型，用于根據所述影響因素獲得全景語義描述，所述全景語義描述包括目標主體和目標主體之間，目標主體和動作之間以及動作與動作之間的關系的描述。