[發明專利]利用乘客的關鍵點檢測車輛占有的方法及裝置

有效

• 申請號: 202010057857.2
• 申請日: 2020-01-19
• 公開（公告）號: CN111507156B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 金桂賢;金镕重;金鶴京;南云鉉;夫碩焄;成明哲;申東洙;呂東勳;柳宇宙;李明春;李炯樹;張泰雄;鄭景中;諸泓模;趙浩辰
• 申請（專利權）人: 斯特拉德視覺公司
• 主分類號: G06V20/59
• 分類號: G06V20/59;G06V10/25;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 上海華誠知識產權代理有限公司 31300
• 代理人: 肖華

1.一種方法，其特征在于，基于車輛的室內圖像的分析，利用乘客的關鍵點檢測車輛占有，包括：

步驟(a)，若獲取到所述車輛的所述室內圖像，則車輛占有檢測裝置(i)向特征提取網絡輸入所述室內圖像，使得所述特征提取網絡對所述室內圖像進行卷積運算，生成特征張量，(ii)向關鍵點熱圖及部分親和字段提取器輸入所述特征張量，使得所述關鍵點熱圖及部分親和字段提取器對所述特征張量進行基于全卷積網絡或1X1卷積層的卷積運算，生成所述特征張量的關鍵點熱圖及部分親和字段，(iii)向關鍵點檢測裝置輸入所述關鍵點熱圖及所述部分親和字段，使得所述關鍵點檢測裝置從各個所述關鍵點熱圖提取關鍵點，并且參照各個所述部分親和字段，對提取的所述關鍵點中連接概率最高的關鍵點進行成對方式連接，由此對提取的所述關鍵點進行分組，從而檢測與所述室內圖像內的各個乘客相對應的各個乘客的關鍵點；以及

步驟(b)，所述車輛占有檢測裝置向座位占有匹配器輸入所述各個乘客的關鍵點，使得所述座位占有匹配器參照所述車輛的各個座位的預設的感興趣區域及所述各個乘客的關鍵點，對各個所述座位匹配各個所述乘客，從而檢測所述車輛占有，

其中，在所述步驟(b)中，所述車輛占有檢測裝置使得所述座位占有匹配器計算所述各個乘客的關鍵點的各個平均點以及所述各個乘客的關鍵點的各個分散，針對各個所述座位的各個所述預設的感興趣區域確認(i)所述各個乘客的關鍵點、(ii)所述各個乘客的關鍵點的各個所述平均點以及(iii)所述各個乘客的關鍵點的各個分散是否滿足至少一個預設的條件，從而對各個所述座位匹配各個所述乘客，并且

所述車輛占有檢測裝置使得所述座位占有匹配器針對特定座位的特定感興趣區域，(i)與特定乘客相對應的特定平均點位于所述特定感興趣區域，(ii)與所述特定乘客相對應的特定分散為預設的第一臨界值以下，(iii)位于所述特定感興趣區域內的與所述特定乘客相對應的特定關鍵點的數量為預設的第二臨界值以上的情況下，對所述特定座位匹配所述特定乘客。

2.根據權利要求1所述的方法，其特征在于，在所述步驟(a)中，所述車輛占有檢測裝置向所述特征提取網絡輸入所述室內圖像，使得所述特征提取網絡利用包括執行多重卷積運算的一個以上卷積層的卷積塊，對所述室內圖像進行所述多重卷積運算。

3.根據權利要求1所述的方法，其特征在于，在所述步驟(a)中，所述車輛占有檢測裝置向所述關鍵點檢測裝置輸入所述關鍵點熱圖及所述部分親和字段，使得所述關鍵點檢測裝置提取各個所述關鍵點熱圖上的各個最高位置作為與各個所述關鍵點熱圖相對應的各個所述關鍵點。

4.根據權利要求1所述的方法，其特征在于，

所述特征提取網絡和所述關鍵點熱圖及部分親和字段提取器處于由學習裝置學習的狀態，所述學習裝置若獲取到包括一個以上學習用對象的至少一個訓練圖像，則處于執行如下步驟的狀態：

步驟(i)，向所述特征提取網絡輸入所述訓練圖像，使得所述特征提取網絡對所述訓練圖像進行卷積運算，從而生成一個以上學習用特征張量；

步驟(ii)，向所述關鍵點熱圖及部分親和字段提取器輸入所述學習用特征張量，使得所述關鍵點熱圖及部分親和字段提取器生成對于各個所述學習用特征張量的學習用關鍵點熱圖及學習用部分親和字段；

步驟(iii)，向所述關鍵點檢測裝置輸入所述學習用關鍵點熱圖及所述學習用部分親和字段，使得所述關鍵點檢測裝置從各個所述學習用關鍵點熱圖提取學習用關鍵點，參照各個所述學習用部分親和字段對提取的所述學習用關鍵點進行分組，檢測與所述訓練圖像內的各個所述學習用對象相對應的各學習用對象的關鍵點；以及

步驟(iv)，使得損失層參照所述各學習用對象的關鍵點及與其相對應的真實數據計算一個以上損失，基于利用所述損失的反向傳播調整所述特征提取網絡和所述關鍵點熱圖及部分親和字段提取器的一個以上參數，使得所述損失最小化。