[發明專利]機動車是否禮讓行人的檢測方法、裝置、電子設備及介質

有效

• 申請號: 202110295491.7
• 申請日: 2021-03-19
• 公開（公告）號: CN113011331B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 王健;皖彥淇;岳名揚;祝偲博;任慧慧;楊珺淞;申南玲;白璐;李昀浩;馬鈺
• 申請（專利權）人: 吉林大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G08G1/01;G06N3/04
• 代理公司: 深圳青年人專利商標代理有限公司 44350
• 代理人: 吳桂華

1.一種機動車是否禮讓行人的檢測方法，其特征在于，所述方法包括下述步驟：

使用訓練好的目標識別網絡對采集到的視頻幀進行目標元素識別，得到目標元素集合；

使用預設的目標跟蹤算法跟蹤所述目標元素集合中的目標元素的運動軌跡；

基于已識別出的主人行橫道線和跟蹤到的所述目標元素的運動軌跡，使用預設的違規行為檢測算法檢測當前視頻幀中是否存在機動車不禮讓行人的違規行為；

所述目標元素集合包括每個目標元素的類別和檢測框，所述目標跟蹤算法為最大交并比篩選法，所述使用預設的目標跟蹤算法跟蹤所述目標元素集合中的目標元素的運動軌跡的步驟，包括：

對于所述目標元素集合中的每個所述目標元素，根據當前所有的跟蹤路徑序列框列表獲得第一序列框列表集合，其中，所述第一序列框列表集合中包含所有與所述目標元素的類別相同的跟蹤路徑序列框列表，每個所述跟蹤路徑序列框列表中包含跟蹤到的目標元素的類別以及按時間順序排列的該目標元素的檢測框，每個所述跟蹤路徑序列框列表對應一個目標元素的運動軌跡；

計算所述目標元素的檢測框與所述第一序列框列表集合中每個跟蹤路徑序列框列表的最末檢測框的交并比；

判斷是否存在交并比目標框，所述交并比目標框為交并比大于預設的交并比閾值的最末檢測框；

若不存在所述交并比目標框，則確定所述目標元素為新出現的元素，并根據所述目標元素的檢測框和類別新建一個跟蹤路徑序列框列表；

若存在所述交并比目標框，則將最大交并比與次大交并比進行取對數檢驗；

若通過取對數檢驗，則確定跟蹤到所述目標元素的運動軌跡，并將所述目標元素的檢測框添加到交并比最大的最末檢測框所在的跟蹤路徑序列框列表中；

若未通過所述取對數檢驗，則獲取當前視頻幀中所述目標元素的最新特征圖，以及第二序列框列表集合中每個所述跟蹤路徑序列框列表的最末檢測框和次末檢測框分別對應的第一特征圖和第二特征圖，其中，所述第二序列框列表集合中包含所有的所述交并比目標框所在的跟蹤路徑序列框列表；

對所述最新特征圖以及所有的所述第一特征圖和第二特征圖進行歸一化處理，得到統一大小的特征圖；

分別計算經歸一化處理后的最新特征圖與每個所述第一特征圖和每個所述第二特征圖的第一余弦距離和第二余弦距離；

對每個所述第一余弦距離和每個所述第二余弦距離，分別取對數后得到對應的第一特征相似因子和第二特征相似因子；

對每個所述第一特征相似因子和與每個所述第一特征相似因子對應的第二特征相似因子進行線性加權計算，得到最小加權特征相似因子；

將與所述最小加權特征相似因子對應的跟蹤路徑序列框列表所對應的運動軌跡作為所述目標元素的運動軌跡，并將所述目標元素的檢測框添加到與所述最小加權特征相似因子對應的跟蹤路徑序列框列表中。

2.如權利要求1所述的方法，其特征在于，所述使用訓練好的目標識別網絡對采集到的視頻幀進行目標元素識別的步驟之前，還包括：

若滿足預設的人行橫道線識別條件，則識別所述主人行橫道線，其中，所述人行橫道線識別條件包括當前視頻幀為視頻首幀，或當前視頻幀為預設的人行橫道線識別周期對應的視頻幀，和/或當前視頻幀與前一該識別而未識別出人行橫道線的視頻幀的幀間隔等于預設的第一間隔閾值；

所述識別所述主人行橫道線的步驟，還包括：

使用訓練好的分割網絡對當前視頻幀進行人行橫道線實例分割，獲得至少一個粗定位人行橫道檢測框；

基于所有的所述粗定位人行橫道檢測框精定位所述主人行橫道線；

所述分割網絡為Mask R-CNN網絡，對所述Mask R-CNN網絡進行訓練的步驟，包括：

獲取車道線數據集；

若所述車道線數據集中的車道線標記僅包含車道線的側邊輪廓，則對所述車道線進行預處理，得到預處理后的車道線數據集，其中，所述車道線包括人行橫道線，預處理后的車道線的標記包含分割掩模；

將所述預處理后的車道線數據集輸入到所述Mask R-CNN網絡進行訓練，得到訓練好的Mask R-CNN網絡；

所述對所述車道線數據集中的車道線進行預處理的步驟，還包括：

若所述車道線的標記僅包含一條線，則以該線為軸心在兩邊各擴散預設的像素寬度，其中，所述像素寬度為5個像素寬度；

若所述車道線的標記包含兩條直線，則將所述兩條直 線的首端和末端分別進行連接，形成四邊形閉合區域，并按照所述車道線的類別對所述四邊形閉合區域進行填充。