[發明專利]基于交通出行場景違章智能的分析方法、系統及存儲介質

有效

• 申請號: 202110026620.2
• 申請日: 2021-01-08
• 公開（公告）號: CN112766115B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 顧友良;雷金鐸;蘇鵬;趙乾;林偉
• 申請（專利權）人: 廣州紫為云科技有限公司
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V20/59;G06N3/04;G06N3/08
• 代理公司: 廣州名揚高玥專利代理事務所(普通合伙) 44738
• 代理人: 郭琳

1.一種基于交通出行場景違章智能分析方法，其特征在于，所述方法包括如下步驟：

步驟1，通過交通監控設備抓拍違章圖片，構建智能違章分析系統分析所抓拍的違章圖片；

步驟2，所述智能違章分析系統接收用戶輸入的抓拍的違章類型對應的參數；

步驟3，所述智能違章分析系統根據建立的交通違章廢片過濾模型對違章圖片進行過濾，所述過濾模型包括闖紅燈、超速、開車打手機、不系安全帶過濾模型，其中，所述闖紅燈廢片過濾模型包括如下步驟：

步驟101，對前端抓拍的特寫圖中車輛進行檢測算法識別，找到特寫圖中的嫌疑車輛，同時還對嫌疑車輛進行特殊車輛識別和非機動車識別；

步驟102，對抓拍的違章前、中、后的圖片使用交警識別算法進行處理，判斷圖片中是否出現交警指揮交通，若特殊情況由交警指揮則為廢片；對抓拍的違章前、中、后的圖片使用車輛識別和車牌識別算法進行處理，從中找到特寫圖中的嫌疑車輛，如圖中無特寫圖中的嫌疑車輛則為廢片；對場景圖片使用交通信號燈識別和地標識別算法進行處理，判斷嫌疑車輛所在車道方向是紅燈還是綠燈，綠燈則車輛是正常行駛為廢片；利用線體檢測算法進行處理，判斷違章圖中車輛相對于停止線的位置，未過停止線則為廢片未闖紅燈；若上述的判斷條件均滿足則判為正片，所述智能違章分析系統返回構成違反闖紅燈的證據和嫌疑車輛信息；

步驟103，識別交通燈，交通燈識別采用了one-stage detector的檢測算法，損失loss用focal loss能夠在既不降低推理速度的情況下準確率也可以達到two-stage detector的精度；

其中，所述安全帶判罰過濾模型包括如下步驟：

步驟201，對前端抓拍的特寫圖中車輛進行檢測算法識別，找到特寫圖中的嫌疑車輛，同時還對嫌疑車輛進行特殊車輛識別和非機動車識別；

步驟202，對違章圖使用車輛識別和車牌識別算法進行處理，和特寫圖進行匹配，找到嫌疑車輛；利用駕駛員檢測算法對嫌疑車輛進行處理，定位駕駛員位置信息并返回；對圖中定位到的駕駛員使用安全帶識別算法進行處理，若駕駛員已佩戴安全帶則返回為廢片，否則為正片，系統返回構成不系安全帶的證據和嫌疑車輛信息；

開車打手機判罰模型包括如下步驟：

步驟301，對前端抓拍的特寫圖中車輛進行檢測算法識別，找到特寫圖中的嫌疑車輛，同時還對嫌疑車輛進行特殊車輛識別和非機動車識別；

步驟302，對違章圖使用車輛識別和車牌識別算法進行處理，和特寫圖進行匹配，找到嫌疑車輛；利用駕駛員檢測算法對嫌疑車輛進行處理，定位駕駛員位置信息并返回；對圖中定位到的駕駛員使用手部檢測算法定位手部位置，和手部姿態識別算法來判斷駕駛員是否打手機或者非打手機行為；

步驟303，通過手部識別算法針對手部、打手機、握手機、握方向盤、手機進行識別，利用多尺度、多角度和多場景下的車輛駕駛員圖片的手部區域數據進行網絡的預訓練來初始化YOLO V4網絡，網絡輸出用于計算的損失函數有三個：回歸損失、分類損失、置信度損失；回歸損失采用GIOU損失函數，用于高效的收斂模型的位置預測能力，公式如下：

其中，A_I表示預測框與真實框之間的重合框面積，A_P表示預測框的面積，A_G表示真實框的面積；

分類損失預測類別概率使用focal loss作為預測框的分類，公式如下：

其中，a_i表示該類別的損失權重，γ表示困難樣本權重，p_i表示預測的類別概率；置信度損失使用二元交叉熵損失計算目標框的置信度損失，公式如下：

L_s＝-c log(p_s)-(1-c)log(1-p_s)

其中，c表示該類別的置信度值，p_s表示預測置信度；最后將訓練好的模型在驗證集和測試集上測試，后處理使用非極大值抑制對網絡輸出的多個預測框進行處理，將得分較低及重疊度較高的預測框提取，得到最終的預測結果；

所述步驟3進一步包括禮讓行人判罰模型，所述禮讓行人判罰模型包括如下步驟：

步驟401，對前端抓拍的特寫圖中車輛進行檢測算法識別，找到特寫圖中的嫌疑車輛，同時還對嫌疑車輛進行特殊車輛識別和非機動車識別；

步驟402，對違章圖使用車輛識別和車牌識別算法進行處理，和特寫圖進行匹配，找到嫌疑車輛；分別使用車牌顏色識別和車型識別算法對嫌疑車輛進行處理，若為特殊車輛則為廢片；對場景圖利用人行道檢測算法進行處理，得到人行道的位置信息，再使用行人檢測算法計算人行道上的行人的相對位置，若行人道上無行人則為廢片；結合嫌疑車輛與人行道的交集和嫌疑車輛與人行道上的行人的最短距離，設置閾值X，若距離小于X則視為未禮讓行人，判為正片；

步驟403，通過行人檢測算法檢測行人，采用Mosaic做數據增強方法，Mosaic屬于Cutmix的擴展，其中，Cutmix是兩張圖像的混合，即Cutout僅有一塊區域，而Mosaic是4張圖像的混合，一張圖相當于4張圖相當于變相的增加了訓練過程中batch的數量，也可以相應減少訓練過程中的batch，降低對于硬件的要求，在訓練過程中不會出現非信息像素，從而能夠提高訓練效率，訓練和推理代價保持不變；訓練模型時采用warmup預熱學習，由于剛開始訓練時，模型的權重是隨機初始化的，此時若選擇一個較大的學習率，可能帶來模型的不穩定，選擇Warmup預熱學習率的方式，可以使得開始訓練的幾個epoches或者一些steps內學習率較小，在預熱的小學習率下，模型可以慢慢趨于穩定，等待模型相對穩定后再選擇預先設置的學習率進行訓練，使得模型收斂速度變得更快，模型效果更佳；激活函數選用Mish，一種自正則的非單調神經激活函數，平滑的激活函數允許更好的信息深入神經網絡，從而得到更好的準確性和泛化，公式如下：

f(x)＝x*tanh(log(1+e^x))；

步驟4，根據用戶輸入的所述參數及所述過濾模型進行處理并返回正廢片分類和造成廢片的原因。