[發(fā)明專利]一種跨尺度空基平臺區(qū)域道路交通系統(tǒng)綜合監(jiān)視方法

有效

• 申請?zhí)枺?/td>: 201811204149.6
• 申請日: 2018-10-16
• 公開（公告）號: CN109448365B
• 公開（公告）日: 2020-03-06
• 發(fā)明（設計）人: 曹先彬;甄先通;李巖;王昊臣;胡宇韜
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G08G1/01
• 分類號: G08G1/01;H04N7/18
• 代理公司: 北京永創(chuàng)新實專利事務所 11121
• 代理人: 冀學軍

1.一種跨尺度空基平臺區(qū)域道路交通系統(tǒng)綜合監(jiān)視方法，其特征在于，具體步驟如下：

步驟一、基于卷積神經網絡訓練語義分割模型和物體檢測模型；

語義分割模型采用deeplabv3模型作為基本的網絡結構，使用空洞卷積和多尺度特征融合進行語義分割；

無人機的小范圍監(jiān)視采用faster-rcnn物體檢測模型；

步驟二、通過飛艇對監(jiān)視區(qū)域實時采集圖像，將視頻抽幀后，逐幀送入訓練好的語義分割模型進行處理，人工分辨每幀圖像中存在的異常區(qū)域并進行標注；

標注過程中盡可能多的將不太確定的區(qū)域標注成疑似異常區(qū)域；

語義分割模型對飛艇圖像進行處理的過程為：首先，針對每幀圖像，結合圖像的語義和紋理信息，對當前圖像上的每一個像素點進行二分類，分辨每一個像素點是否屬于公路系統(tǒng)；

然后，對每一個預測為公路系統(tǒng)的像素點輸出一個對應的分數S，該分數代表該點發(fā)生異常情況的可能性；

所述分數S的具體計算為：對卷積神經網絡最后一層的輸出做softmax，將輸出限制在0到1之間，輸出值為出現異常的概率；

最后，判斷分數S是否大于預先設置好的閾值K，如果是，將該點標注成疑似異常區(qū)域；

步驟三、針對當前幀圖像，將標注的相鄰的異常區(qū)域劃分成整片檢測區(qū)域，給該檢測區(qū)域分派一個無人機；

檢測區(qū)域的大小根據面積人為設定；

步驟四、每個無人機前往各自指定的檢測區(qū)域，使用訓練好的物體檢測模型進行低空監(jiān)視進行詳細檢測；

首先，針對某個檢測區(qū)域，對應的無人機進行拍攝得到小范圍高清光學圖像；

然后，使用faster-rcnn物體檢測模型來檢測小范圍高清光學圖像，分別檢測車輛，行人以及其余各種異常情況，確定異常車輛和行人出現的準確位置，結合無人機GPS數據得到異常狀況發(fā)生在整個區(qū)域中的精確位置，以及各異常情況的分數s；

步驟五、每個無人機將各自的檢測結果上傳至飛艇進行整合，得到分析結果。

2.如權利要求1所述的一種跨尺度空基平臺區(qū)域道路交通系統(tǒng)綜合監(jiān)視方法，其特征在于，步驟一中所述的語義分割模型具體為：首先，使用resnet-50作為base-model，對最后兩個res-block進行替換：將layer3中的卷積層改成dilation為2的空洞卷積，并刪除該層下采樣的部分，將layer4中的卷積層改成dilation為4的空洞卷積，并刪除該層下采樣的部分；

然后，在編碼器和解碼器之間分別采用dilation為2，4，8，16的空洞卷積處理最后一層的特征圖；

最后，將每個卷積核的輸出結果進行拼接操作，多尺度融合后進行上采樣，得到輸出結果。

3.如權利要求1所述的一種跨尺度空基平臺區(qū)域道路交通系統(tǒng)綜合監(jiān)視方法，其特征在于，步驟四中所述分數s是指：無人機的faster-rcnn物體檢測模型針對每一個檢測框給出一個置信度，該置信度的值代表該檢測框確實為異常的可能性概率。

4.如權利要求1所述的一種跨尺度空基平臺區(qū)域道路交通系統(tǒng)綜合監(jiān)視方法，其特征在于，所述步驟五具體為：針對某個異常區(qū)域，融合對該異常區(qū)域進行檢測的所有無人機的檢測結果，對該異常區(qū)域的異常情況進行投票決策，若平均分數mean(s)大于閾值K，則認為該點確實發(fā)生了異常；

平均分數mean(s)是指：針對該異常區(qū)域，所有無人機對該異常區(qū)域的分數總和除以無人機的架數；

同理得到每一個異常區(qū)域的異常發(fā)生情況，進而得到整個待檢測區(qū)域內所有的異常情況；

最后，根據空間距離將整個待檢測區(qū)域內的異常區(qū)域聚合成不同集合，對每一個集合的問題做出不同的決策。