[發(fā)明專利]一種航班地面保障作業(yè)規(guī)范流程檢測系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910088718.3
• 申請日: 2019-01-30
• 公開（公告）號: CN109871786A
• 公開（公告）日: 2019-06-11
• 發(fā)明（設(shè)計）人: 劉勇;鄧淳方
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;H04N7/18;G06Q10/06;G06Q50/30
• 代理公司: 浙江杭州金通專利事務(wù)所有限公司 33100
• 代理人: 劉曉春

本發(fā)明提供一種航班地面保障作業(yè)規(guī)范流程檢測系統(tǒng)，包括視頻獲取模塊、深度學(xué)習(xí)檢測模塊和數(shù)據(jù)分析模塊；視頻獲取模塊獲取機場停機坪的監(jiān)控視頻，拍攝的視頻保存在機場本地數(shù)據(jù)中心，開放API供其他模塊調(diào)取；深度學(xué)習(xí)檢測模塊預(yù)先使用標(biāo)注數(shù)據(jù)訓(xùn)練目標(biāo)檢測模型并保存，從視頻獲取模塊提供的API接口調(diào)取監(jiān)控視頻，經(jīng)目標(biāo)檢測模型逐幀檢測后，將檢測結(jié)果通過API傳遞給數(shù)據(jù)分析模塊；數(shù)據(jù)分析模塊從API獲取視頻圖像幀檢測結(jié)果，使用狀態(tài)機模型分析視頻中的流程進行狀態(tài)并可視化顯示，對不符合地面保障作業(yè)規(guī)范流程的異常狀態(tài)發(fā)出警告信息，并將關(guān)鍵事件的時間段導(dǎo)出到ACDM數(shù)據(jù)庫。本發(fā)明實時、不間斷，節(jié)省人力、財力，提高管理效率。

技術(shù)領(lǐng)域

本發(fā)明涉及機場流程檢測技術(shù)領(lǐng)域，具體涉及一種航班地面保障作業(yè)規(guī)范流程檢測系統(tǒng)。

背景技術(shù)

隨著現(xiàn)代交通的飛速發(fā)展，機場需要更多的航空運輸任務(wù)，機場自身的管理任務(wù)也變得越來越復(fù)雜繁瑣。

盡管如今機場大多已經(jīng)引入數(shù)據(jù)庫技術(shù)對重要時間節(jié)點進行管理，但是地面保障作業(yè)仍然需要專門的監(jiān)管人員，不定時地對停機坪監(jiān)控視頻進行抽查，確認各類人員、設(shè)備、車輛的操作規(guī)范。這種方式需要耗費額外的人力去調(diào)取、分析長時間的監(jiān)控視頻，而且抽查的監(jiān)管方式也無法完全地排除安全隱患，一旦出現(xiàn)了未發(fā)現(xiàn)的隱患，往往會給機場帶來巨大的經(jīng)濟損失。

針對人工抽查這種方式的弊端，急需現(xiàn)有技術(shù)改進發(fā)展，用機器代替人工抽查來對航班地面保障作業(yè)的流程操作是否規(guī)范進行更加全面的評價監(jiān)管。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種可以實時、不間斷地判斷機場地面保障中各類人員、設(shè)備、車輛的操作是否規(guī)范、基于深度學(xué)習(xí)的航班地面保障作業(yè)規(guī)范流程檢測系統(tǒng)。

為了達到上述目的，本發(fā)明通過以下技術(shù)方案來實現(xiàn)：

一種航班地面保障作業(yè)規(guī)范流程檢測系統(tǒng)，包括視頻獲取模塊、深度學(xué)習(xí)檢測模塊和數(shù)據(jù)分析模塊；

視頻獲取模塊獲取機場停機坪的監(jiān)控視頻，視頻來自停機坪三個不同位置的相機，其中兩個相機分別固定在飛機的右側(cè)和左前方，另一個可旋轉(zhuǎn)相機安裝在飛機前方；拍攝的視頻保存在機場本地數(shù)據(jù)中心，開放API供其他模塊調(diào)取；

深度學(xué)習(xí)檢測模塊預(yù)先使用標(biāo)注數(shù)據(jù)訓(xùn)練目標(biāo)檢測模型并保存，使用檢測工具復(fù)檢保證數(shù)據(jù)標(biāo)注的可靠性，在darknet框架下構(gòu)建目標(biāo)檢測深度學(xué)習(xí)模型，使用標(biāo)注數(shù)據(jù)進行訓(xùn)練，保存訓(xùn)練好的模型參數(shù)；從視頻獲取模塊提供的API接口調(diào)取監(jiān)控視頻，經(jīng)目標(biāo)檢測模型逐幀檢測后，將檢測結(jié)果通過API傳遞給數(shù)據(jù)分析模塊；

數(shù)據(jù)分析模塊從API獲取視頻圖像幀檢測結(jié)果，對檢測結(jié)果進行數(shù)據(jù)預(yù)處理，使用狀態(tài)機模型分析視頻中的流程進行狀態(tài)并可視化顯示，對不符合地面保障作業(yè)規(guī)范流程的異常狀態(tài)發(fā)出警告信息，并將關(guān)鍵事件的時間段導(dǎo)出到ACDM數(shù)據(jù)庫。

進一步地，視頻獲取模塊中采集到的視頻按照不同視角分類存儲，視頻分辨率為1080P。

進一步地，深度學(xué)習(xí)檢測模塊中，使用目標(biāo)檢測標(biāo)注工具對提取出的圖像幀進行數(shù)據(jù)標(biāo)注，標(biāo)注目標(biāo)包括飛機、人、警示錐、輪檔、客梯車、裝卸貨車、配餐車、加油車、清/污水車、客艙門供10種地面保障流程對象；目標(biāo)的位置信息采用矩形邊界框表示，每個矩形邊界框用左上角坐標(biāo)和右下角坐標(biāo)定義。

進一步地，數(shù)據(jù)分析模塊對從深度學(xué)習(xí)檢測模塊API獲取的檢測結(jié)果進行數(shù)據(jù)預(yù)處理，聯(lián)合物體的當(dāng)前位置信息、運動信息、環(huán)境信息對當(dāng)前的流程狀態(tài)進行判斷；深度學(xué)習(xí)檢測模塊API提供物體的當(dāng)前位置信息，采用KCF跟蹤算法獲取物體的運動信息，采用傳統(tǒng)機器視覺方法獲取物體的環(huán)境信息。

進一步地，狀態(tài)機模型可根據(jù)數(shù)據(jù)預(yù)處理獲取的信息推斷得到物體的下一個狀態(tài)，并綜合判斷物體的位置和運動是否符合流程規(guī)范。