[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡的航運貨物監(jiān)控視頻識別方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810952859.0
• 申請日: 2018-08-21
• 公開（公告）號: CN109086737B
• 公開（公告）日: 2021-11-02
• 發(fā)明（設計）人: 張鴻;劉巍;代剛;趙亮
• 申請（專利權）人: 武漢恒視途安科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 程華

本發(fā)明公開了一種基于卷積神經(jīng)網(wǎng)絡的航運貨物監(jiān)控視頻識別方法及系統(tǒng)。該方法包括：獲取航運監(jiān)控數(shù)據(jù)；根據(jù)所述航運監(jiān)控數(shù)據(jù)建立圖像數(shù)據(jù)庫；根據(jù)所述圖像數(shù)據(jù)庫按照比例閾值生成訓練集以及測試集；根據(jù)所述訓練集以及所述測試集建立深度殘差網(wǎng)絡模型；根據(jù)所述深度殘差網(wǎng)絡模型提取所述圖像數(shù)據(jù)庫內(nèi)的每一張圖像的圖像特征，并建立圖像特征數(shù)據(jù)庫；所述圖像特征數(shù)據(jù)庫包括圖像特征以及圖像特征向量；根據(jù)所述圖像特征數(shù)據(jù)庫建立神經(jīng)網(wǎng)絡分類器；根據(jù)所述神經(jīng)網(wǎng)絡分類器對當前航運事件進行分類識別，確定所述當前航運事件的航運事件類別。采用本發(fā)明所提供的識別方法及系統(tǒng)能夠提高當前航運事件的識別精度。

技術領域

本發(fā)明涉及航運貨物監(jiān)控視頻識別領域，特別是涉及一種基于卷積神經(jīng)網(wǎng)絡的航運貨物監(jiān)控視頻識別方法及系統(tǒng)。

背景技術

由于航運過程中各種情況的復雜性與可能的風險，對于航運過程的監(jiān)控一直是業(yè)內(nèi)十分重視的問題。隨著現(xiàn)代技術的更新、船舶行業(yè)的日益發(fā)展和船舶數(shù)量的增加，之前廣泛使用的人工監(jiān)管方法由于成本較高、人力耗費較大、反饋不及時等原因，已經(jīng)不能滿足航運過程中對于航運情況監(jiān)控的需求。在這種背景下，使用更高效的機器監(jiān)管代替人工監(jiān)管，是未來航運監(jiān)控發(fā)展的趨勢，而如何準確的判斷航運監(jiān)控中出現(xiàn)的事件的種類并對管理者加以提醒，是航運流程中機器監(jiān)管工作的瓶頸所在。

目前，在圖像分類、視頻動作識別等領域，深度學習技術體現(xiàn)出了較高的精準性和廣泛的適用性，是常用的方法。但具體到航運監(jiān)控這一領域，航運攝像頭拍攝的監(jiān)控視頻過于冗長，對其使用深度學習的方法進行特征提取和識別對于計算機性能的要求過高，不適合推廣；截取其中圖像進行分類，又會忽略時間維度，在某些事件如裝船、卸船的分辨上無法達到較高的準確度，由于現(xiàn)有技術在航運監(jiān)控中識別精度低，從而導致無法精確識別出在航運貨物過程中的當前操作。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于卷積神經(jīng)網(wǎng)絡的航運貨物監(jiān)控視頻識別方法及系統(tǒng)，以解決航運貨物監(jiān)控視頻識別精度低的問題。

為實現(xiàn)上述目的，本發(fā)明提供了如下方案：

一種基于卷積神經(jīng)網(wǎng)絡的航運貨物監(jiān)控視頻識別方法，包括：

獲取航運監(jiān)控數(shù)據(jù)；所述航運監(jiān)控數(shù)據(jù)包括船載攝像頭拍攝的視頻按時間間隔截取的圖片、攝像頭編號、拍攝時間以及航運事件類別；所述航運事件類別包括航運過程中所有操作的工作過程；所述工作過程包括攝像頭被遮擋過程、蓋雨布過程、未蓋布行駛過程、空倉過程、正常行駛過程、棚架蓋住過程、棚架打開過程、船舶靠港過程、裝船過程、卸船過程、雨布吹飛過程以及船舶停泊過程；

根據(jù)所述航運監(jiān)控數(shù)據(jù)建立圖像數(shù)據(jù)庫；所述圖像數(shù)據(jù)庫內(nèi)的圖像按照時間順序排列；

根據(jù)所述圖像數(shù)據(jù)庫按照比例閾值生成訓練集以及測試集；

根據(jù)所述訓練集以及所述測試集建立深度殘差網(wǎng)絡模型；

根據(jù)所述深度殘差網(wǎng)絡模型提取所述圖像數(shù)據(jù)庫內(nèi)的每一張圖像的圖像特征，并建立圖像特征數(shù)據(jù)庫；所述圖像特征數(shù)據(jù)庫包括圖像特征以及圖像特征向量；

根據(jù)所述圖像特征數(shù)據(jù)庫建立神經(jīng)網(wǎng)絡分類器；

根據(jù)所述神經(jīng)網(wǎng)絡分類器對當前航運事件進行分類識別，確定所述當前航運事件的航運事件類別。

可選的，所述根據(jù)所述圖像數(shù)據(jù)庫按照比例閾值生成訓練集以及測試集，具體包括：

以相同的所述航運事件類別對所述圖像數(shù)據(jù)庫內(nèi)的所有圖像命名，并將命名后的所有圖像按照時間順序排列，確定圖像序列；

重新排列所述圖像序列的順序，確定打亂后的圖像序列；

按照比例閾值將所述打亂后的圖像序列生成訓練集以及測試集。

可選的，所述按照比例閾值將所述打亂后的圖像序列生成訓練集以及測試集之后，還包括：