[發(fā)明專利]一種基于神經網絡的標注方法、裝置及電子設備

在審

• 申請?zhí)枺?/td>: 202011331317.5
• 申請日: 2020-11-24
• 公開（公告）號: CN112487913A
• 公開（公告）日: 2021-03-12
• 發(fā)明（設計）人: 李威;姚娟娟;宗立明;路堃;羅捷
• 申請（專利權）人: 北京市地鐵運營有限公司運營四分公司;北京市地鐵運營有限公司地鐵運營技術研發(fā)中心;中車工業(yè)研究院有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/04;G06T7/73
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 李文清

本發(fā)明提供一種基于神經網絡的標注方法、裝置及電子設備，包括：獲取司機操作列車的視頻圖像，所述視頻圖像中包含待標注的司機動作；通過動作檢測神經網絡實現對所述司機動作的提取，并標注所述司機動作的開始節(jié)點和結束節(jié)點；其中，所述動作檢測神經網絡包括用于提取所述視頻圖像的視頻時序特征的時序特征提取網絡、用于初步給出視頻中人物動作的開始和結束節(jié)點的動作邊界預測網絡，以及用于判斷所述動作邊界預測網絡輸出結果是否正確并將最終標注結果輸出的動作辨識網絡。本發(fā)明通過動作檢測神經網絡能夠標注預測司機操作列車的動作開始和結束節(jié)點，從而可以減少人工觀看的視頻量，提升標注效率。

技術領域

本發(fā)明涉及圖像處理技術領域，尤其涉及一種基于神經網絡的標注方法、裝置及電子設備。

背景技術

實時監(jiān)控軌道交通司機的操作行為是提升列車運行安全的有效手段，基于深度學習的行為識別司機監(jiān)控視頻方面初步具備良好的應用前景。通過監(jiān)督學習的形式可以明確監(jiān)控算法的學習目標，從而快速提升對司機操作行為辨識的準確率。

然而監(jiān)督學習需要提供人為標注樣本的屬性，所以通過人工的方式對司機操作列車視頻進行標注的過程，費時費力，因此需要一個優(yōu)化的標注方法，提升標注效率，成為亟待解決的問題。

發(fā)明內容

本發(fā)明提供一種基于神經網絡的標注方法、裝置及電子設備，用以解決現有技術中通過人工標注比較費時費力的缺陷，通過動作檢測神經網絡能夠自動標注司機動作的節(jié)點。

本發(fā)明提供一種基于神經網絡的標注方法，包括：

獲取司機操作列車的視頻圖像，所述視頻圖像中包含待標注的司機動作；

通過動作檢測神經網絡實現對所述司機動作的提取，并標注所述司機動作的開始節(jié)點和結束節(jié)點；

其中，所述動作檢測神經網絡包括用于提取所述視頻圖像的視頻時序特征的時序特征提取網絡、用于初步給出視頻中人物動作的開始和結束節(jié)點的動作邊界預測網絡，以及用于判斷所述動作邊界預測網絡輸出結果是否正確并將最終標注結果輸出的動作辨識網絡。

根據本發(fā)明提供一種基于神經網絡的標注方法，所述通過動作檢測神經網絡實現對所述司機動作的提取，并標注所述司機動作的開始節(jié)點和結束節(jié)點之前，包括：

識別所述視頻圖像中的司機位置以及骨骼特征點，并判斷所述骨骼特征點是否被遮擋；

如果判斷出所述骨骼特征點被遮擋，則通過正反卷積動作檢測神經網絡去除遮擋物并將因去除遮擋物造成關鍵信息缺失的畫面進行補全。

根據本發(fā)明提供一種基于神經網絡的標注方法，所述通過動作檢測神經網絡實現對所述司機動作的提取，并標注所述司機動作的開始節(jié)點和結束節(jié)點，包括：

將視頻圖像按照預設間隔幀數設置多個截取點，并從每個截取點截取預設幀數作為幀合集；

將每個幀合集輸入至所述時序特征提取網絡，以獲得每個幀合集的視頻時序特征；

其中，所述時序特征提取網絡的結構為：

第一卷積層(Conv1)、第一池化層(Pool1)、第二卷積層(Conv2)、第二池化層(Pool2)、第三卷積層(Conv3a)、第四卷積層(Conv3b)、第三池化層(Pool3)、第五卷積層(Conv4a)、第六卷積層(Conv4b)、第四池化層(Pool4)、第七卷積層(Conv5a)、第八卷積層(Conv5b)、第五池化層(Pool5)、全連接層(fc6)以及長短期記憶層(lstm)。

根據本發(fā)明提供一種基于神經網絡的標注方法，所述通過動作檢測神經網絡實現對所述司機動作的提取，并標注所述司機動作的開始節(jié)點和結束節(jié)點，還包括：

將每個幀合集的視頻時序特征依次輸入至所述動作邊界預測網絡；