[發明專利]一種基于神經網絡的視頻片段自動抽取系統及方法

在審

• 申請號: 202011037743.8
• 申請日: 2020-09-28
• 公開（公告）號: CN112149586A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 謝爾康;姜蓓蓓
• 申請（專利權）人: 上海翰聲信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F16/71;G06F16/735;G06F16/74;G06N3/04;G06N3/08
• 代理公司: 上海科律專利代理事務所(特殊普通合伙) 31290
• 代理人: 沈敏

本發明公開了一種基于神經網絡的視頻片段自動抽取系統及方法，系統包括：多個檢測服務器，其用于檢測輸入的原始視頻數據，通過機器學習視覺識別算法識別出違規操作視頻數據；第一數據庫，其用于存儲所述多個檢測服務器識別出的違規操作視頻數據；第二數據庫，其用于呈現和篩選所述多個檢測服務器識別出的違規操作視頻數據的條目。本發明提供的基于神經網絡的視頻片段自動抽取系統及方法，通過機器學習視覺識別算法自動識別出違規操作視頻數據，節省了安監人員篩選違規操作視頻數據需要耗費的人力，并且可以呈現和篩選違規操作視頻數據的條目，能夠更加直觀地展示違規操作情況，通過神經網絡模型提取出精準圖像，更為直觀地展示違規操作行為。

技術領域

本發明涉及視頻識別處理領域，尤其涉及一種基于神經網絡的視頻片段自動抽取系統及方法。

背景技術

目前，傳統的碼頭在不斷往自動化碼頭的方向發展，其中堆場內集卡將逐漸被替換成無人駕駛卡車，而無人駕駛卡車的行進過程需要橋吊駕駛員集中注意力及逆行操作，所以對橋吊駕駛員的行為進行規范變得非常重要。

橋吊駕駛員的違規操作包括違規操作電子設備、抽煙、打瞌睡、不佩戴安全帶等行為，由此可能會影響橋吊駕駛員的判斷和注意力，造成無人駕駛卡車的錯誤配合，影響整體調度。

現有技術中對于人員的行為規范通常由碼頭的安監部門安排人員對橋吊駕駛員的行為進行實時監控，需要負責監控的人員手動記錄下違規操作的時間和攝像頭地址來截取視頻片段進行留檔。如果負責監控的人員數量不夠，容易造成視頻數據遺漏的不良后果，如果增加人員數量又會因為人力成本的提高而造成資源的浪費。

因此有必要提供一種基于神經網絡的視頻片段自動抽取的系統及方法，可以對人員的行為規范的視頻片段進行自動抽取。

發明內容

本發明所要解決的技術問題是提供基于神經網絡的視頻片段自動抽取系統，通過機器學習視覺識別算法自動識別出違規操作視頻數據，節省了安監人員篩選違規操作視頻數據需要耗費的人力，并且可以呈現和篩選違規操作視頻數據的條目，能夠更加直觀地展示違規操作情況。

本發明為解決上述技術問題而采用的技術方案是提供一種基于神經網絡的視頻片段自動抽取系統，包括：

多個檢測服務器，其用于檢測輸入的原始視頻數據，通過機器學習視覺識別算法識別出違規操作視頻數據；

第一數據庫，其用于存儲所述多個檢測服務器識別出的違規操作視頻數據；

第二數據庫，其用于呈現和篩選所述多個檢測服務器識別出的違規操作視頻數據的條目。

優選地，所述通過機器學習視覺識別算法識別出違規操作視頻數據包括獲取所述原始視頻數據的幀數信息，在預設幀數之內，若連續檢測到無違規圖像的數量達到第一數值則記錄為無違規判斷點，若累計檢測違規圖像的數量達到第二數值則記錄為違規判斷點，從開始檢測的第一幀開始保存幀數，從第一幀開始到所述違規判斷點之間的幀數組成所述違規操作視頻數據。

優選地，所述預設幀數為123幀，所述第一數值為15幀，所述第二數值為78幀。

優選地，所述幀數信息是由分布式數據庫fastDFS存儲的。

優選地，所述違規操作視頻數據包括違規操作電子設備、抽煙、打瞌睡、不佩戴安全帶的行為。

優選地，所述呈現和篩選所述多個檢測服務器識別出的違規操作視頻數據的條目包括從所述違規操作視頻數據中通過神經網絡模型提取出精準圖像，用于快速判斷所述違規操作。

優選地，還包括：

違規操作視頻數據預覽模塊，其用于從所述第一數據庫獲取所述違規操作視頻數據，每隔預設的幀數進行循環展示；

搜索模塊，其用于對所述違規操作視頻數據進行搜索，搜索類目包括：倉位、時間以及違規類別；