[發明專利]一種基于時序行為檢測的工作流識別方法

有效

• 申請號: 201911097168.8
• 申請日: 2019-11-11
• 公開（公告）號: CN111104855B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: 胡海洋;王慶文;李忠金;陳潔;俞佳成;張力;余嘉偉;周美玲;陳振輝
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06V20/52;G06V20/40;G06N3/0464
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊舟濤

本發明公開了一種基于時序行為檢測的工作流識別方法。本發明提出了一種時序視頻稀疏采樣的方法，減少無用數據的同時加快了框架的整體速度。同時，為了加快識別速度和識別精度，本發明使用三維殘差網絡來提取特征，以保證時空特征提取的速度和效率。在時序候選子網中，為了避免漏掉某些候選片段，本發明使用Soft?NMS對NMS進行了更新，保證了檢測結果的召回率。通過上述策略，使得本發明所提出的框架更加適用于復雜工廠生產環境中的工作流識別。發明解決了動作在視頻中的時序定位問題，有效利用了工廠環境下產生的大量智能監控視頻，通過神經網絡檢測出視頻中活動的類別及其發生的時間片段，對工作流進行建模，從而進一步的對整個生產流程進行優化。

技術領域

本發明屬于計算機視覺，深度學習在工廠生產操作行為識別技術方面的應用，用于識別生產操作的操作類別與其發生的時間片段。目前工業生產中智能監控每天產生數以萬計的有價值的視頻數據，為了充分利用這些視頻數據，急需設計一個工作流識別方法能從大量視頻數據中自動提取特征，識別工廠生產操作的類別以及其發生的時間片段。

背景技術

隨著信息技術和制造技術的發展，智能制造已經成為工業生產領域的一個重要趨勢。工作流識別作為智能制造的一大技術方向，也進行著快速的革新。一般來說，一個工作流通常被看作是一系列獨立活動組成的序列。傳統的工作流識別技術主要是主要采用過程挖掘技術，即從業務過程信息系統產生的系統日志中提取和分析業務執行的相關內容，并及時調整業務流程或生產決策。

得益于計算機視覺技術的發展，當前的工作流識別主要通過生產車間里的攝像頭拍攝生產線上的各類生產活動，對視頻進行處理與計算，實現對工業流程進行快速的檢測。工廠生產車間內存在著明顯的光線變化，物體運動遮擋工作流識別的場景與普通的場景相比具有其特殊性,這使得傳統的依賴于目標物體檢測的識別方法難以適用。因為監控視頻為實時視頻，工作流識別又有其在識別速度上的實時性需求。

同時，由于工廠生產對工作流識別的需求進一步提高，工作流中不同的任務往往有不同的執行時間，并且在任務開始和任務結束之間沒有明確的定義，而基于行為識別的工作流識別無法對視頻中的活動進行時序定位。因此，本發明將工作流識別的重點從行為識別轉向了時序行為檢測。與基于行為識別的工作流識別不同，基于時序行為檢測的工作流識別方法還包括活動在時序上的定位，即活動的開始時間，結束時間。此任務的關鍵主要在于以下兩點：1、行為的時序邊界，很多方法都是采用對候選片段進行分類的框架，對于這類方法，重要的是較高的候選片段的質量，即在保證識別結果正確的情況下，減少候選片段的數量。2、行為的類別，即能準確的得到時序片段的類別信息。

然而，生產操作行為識別技術有其復雜性與特殊性。深度學習方法在圖像處理領域獲得了巨大的成功，許多基于卷積神經網絡的分類架構已經被設計用來處理未處理長視頻中的工作流識別。本發明設計一種基于時序行為檢測的工作流方法來檢測工廠中未處理的長視頻中動作的類別以及其發生的時間片段。

發明內容

本發明公開了一種基于時序行為檢測的工作流識別方法。由于工作流識別所處的制造環境中背景的光線變化頻繁、物體之間的嚴重遮擋、各種噪聲干擾、工人持續工作時間較長，因此與一般的視頻場景相比，工作流識別的場景具有復雜性和特殊性。由于工廠復雜環境中工人在進行某一生產活動時，會持續較長的一段時間，其中包含了大量無用視頻幀。針對這個現象，本發明提出了一種時序視頻稀疏采樣的方法，減少無用數據的同時加快了框架的整體速度。同時，為了加快識別速度和識別精度，本發明使用三維殘差網絡來提取特征，以保證時空特征提取的速度和效率。在時序候選子網中，為了避免漏掉某些候選片段，本發明使用Soft-NMS對NMS進行了更新，保證了檢測結果的召回率。通過上述策略，使得本發明所提出的框架更加適用于復雜工廠生產環境中的工作流識別。

本發明的具體步驟是：

步驟(1)、使用一種稀疏采樣策略對待處理視頻進行處理，包括將視頻中的連續幀劃分為一個區間，在區間內部進行隨機取樣，避免了視頻的冗余。