[發(fā)明專利]一種面向抽檢的多工位監(jiān)控視頻語義檢索系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910329052.6
• 申請日: 2019-04-23
• 公開（公告）號: CN110046280A
• 公開（公告）日: 2019-07-23
• 發(fā)明（設計）人: 耿道渠;夏雪;王平;張成云;付信帥;杜一峰;劉奇林
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06F16/75
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅;陳棟梁

1.一種面向抽檢的多工位監(jiān)控視頻語義檢索系統(tǒng)，其特征在于，該系統(tǒng)的整體架構包括：原始數據層、數據處理層、語義層、服務層和應用層，原始數據層將采集到的監(jiān)控視頻數據傳給數據處理層，數據處理層將處理后的監(jiān)控視頻特征數據傳給語義層，語義層將進行語義處理之后的數據傳遞給服務層，服務層將數據傳遞給應用層，其中：

所述原始數據層包括某產品生產流水線上各工位的監(jiān)控視頻和用來進行訓練的樣本視頻庫，流水線上各工位安裝有CCD視覺檢測裝置，通過該CCD視覺檢測裝置對產品生產過程中經過各個工位的視頻進行采集，樣本視頻庫也是通過CCD視覺檢測裝置采集得到的視頻庫作為樣本；

所述數據處理層包括樣本視頻處理模塊和監(jiān)控視頻處理模塊；樣本視頻處理模塊，用于對樣本視頻進行視頻底層視覺處理；監(jiān)控視頻處理模塊，用于對視覺檢測裝置采集到的各工位的監(jiān)控視頻同樣地進行視頻底層視覺處理；

所述語義層包括視頻語義標注模塊、視頻信息語義化模塊、視頻領域知識本體模型、語義推理和查詢模塊、本體數據庫和語義規(guī)則文件；其中所述視頻語義標注模塊，利用基于改進的半監(jiān)督式機器學習的視頻標注方法來對視頻進行標注，其中改進了一種協(xié)同訓練分類器算法，通過增加一個分類器并采用低通濾波的方式去除孤立錯分的結果，使語義標注的標準率和標全率有所提高；所述視頻信息語義化模塊，通過監(jiān)控視頻語義分析本體將經過視頻語義標注模塊標注后的結果轉換為RDF資源描述框架數據，實例化存儲入圖形數據庫中；所述視頻領域知識本體模型是視頻領域共享概念模型的形式化規(guī)范說明；所述語義推理和查詢模塊用于處理應用層的查詢和推理請求；所述本體數據庫用于存放視頻相關的本體模型和語義數據；所述語義規(guī)則文件用于存放與監(jiān)控視頻檢索所需推理相關的規(guī)則；

所述服務層包括視頻查詢服務和權限檢測服務；

所述應用層包括視頻檢索模塊、視頻回放模塊、用戶權限模塊；其中，所述視頻檢索模塊，用于對某產品生產流水線上產品經過各工位的監(jiān)控視頻進行檢索，通過數據處理層和語義層將各工位監(jiān)控視頻的標注結果存入AllegroGraph圖形數據庫中，并通過SPARQL查詢返回應用層的查詢請求，供質檢人員在抽檢過程中對某一個產品生產過程中經過各個工位的監(jiān)控視頻的檢索；所述視頻回放模塊可以供質檢人員進行生產視頻回放；所述用戶權限模塊通過分析當前用戶登錄狀態(tài)是否滿足質檢人員的要求來限制該用戶能否登錄該系統(tǒng)。

2.根據權利要求1所述的一種面向抽檢的多工位監(jiān)控視頻語義檢索系統(tǒng)，其特征在于，所述原始數據層的產品生產流水線上各工位的監(jiān)控視頻包括工位一視頻、工位二視頻、工位三視頻、...工位N視頻。

3.根據權利要求1所述的一種面向抽檢的多工位監(jiān)控視頻語義檢索系統(tǒng)，其特征在于，所述數據處理層的監(jiān)控視頻數據處理模塊和樣本視頻處理模塊具體包括：關鍵幀提取、前景背景分離、特征提取，其中，樣本視頻處理模塊進行底層處理之后要添加進分類器進行訓練。

4.根據權利要求1所述的一種面向抽檢的多工位監(jiān)控視頻語義檢索系統(tǒng)，其特征在于，所述語義層的視頻語義標注模塊所需要描述的屬性包括視頻元數據、視頻底層視覺特征和視頻對象，其中，所述視頻語義標注模塊是利用一種基于改進的半監(jiān)督式機器學習視頻標注方法對視頻底層處理后的監(jiān)控視頻的特征進行語義標注，其中改進了一種協(xié)同訓練分類器算法，通過增加一個分類器并采用低通濾波的方式去除孤立錯分的結果，使語義標注的標準率和標全率有所提高，具體包括：首先對樣本視頻庫中的訓練樣本進行視頻底層視覺處理，提取關鍵幀，特征提取，并添加到分類器中進行機器學習，訓練好分類器算法后，將數據處理層處理后的監(jiān)控視頻底層視覺特征添加入分類器中進行基于半監(jiān)督式機器學習的視頻語義標注。