[發明專利]主從結構分布式視頻處理系統及其調度方法

有效

• 申請號: 201210274203.0
• 申請日: 2012-08-02
• 公開（公告）號: CN102866920A
• 公開（公告）日: 2013-01-09
• 發明（設計）人: 金升鵬;管國辰;鄒拓宇
• 申請（專利權）人: 杭州?？低曄到y技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;H04N5/14
• 代理公司: 上海一平知識產權代理有限公司 31266
• 代理人: 成春榮;竺云

技術領域

本發明涉及視頻處理領域，特別涉及一種視頻分布式處理資源調度技術。

背景技術

現有的智能視頻分析很少使用分布式計算，究其原因，主要是因為相關項目的應用場景規模較小，不需要使用大規模分布式計算的方案。然而，隨著視頻監控、公共安全等行業的興起，世界各地平安城市和重大活動安保工作的開展，大規模智能視頻監控的應用已經越來越廣泛，分布式計算或云計算與安防行業的結合必將是大勢所趨。

目前的分布式智能視頻分析方案主要分為前端分析和后端分析兩種。目前采用前端分析的方案有一個缺點，前端設備一般是智能攝像機、數字視頻服務器、數字硬盤錄像機或者其他特殊化的設備，往往只能處理某一類的智能視頻分析問題，導致所處理的業務類型單一和系統的通用性較弱。采用后端分析的方法往往是部署一個PC機或服務器的集群，從前端設備取流、解碼后再做智能視頻分析，該方法相比前端分析的方法而言，軟件或算法升級簡單，業務通用性較強。在視頻監控領域，許多廠商推出了后端智能視頻分析設備或方案，例如各種智能視頻分析儀和視頻智能信息檢索服務器。問題在于，這些設備在處理數據的類型及其數據的處理類型上較為單一。例如上述智能視頻分析儀往往只能處理前端實時采集的數據，而對錄像文件的檢索只能由檢索服務器來完成。本發明的發明人發現，這樣的系統具有如下缺點：1）子系統類型較多，導致整體系統復雜度更高；2）子系統通用性不強；3）整體系統高可用性較低，例如，假設一個系統由上述分析儀和檢索服務器組成，若系統中的分析儀異常而檢索服務器正常工作，則系統喪失了處理實時數據的能力。

本發明的發明人還發現，中國專利號為201699880U的實用新型專利所公布的一種分布式智能視頻搜索系統中，其技術方案要求特殊的前端設備，如果要檢索的視頻信息變化，勢必要求前端設備作一定的修改，通用性不強。其次，沒有考慮節省計算資源的方法，例如，該專利所描述的智能前端的處理能力可能遠遠大于某一智能視頻分析任務，在處理此類任務時，智能前端的處理能力沒有得到最大化利用，造成資源浪費。該專利并沒有解決此類問題。

綜上所述，現有技術雖然能夠解決分布式智能視頻分析領域的部分問題，卻還有較大可完善和提高的空間。

發明內容

本發明的目的在于提供一種主從結構分布式視頻處理系統及其調度方法，實現處理資源的高效利用，減少系統資源的浪費損耗。

為解決上述技術問題，本發明的實施方式公開了一種主從結構分布式視頻處理系統的調度方法，分布式視頻處理系統包括用于分布式處理的至少兩個處理資源，該處理資源在分布式視頻處理系統的處理節點上采用分析算法進行任務處理，包括以下步驟：

根據作業的預定優先級對分布式視頻處理系統中的作業隊列中作業進行調度；

對于批處理作業，則分配分布式視頻處理系統中當前未被占用的最大處理能力值的處理資源；

對于流處理作業，則占用分布式視頻處理系統中當前剩余處理能力值大于該作業的任務復雜度且剩余處理能力值最小的處理資源。

本發明的實施方式還公開了一種主從結構分布式視頻處理系統的調度系統，分布式視頻處理系統包括用于分布式處理的至少兩個處理資源，該處理資源在分布式視頻處理系統的處理節點上采用分析算法進行任務處理，調度系統包括：

調度器，用于根據作業的預定優先級及作業類型對分布式視頻處理系統中的作業隊列中的作業進行調度；

第一資源分配單元，用于對于批處理作業，分配分布式視頻處理系統中當前未被占用的最大處理能力值的處理資源；

第二資源分配單元，用于對于流處理作業，占用分布式視頻處理系統中當前剩余處理能力值大于該作業的任務復雜度且剩余處理能力值最小的處理資源。

本發明實施方式與現有技術相比，主要區別及其效果在于：

在主從結構分布式視頻處理系統的任務復雜度和處理能力評估或歸一化方法基礎之上，將批處理作業與流處理作業統一在分布式視頻處理系統中調度處理，以及所處理數據的類型多樣化，不僅降低了系統的復雜度，而且提高了系統中處理資源的通用性，以及系統的高可用性。

進一步地，對分布式視頻處理系統中的處理資源的處理能力和作業隊列中流處理作業的復雜度進行歸一化，歸一化可以降低了系統開發的難度，便于統一兩種不同類型的數據處理，從而可以根據歸一化之后的處理資源的處理能力和流處理作業的復雜度，實現作業調度處理，從而進一步實現視頻分析處理資源的高效利用，減少系統資源的浪費損耗。