[發明專利]采用雙核處理器對輸入視頻進行結構化描述的裝置和方法

有效

• 申請號: 201210214004.0
• 申請日: 2012-06-26
• 公開（公告）號: CN102724485B
• 公開（公告）日: 2012-10-10
• 發明（設計）人: 湯志偉;梅林;齊力;江洪;沈冬青;李萬才;李震宇;楊明
• 申請（專利權）人: 公安部第三研究所
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N5/14;G06F17/30
• 代理公司: 上海天翔知識產權代理有限公司 31224
• 代理人: 孫景宜

技術領域

本發明涉及一種實現視頻結構化描述的裝置和方法，特別涉及一種采用雙 核處理器對輸入視頻進行結構化描述的裝置和方法。

背景技術

隨著視頻監控資料在公共安防領域中的重要性越來越突出，目前的視頻監 控主要以人工監控和人工查閱錄像資料來查找證據和線索為主。隨著監控網絡 規模的不斷擴大、視頻資料的急劇增長，人工監控和查閱越來越難以滿足日益 增長的城市安全監控需求。另外，現有的原始視頻圖像數據屬于一種難以進行 檢索、查詢的非結構化數據，若需要通過視頻錄像來查找某個線索或者細節， 必須采用人工調閱該錄像視頻片斷方法，對該視頻錄像進行完整的分析。比如： 從一段監控錄像中查找“一輛紅色的轎車”，必須人工從頭至尾觀看該錄像片斷， 才能找出所有相關的畫面或場景。如果給出更多、更長的監控視頻錄像，人工 就很難完成分析和查找工作，因此如何對這些數據進行信息化管理和深度應用 是視頻智能處理分析技術領域的一個前沿課題。

申請號為201010199898.1的專利申請文件公開了一種用DSP和FPGA實現 視頻結構化描述的裝置及方法，用DSP和FPGA實現對輸入視頻進行結構化描 述將視頻結構化描述的智能圖象處理技術和基于DSP和FPGA的嵌入式系統進 行了有機的結合，對視頻圖像進行分析、理解，并產生結構化描述數據，對視 頻監控和視頻數據進行管理，實現對視頻圖像數據的查詢、瀏覽、檢索等信息 化的應用。但是該技術方案中的DSP和FPGA是兩個相互獨立的控制元件，在 使用過程中需要額外的外圍接口和控制程序來協調兩者之間的通訊控制。

發明內容

本發明的目的在于提供一種采用雙核處理器對輸入視頻進行結構化描述的 裝置，將圖象處理技術和基于雙核控制芯片的嵌入式系統進行了有機的結合， ARM核主要用來控制外圍模塊及設備通信，DSP核主要負責視頻結構化描述的 相關算法、對視頻圖像進行分析、理解，并產生結構化描述數據，克服了傳統 技術中的不足，從而實現本發明的目的。

本發明所解決的技術問題可以采用以下技術方案來實現：

采用雙核處理器對輸入視頻進行結構化描述的裝置，其核心為雙核控制芯 片，所述雙核控制芯片通過接口連接有圖像采集模塊、視頻結構化描述程序存 儲器、高速動態數據存儲器、斷電保存程序存儲器、網絡傳輸模塊、串行數據 模塊和電源，雙核控制芯片包括ARM核和DSP核，所述ARM核和DSP核均 與高速動態數據存儲器連接；

所述ARM核控制圖像采集模塊中的圖像A/D采樣模塊對輸入的原始視頻 圖像進行A/D采樣和轉換，得到圖像數字信號后傳輸給高速動態數據存儲器， 并向DSP核發送控制信號；

DSP核收到控制信號后，DSP核獲取高速動態數據存儲器中的圖像數字信 號，并對其進行鏡頭分割、關鍵幀提取、運動目標區域檢測和靜態目標區域分 割，得到若干視頻圖像片段、關鍵幀和子區域；然后對視頻圖像片段、關鍵幀 和子區域進行特征提取和高級語義分析處理，獲取圖像特征和高級語義數據， 最后對原始視頻圖像、圖像特征和高級語義數據進行編碼，得到視頻圖像的編 碼和視頻圖像結構化描述數據的編碼，編碼完畢后發送反饋信號給ARM核；

所述ARM核接收到反饋信號后，控制網絡傳輸模塊對視頻圖像的編碼和視 頻圖像結構化描述數據的編碼進行網絡傳輸。

在本發明的一個實施例中，所述圖像采集模塊包括圖像A/D采樣模塊和圖 像采集設備，圖像A/D采樣模塊獲取圖像采集設備提供的標準PAL、NTSC或 SECAM制式的視頻數據。

在本發明的一個實施例中，所述雙核控制芯片除了使用其內部的RAM外， 還在外部連接有高速動態數據存儲器，所述高速動態數據存儲器設置有公共數 據交換區。

在本發明的一個實施例中，所述鏡頭分割是指把一段視頻序列根據鏡頭邊 界分割成若干個鏡頭，每個鏡頭是一段時間序列的幀，連續記錄一個單獨的攝 像機的動作，描述一個連續的動作而沒有主要的內容變化，鏡頭分割主要通過 鏡頭邊界檢測來實現。

在本發明的一個實施例中，所述關鍵幀提取就是在某個鏡頭或者某個視頻 片斷中提取的一些具有代表性的視頻幀，用來表現該鏡頭或視頻片斷的內容； 關鍵幀提取的方法包括隨機抽取、根據圖像質量抽取、根據感興趣區域的位置 和大小抽取或事件觸發抽取。