[發(fā)明專利]一種ARM-FPGA協(xié)同的廣域視頻實時融合方法及嵌入式設(shè)備

有效

• 申請?zhí)枺?/td>: 202010067417.5
• 申請日: 2020-01-20
• 公開（公告）號: CN111193877B
• 公開（公告）日: 2021-11-30
• 發(fā)明（設(shè)計）人: 吳軍;林賢華;王新杰;羅瀛
• 申請（專利權(quán)）人: 桂林電子科技大學(xué)
• 主分類號: H04N5/262
• 分類號: H04N5/262;H04N5/265;H04N5/907;H04N7/18
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 石燕妮

本發(fā)明公開了一種ARM?FPGA協(xié)同的廣域視頻實時融合方法及嵌入式設(shè)備，ARM?FPGA協(xié)同的廣域視頻實時融合方法包括讀取Linux操作系統(tǒng)的鏡像文件，啟動整個Linux嵌入式操作系統(tǒng)，并完成系統(tǒng)的Linux內(nèi)核、文件系統(tǒng)以及設(shè)備樹的初始化配置和視頻流解碼庫的加載；獲取第一數(shù)量路網(wǎng)絡(luò)攝像機視頻流，并基于視頻流解碼庫進行解碼，得到第一數(shù)量路視頻的幀圖像；基于存儲至安全數(shù)碼卡內(nèi)的查找表文件對第一數(shù)量路視頻的幀圖像進行融合處理，得到全景圖像，其中，查找表文件包括第一坐標映射表、第二坐標映射表和加權(quán)融合權(quán)重列表。實現(xiàn)運用查找表文件，用于縫合線拼接方式下不同場景、監(jiān)控視角、位置視頻影像間的融合，具有良好的通用性。

技術(shù)領(lǐng)域

本發(fā)明涉及安防監(jiān)控技術(shù)領(lǐng)域，尤其涉及一種ARM-FPGA協(xié)同的廣域視頻實時融合方法及嵌入式設(shè)備。

背景技術(shù)

作為有效的監(jiān)控手段，視頻網(wǎng)絡(luò)攝像機早已在城市安防、公共交通管理、生產(chǎn)控制等眾多應(yīng)用鄰域中發(fā)揮了不可替代的作用，尤其是新一代網(wǎng)絡(luò)攝像機IPC，可將采集的模擬視頻信號編碼壓縮成數(shù)字信號并通過網(wǎng)絡(luò)總線傳送到Web服務(wù)器，授權(quán)用戶可直接用瀏覽器實時觀看網(wǎng)絡(luò)攝像機視頻，還可控制網(wǎng)絡(luò)攝像機云臺轉(zhuǎn)動鏡頭或?qū)ο到y(tǒng)配置進行操作，使得遠程監(jiān)控實施以及施工、維護更簡單。然而，單個網(wǎng)絡(luò)攝像機只能采集有限位置、視角的視頻信息，其空間信息割裂、碎片化，不利于全面了解目標在區(qū)域行為狀態(tài)，這極大地限制了監(jiān)控系統(tǒng)作用的發(fā)揮。目前擴大視頻監(jiān)控視角、位置范圍主要有兩種方案：一是采用超廣角的全景網(wǎng)絡(luò)攝像機(如魚眼相機)直接獲得360°視野的全景視頻，二是在監(jiān)控區(qū)域內(nèi)規(guī)劃設(shè)置多個固定攝像頭，后臺再通過全景拼接技術(shù)融合不同位置監(jiān)控設(shè)備采集的多路視頻流以實現(xiàn)宏大場景視覺信息的集中呈現(xiàn)。兩種方案相比，前者采集視頻圖像幾何畸變較大，不符合人眼觀察習(xí)慣；后者應(yīng)用更靈活，可充分利用已有的傳統(tǒng)監(jiān)控設(shè)備，且大景深、高分辨率全景網(wǎng)絡(luò)攝像機本身也是以特定方式組合多個普通攝像頭得到。因此急需一種監(jiān)控廣域視頻實時融合的圖像拼接技術(shù)。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種ARM-FPGA協(xié)同的廣域視頻實時融合方法及嵌入式設(shè)備，旨在解決急需一種監(jiān)控廣域視頻實時融合的圖像拼接技術(shù)的問題。

為實現(xiàn)上述目的，第一方面，本發(fā)明提供了一種ARM-FPGA協(xié)同的廣域視頻實時融合方法，包括：

讀取與第一處理器連接的安全數(shù)碼卡的Linux操作系統(tǒng)的鏡像文件，啟動整個Linux嵌入式操作系統(tǒng)，并完成系統(tǒng)的Linux內(nèi)核、文件系統(tǒng)以及設(shè)備樹的初始化配置和視頻流解碼庫的加載；

獲取第一數(shù)量路網(wǎng)絡(luò)攝像機視頻流，并基于視頻流解碼庫進行解碼，得到第一數(shù)量路視頻的幀圖像，并存儲至與所述第一處理器連接的第一DDR存儲芯片內(nèi)；

基于存儲至安全數(shù)碼卡內(nèi)的查找表文件對第一數(shù)量路視頻的幀圖像進行融合處理，得到全景圖像，其中，所述查找表文件包括第一坐標映射表、第二坐標映射表和加權(quán)融合權(quán)重列表；具體步驟包括：讀取同一時刻的第一數(shù)量路幀圖像，并對第一數(shù)量路的每一路幀圖像進行分塊處理，得到每一路幀圖像對應(yīng)的三個圖像塊，所述圖像塊包括每一路幀圖像的獨立區(qū)域和相鄰兩路的重合區(qū)域；

獲取每一路幀圖像的獨立圖像塊，并基于第一坐標映射表和第二坐標映射表對獨立圖像塊的每個像素點進行雙線性插值處理，得到全景圖像上的第二數(shù)量個獨立部分；

獲取相鄰兩路幀圖像的重合圖像塊，并基于加權(quán)融合權(quán)重列表對重合區(qū)域的圖像塊的每個像素點進行雙線性插值處理，得到全景圖像上的第三數(shù)量個重合部分；其中，所述第二數(shù)量等于所述第一數(shù)量，所述第三數(shù)量等于第一數(shù)量減去一。

在一實施方式中，在基于存儲至安全數(shù)碼卡內(nèi)的查找表文件對第一數(shù)量路視頻的幀圖像進行融合處理，得到全景圖像之前，所述方法還包括：

轉(zhuǎn)換第一數(shù)量路視頻的幀圖像的數(shù)據(jù)格式為DDR存儲格式，并存儲至與第二處理器連接的第二DDR存儲芯片內(nèi)。