[發(fā)明專利]一種ARM-FPGA協(xié)同的廣域視頻實時融合方法及嵌入式設(shè)備

有效

• 申請?zhí)枺?/td>: 202010067417.5
• 申請日: 2020-01-20
• 公開（公告）號: CN111193877B
• 公開（公告）日: 2021-11-30
• 發(fā)明（設(shè)計）人: 吳軍;林賢華;王新杰;羅瀛
• 申請（專利權(quán)）人: 桂林電子科技大學(xué)
• 主分類號: H04N5/262
• 分類號: H04N5/262;H04N5/265;H04N5/907;H04N7/18
• 代理公司: 北京中濟(jì)緯天專利代理有限公司 11429
• 代理人: 石燕妮

1.一種ARM-FPGA協(xié)同的廣域視頻實時融合方法，其特征在于，包括：

讀取與第一處理器連接的安全數(shù)碼卡的Linux操作系統(tǒng)的鏡像文件，啟動整個Linux嵌入式操作系統(tǒng)，并完成系統(tǒng)的Linux內(nèi)核、文件系統(tǒng)以及設(shè)備樹的初始化配置和視頻流解碼庫的加載；

獲取第一數(shù)量路網(wǎng)絡(luò)攝像機(jī)視頻流，并基于視頻流解碼庫進(jìn)行解碼，得到第一數(shù)量路視頻的幀圖像，并存儲至與所述第一處理器連接的第一DDR存儲芯片內(nèi)；

基于存儲至安全數(shù)碼卡內(nèi)的查找表文件對第一數(shù)量路視頻的幀圖像進(jìn)行融合處理，得到全景圖像，其中，所述查找表文件包括第一坐標(biāo)映射表、第二坐標(biāo)映射表和加權(quán)融合權(quán)重列表；具體步驟包括：讀取同一時刻的第一數(shù)量路幀圖像，并對第一數(shù)量路的每一路幀圖像進(jìn)行分塊處理，得到每一路幀圖像對應(yīng)的三個圖像塊，所述圖像塊包括每一路幀圖像的獨立區(qū)域和相鄰兩路的重合區(qū)域；

獲取每一路幀圖像的獨立圖像塊，并基于第一坐標(biāo)映射表和第二坐標(biāo)映射表對獨立圖像塊的每個像素點進(jìn)行雙線性插值處理，得到全景圖像上的第二數(shù)量個獨立部分；

獲取相鄰兩路幀圖像的重合圖像塊，并基于加權(quán)融合權(quán)重列表對重合區(qū)域的圖像塊的每個像素點進(jìn)行雙線性插值處理，得到全景圖像上的第三數(shù)量個重合部分；其中，所述第二數(shù)量等于所述第一數(shù)量，所述第三數(shù)量等于第一數(shù)量減去一。

2.如權(quán)利要求1所述的ARM-FPGA協(xié)同的廣域視頻實時融合方法，其特征在于，在基于存儲至安全數(shù)碼卡內(nèi)的查找表文件對第一數(shù)量路視頻的幀圖像進(jìn)行融合處理，得到全景圖像之前，所述方法還包括：

轉(zhuǎn)換第一數(shù)量路視頻的幀圖像的數(shù)據(jù)格式為DDR存儲格式，并存儲至與第二處理器連接的第二DDR存儲芯片內(nèi)。

3.如權(quán)利要求1所述的ARM-FPGA協(xié)同的廣域視頻實時融合方法，其特征在于，在基于存儲至安全數(shù)碼卡內(nèi)的查找表文件對第一數(shù)量路視頻的幀圖像進(jìn)行融合處理，得到全景圖像之后，所述方法還包括：

傳輸所述全景圖像至與所述第一處理器連接的第一DDR存儲芯片內(nèi)緩存；

獲取所述全景圖像，并轉(zhuǎn)換處理為RGB888格式，同時生成所述全景圖像進(jìn)行HDMI顯示需要的視頻時序，所述視頻時序包括行同步、場同步和像素時鐘；

對每一幀RGB888格式全景圖像信號進(jìn)行差分轉(zhuǎn)換和對像素時鐘進(jìn)行編碼之后，將全景圖像和時鐘信號送至顯示器進(jìn)行解碼并實時顯示視頻圖像。

4.一種用于執(zhí)行如權(quán)利要求1至權(quán)利要求3任一項所述的ARM-FPGA協(xié)同的廣域視頻實時融合方法的嵌入式設(shè)備，其特征在于，

包括第一處理器、以太網(wǎng)控制器、DDR控制器、安全數(shù)碼卡、多個第一DDR存儲芯片、第二處理器和第二DDR存儲芯片，所述以太網(wǎng)控制器、所述DDR控制器和所述安全數(shù)碼卡分別與所述第一處理器電性連接，多個所述第一DDR存儲芯片與所述DDR控制器電性連接，所述第二處理器通過AXI總線協(xié)議與所述第一處理器進(jìn)行數(shù)據(jù)通信，所述第二DDR存儲芯片與所述第二處理器電性連接；其中，

所述第一處理器，用于整體調(diào)度、視頻流傳輸與解碼、查找表文件數(shù)據(jù)加載與保存以及拼接視頻存儲與推送；

所述以太網(wǎng)控制器，用于通過網(wǎng)口訪問網(wǎng)絡(luò)攝像機(jī)、控制網(wǎng)絡(luò)視頻流的傳輸，基于開源庫對視頻流進(jìn)行解碼；

所述DDR控制器，用于啟動Linux嵌入式操作系統(tǒng)本地運行、緩存視頻流解碼得到的各路幀圖像、緩存同一時刻各路幀圖像拼接結(jié)果；

所述安全數(shù)碼卡，用于存放查找表文件數(shù)據(jù)和Linux操作系統(tǒng)鏡像文件；

所述第一DDR存儲芯片，用于存儲解碼后的幀圖像；

所述第二處理器，用于視頻幀采樣、幀圖像基于查找表文件分塊、幀圖像融合及視頻拼接結(jié)果本地顯示；

所述第二DDR存儲芯片，用于緩存從所述第一DDR存儲芯片讀取的同一時刻的各路幀圖像。