[發(fā)明專利]多鏡頭全景聯(lián)動(dòng)裝置及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811220879.5
• 申請(qǐng)日: 2018-10-18
• 公開（公告）號(hào): CN109089048B
• 公開（公告）日: 2020-12-04
• 發(fā)明（設(shè)計(jì)）人: 于燕斌;張燕生;鐘志文;黃權(quán)興
• 申請(qǐng)（專利權(quán)）人: 廣州市盛光微電子有限公司
• 主分類號(hào): H04N5/232
• 分類號(hào): H04N5/232;G06T3/60;G06T3/40
• 代理公司: 北京超凡志成知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371
• 代理人: 王文紅

本發(fā)明提供了多鏡頭全景聯(lián)動(dòng)裝置及方法，包括采用集成電路芯片技術(shù)的：前置處理模塊對(duì)采集的多個(gè)原始圖像進(jìn)行處理，得到多個(gè)實(shí)景圖像；全景拼接模塊采用多圖像幾何映射變換的拼接組合對(duì)實(shí)景圖像進(jìn)行拼接和全局調(diào)整，得到全景拼接圖像；多維視覺處理模塊在多個(gè)視覺維度對(duì)實(shí)景圖像進(jìn)行邏輯計(jì)算，得到功能圖像；聯(lián)動(dòng)組合模塊檢測(cè)全景拼接圖像中的目標(biāo)區(qū)域，并在功能圖像中采集與目標(biāo)區(qū)域相匹配的局部增強(qiáng)區(qū)域，將局部增強(qiáng)區(qū)域與全景拼接圖像進(jìn)行聯(lián)動(dòng)，得到全景聯(lián)動(dòng)圖像和聯(lián)動(dòng)參數(shù)。本發(fā)明在一個(gè)芯片中集成全部的邏輯模塊，以增強(qiáng)整體與局部的聯(lián)動(dòng)效果，縱觀全局且把握細(xì)節(jié)，提高全景拼接聯(lián)動(dòng)的響應(yīng)速度，降低開發(fā)成本，減輕開發(fā)難度和產(chǎn)品體積。

技術(shù)領(lǐng)域

本發(fā)明涉及集成電路芯片設(shè)計(jì)領(lǐng)域，尤其是涉及多鏡頭全景聯(lián)動(dòng)裝置及方法。

背景技術(shù)

多鏡頭全景拼接與展示的應(yīng)用已經(jīng)非常普及了，目前主流的有兩種實(shí)現(xiàn)方法，一個(gè)是將多圖像采集后送到后臺(tái)以軟件實(shí)現(xiàn)拼接展示；一個(gè)是利用GPU(GraphicsProcessing Unit，圖形處理器)、DSP(Digital Signal Processing，數(shù)字信號(hào)處理)和FPGA(Field－Programmable Gate Array，現(xiàn)場(chǎng)可編程門陣列)技術(shù)在前端執(zhí)行圖像的全景拼接后，壓縮打包后輸出展示。全景與局部聯(lián)動(dòng)技術(shù)一般采用一個(gè)全局的全景拼接圖像，外加高清或長(zhǎng)焦鏡頭增加局部清晰度圖像的識(shí)別、跟蹤的聯(lián)動(dòng)效果。

一般而言，采用以上兩種方法的全景攝像機(jī)，以單一的全景拼接功能居多，如果與其他鏡頭整合，多采用外掛攝像機(jī)或FPGA方式通過DSP或GPU技術(shù)實(shí)現(xiàn)聯(lián)動(dòng)。但是，當(dāng)前已存方案具有如下缺點(diǎn)：只能實(shí)現(xiàn)單一的全景拼接功能；全景全局與局部攝像機(jī)識(shí)別與跟蹤的聯(lián)動(dòng)，會(huì)采用后端軟件方案或GPU、DSP或FPGA技術(shù)實(shí)現(xiàn)，以抵抗大數(shù)據(jù)量的沖擊，不會(huì)再有能力做諸如局部放大、夜視增強(qiáng)、深度檢測(cè)、圖像識(shí)別、特征點(diǎn)匹配等多維視覺的算法應(yīng)用，從而極大限制了這項(xiàng)技術(shù)的普及，不利于一般個(gè)人、家庭或小企業(yè)的應(yīng)用；目前與全景攝像機(jī)的聯(lián)動(dòng)的技術(shù)，會(huì)導(dǎo)致設(shè)備的體積大功耗大、開發(fā)難度大、實(shí)現(xiàn)成本居高不下。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供多鏡頭全景聯(lián)動(dòng)裝置及方法，通過采用集成電路技術(shù)，在一個(gè)芯片中集成全部聯(lián)動(dòng)功能的邏輯模塊，以強(qiáng)化邊緣計(jì)算能力，迅速定位和量化目標(biāo)所處全局位置，增強(qiáng)整體與局部的聯(lián)動(dòng)效果，即縱觀全局，又把握細(xì)節(jié)，提高全景拼接聯(lián)動(dòng)的響應(yīng)速度，減輕開發(fā)難度，降低開發(fā)成本和產(chǎn)品體積。

第一方面，本發(fā)明實(shí)施例提供了一種多鏡頭全景聯(lián)動(dòng)裝置，其中，包括集成于集成電路芯片之中的：前置處理模塊、全景拼接模塊、多維視覺處理模塊、聯(lián)動(dòng)組合模塊和編碼輸出模塊；

所述前置處理模塊，用于連接多鏡頭模組采集多個(gè)原始圖像，并對(duì)多個(gè)所述原始圖像進(jìn)行處理，得到多個(gè)實(shí)景圖像；

所述全景拼接模塊，與所述前置處理模塊相連，用于采用多圖像幾何映射變換的拼接組合對(duì)多個(gè)所述實(shí)景圖像進(jìn)行拼接和全局調(diào)整，得到全景拼接圖像；

所述多維視覺處理模塊，與所述前置處理模塊相連，用于在多個(gè)視覺維度對(duì)所述實(shí)景圖像進(jìn)行邏輯計(jì)算，得到功能圖像；

所述聯(lián)動(dòng)組合模塊，與所述全景拼接模塊和所述多維視覺處理模塊分別相連，用于檢測(cè)所述全景拼接圖像中的目標(biāo)區(qū)域，并在所述功能圖像中采集與所述目標(biāo)區(qū)域相匹配的局部增強(qiáng)區(qū)域，將所述局部增強(qiáng)區(qū)域與所述全景拼接圖像進(jìn)行聯(lián)動(dòng)，得到全景聯(lián)動(dòng)圖像和聯(lián)動(dòng)參數(shù)。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第一種可能的實(shí)施方式，其中，所述前置處理模塊包括圖像信號(hào)處理ISP單元和幾何映射變形單元：

所述ISP單元，用于對(duì)所述多鏡頭模組采集的所述原始圖像進(jìn)行質(zhì)量處理，得到處理后的圖像信息；

所述幾何映射變形單元，用于對(duì)所述處理后的圖像信息進(jìn)行畸變矯正與圖像旋轉(zhuǎn)變形的處理，得到多個(gè)對(duì)齊的所述實(shí)景圖像。