[發(fā)明專利]一種用于視頻監(jiān)控的多尺度柱面投影全景圖像生成方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201510066110.2
• 申請(qǐng)日: 2015-02-09
• 公開(kāi)（公告）號(hào): CN104574339A
• 公開(kāi)（公告）日: 2015-04-29
• 發(fā)明（設(shè)計(jì)）人: 仇成林;錢玲玲
• 申請(qǐng)（專利權(quán)）人: 上海安威士科技股份有限公司
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T3/40
• 代理公司: 上海國(guó)智知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31274
• 代理人: 潘建玲

1.一種用于視頻監(jiān)控的多尺度柱面投影全景圖像生成方法，包括如下步驟：

步驟一、截取待拼接圖像的預(yù)設(shè)重疊區(qū)域，并投影到柱面，獲得柱面投影圖像；

步驟二、針對(duì)所述步驟一中得到的柱面投影，利用不同尺度的高斯濾波建立圖像在各尺度下的子圖像，對(duì)各尺度的圖像采用改進(jìn)的Harris方法尋找特征點(diǎn)，并根據(jù)特征點(diǎn)所在的子圖像尺度信息采用SURF算子求這些特征點(diǎn)在該尺度下的特征向量；

步驟三、針對(duì)所述步驟二中求出的特征點(diǎn)，求得各特征點(diǎn)的特征向量之間的歐氏距離，尋找匹配的特征點(diǎn)對(duì)，并采用多次迭代求內(nèi)點(diǎn)數(shù)的方法對(duì)特征點(diǎn)對(duì)進(jìn)行過(guò)濾，求得最優(yōu)單應(yīng)性矩陣；

步驟四、根據(jù)所述最優(yōu)單應(yīng)性矩陣及所述單應(yīng)性矩陣下的各內(nèi)點(diǎn)坐標(biāo)，求得拼接接縫的坐標(biāo)以及待拼接圖像實(shí)際重疊區(qū)域；

步驟五，針對(duì)所述步驟四中拼接接縫左右實(shí)際重疊區(qū)域內(nèi)的待拼接圖像像素點(diǎn)進(jìn)行色度的調(diào)整以消除待拼接圖像之間的接縫，求得待拼接圖像之間的相對(duì)位移并將各待拼接圖像拼接在一起經(jīng)裁剪得到最終的全景圖像。

2.根據(jù)權(quán)利要求1所述的一種用于視頻監(jiān)控的多尺度柱面投影全景圖像生成方法，其特征在于，所述步驟一中對(duì)柱面投影圖像的獲取過(guò)程，具體步驟如下：

首先，對(duì)于待拼接圖像上的一點(diǎn)，假設(shè)其投影后在柱面圖像上的對(duì)應(yīng)點(diǎn)為，根據(jù)柱面投影算法，已知待拼接圖像的寬度和高度，求出投影后的圖像寬度和高度，具體公式如下：

；

；

其中，為拍攝焦距，表示待拼接圖像的寬度，表示待拼接圖像的高度；

將待投影圖像橫向邊緣坐標(biāo)即和代入的計(jì)算公式，求得投影圖像的橫向邊緣坐標(biāo)，從而可以得到投影后的圖像寬度為；

將待投影圖像橫向邊緣坐標(biāo)即，縱向邊緣坐標(biāo)即代入的計(jì)算公式，求得投影后的圖像高度為；

進(jìn)一步地，對(duì)投影后圖像中的任意點(diǎn)，采用投影逆變換公式求得其在待投影圖像中對(duì)應(yīng)點(diǎn)的坐標(biāo)為，均為整數(shù)，，為0和1之間的數(shù)；求點(diǎn)處的像素點(diǎn)值，即需要求得點(diǎn)周圍的四個(gè)像素點(diǎn)的值，點(diǎn)周圍的四個(gè)像素點(diǎn)的坐標(biāo)為，，，；

進(jìn)一步地，根據(jù)這四個(gè)點(diǎn)的像素值，采用雙線性插值的方式求得點(diǎn)處像素點(diǎn)的值，雙線性插值的公式為：

；

其中，表示待投影圖像中坐標(biāo)為處的像素點(diǎn)的坐標(biāo)值；

將得到的投影圖像作為待拼接圖像進(jìn)行步驟二的拼接操作。

3.根據(jù)權(quán)利要求1所述的一種用于視頻監(jiān)控的多尺度柱面投影全景圖像生成方法，其特征在于，所述步驟二中，利用不同尺度系數(shù)的高斯濾波器建立圖像在各尺度下的子圖像，求取該尺度下的特征向量的具體步驟如下：

首先，利用不同尺度系數(shù)的高斯濾波器建立圖像在各尺度下的子圖像，首先構(gòu)建尺度空間，不同尺度下各坐標(biāo)位置像素點(diǎn)的值的計(jì)算公式為：

；

；

其中，表示不同尺度下各坐標(biāo)位置像素點(diǎn)的值，表示像素點(diǎn)坐標(biāo)，表示像素點(diǎn)灰度值，表示尺度可變高斯函數(shù)，表示尺度值，為常數(shù)；

進(jìn)一步地，Harris算子是一種基于信號(hào)的角點(diǎn)特征提取算子，Harris特征檢測(cè)算法的基本原理為取以目標(biāo)像素點(diǎn)為中心的一個(gè)小窗口，計(jì)算窗口沿任何方向移動(dòng)后的灰度變化，從而得到整幅圖像的特征點(diǎn)，具體處理過(guò)程為：

求得各像素點(diǎn)處的自相關(guān)矩陣：

；

其中，表示自相關(guān)矩陣，表示自然對(duì)數(shù)的底數(shù)，是一個(gè)無(wú)限不循環(huán)小數(shù)，取值為2.71828，、表示此處像素點(diǎn)在方向及方向上的梯度值；

(2)根據(jù)求得的自相關(guān)矩陣，求得各像素點(diǎn)處的改進(jìn)型Harris角點(diǎn)響應(yīng)函數(shù)：

；

其中，表示自相關(guān)矩陣的行列式值，表示自相關(guān)矩陣的秩，為一個(gè)很小的值，用于避免當(dāng)為0時(shí)出現(xiàn)計(jì)算錯(cuò)誤，取值為0.0001，表示圖中相應(yīng)像素點(diǎn)的興趣值，興趣閾值選為最大興趣值的0.001倍，如果一個(gè)點(diǎn)的值大于興趣閾值，則把該點(diǎn)判定為特征點(diǎn)；

進(jìn)一步地，針對(duì)找到的特征點(diǎn)，采用SURF算子計(jì)算其特征向量，具體操作過(guò)程如下：

在每個(gè)特征點(diǎn)周圍選取一個(gè)正方形框，框的邊長(zhǎng)為20s，s指檢測(cè)到的該特征點(diǎn)所在的子圖像的尺度，把該框分為16個(gè)子區(qū)域，每個(gè)子區(qū)域統(tǒng)計(jì)25個(gè)像素的水平方向和垂直方向的Haar小波特征，此處的水平方向和垂直方向都是相對(duì)主方向而言的；該Haar小波特征值分別為水平方向值之和，水平方向絕對(duì)值之和，垂直方向之和，垂直方向絕對(duì)值之和；每個(gè)子區(qū)域都算出這4個(gè)Haar小波特征值，16個(gè)區(qū)域總共產(chǎn)生64個(gè)特征參數(shù)，即總共64維的特征向量。