[發明專利]基于同步積分SURF算法的多路視頻拼接方法

有效

• 申請號: 202010583759.2
• 申請日: 2020-06-23
• 公開（公告）號: CN111861883B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 張立國;劉強;金梅;李福昆;楊曼;李媛媛;胡林;李翔宇;李清天
• 申請（專利權）人: 燕山大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06T7/10;G06T7/80
• 代理公司: 北京孚睿灣知識產權代理事務所(普通合伙) 11474
• 代理人: 王冬杰

1.一種基于同步積分SURF算法的多路視頻拼接方法，其特征在于，其包括如下步驟：

步驟1：進行多路視頻采集；

步驟2：對多路視頻數據進行同步；

步驟3：對多路視頻數據進行圖像矯正；

步驟31：利用攝像頭標定軟件獲得視頻數據的圖像矯正映射表；所述映射表包含水平方向映射表map_x和垂直方向映射表map_y，分別以數組map_x(i,j)和map_y(i,j)的形式寫入單獨的頭文件，包含進ARM端工程中，并將map_x、map_y的數組首地址傳遞到FPGA端；所述map_x(i,j)和map_y(i,j)分別表示矯正后的圖像的(i,j)處像素在原圖像中橫坐標和縱坐標；

步驟32：傳遞所述映射表到FPGA端；FPGA端通過AXIMaster端口從map_x、map_y數組地址讀取數據并分別存儲在兩個hls::Mat對象中；

步驟33：緩存待矯正區域；

讀取一幀視頻緩存到hls::Mat對象src_Mat中；若要矯正src_Mat中第r行像素，需要將src_Mat中第r-m到第r+n行像素讀取到二維數組tmp_Array中，其中，n和m需根據不同攝像頭圖像的垂直偏差確定；若輸入圖像水平尺寸小于1024個像素，則使用ARRAY_PARITION指令將二維數組tmp_Array中的元素存儲到寄存器中；

步驟34：矯正圖像；

當src_Mat對象的前n+m行圖像讀取到二維數組tmp_Array中后，開始依序從水平方向映射表map_x、垂直方向映射表map_y中讀取映射坐標，并將像素值寫入結果圖像dst_Mat；當第一行像素矯正完成，繼續從src_Mat讀取一行像素并分別寫入到tmp_Array[row％(m+n)][col]位置，其中，row從0開始，每從src_Mat中讀取一行，row值加1；

步驟35：重復步驟34直到一幀圖像矯正完成；

步驟4：對矯正后的圖像進行圖像裁剪；

使用流水線算法將矯正后的圖像四周未填充像素數據的行和列所對應的像素有效信號和行同步信號置低，形成新的像素有效信號和行同步信號；

步驟5：對矯正后的圖像進行圖像拼接；

該步驟包括如下具體操作：

步驟51：拆分圖像；

采用遍歷hls::Mat對象的方法，拆分出來包含交叉范圍的圖像，交叉范圍以坐標LU_ij(x0,y0)，RB_ij(x1,y1)表示，其中LU_ij表示第i個攝像頭與第j個攝像頭圖像間，包含交叉范圍的圖像的左上角坐標；RB_ij為第i個攝像頭與第j個攝像頭圖像間，包含交叉范圍的圖像的右下角坐標；將這部分圖像存儲到hls::Window對象image_ij_c中；

步驟52：對圖像像素點進行積分；

以步驟51中的坐標LU_ij和RB_ij為邊界，以像素有效信號為驅動時鐘，每個時鐘上升沿計算一次積分，每個場同步信號上升沿到來時置零，計算公式如下：

I_(x,y)＝I_(x-1,y)-I_(x-1,y–1)+I_(x,y–1)+P_(x,y)；

式中，I_(x,y)表示坐標為(x，y)的像素與圖像左頂點之間像素的積分，P_(x,y)表示圖像坐標為(x，y)處的像素值；

步驟53：計算Hessian響應矩陣；

將步驟52中計算的圖像積分緩存到hls::Window對象I_W中,將不同尺寸的盒式濾波器數組通過AXIMaster端口讀入FPGA端并緩存到hls::Window對象中，使用不同尺寸濾波器與image_ij_c圖像進行卷積，計算出各Hessian響應矩陣；使用LOOP_MERGE指令實現同時計算不同濾波器尺寸的Hessian響應矩陣，并將結果分別緩存在hls:Window對象中；

步驟54：尋找特征點；

使用3×3×3的模板分別遍歷同一組，相鄰3層的Hessian響應矩陣；

若中心點的值大于預設的閾值，且比相鄰的26個點的值都大，則選為特征點；同時將此特征點的索引存儲到vector對象中，索引信息包括所在的組號、在組中的層號及(x,y)坐標；

步驟55：計算特征點主方向；

從步驟54中的vector對象中讀取特征點索引信息，并以每個特征點為中心，用張角為50°～70°的扇形滑動窗口，以60°為步長旋轉這個滑動窗口；并對窗口內的圖像Harr小波的響應值進行累加，主方向為最大的Harr響應累加值對應的方向；

步驟56：計算特征矢量；

繼續以每個特征點為中心，將20s×20s鄰域沿主方向劃分為4×4的子塊，每個子塊利用尺寸為2s的Harr模板進行響應值計算，s＝1.2*L/9，其中L為Hessian矩陣的尺寸，然后對響應值進行統計∑dx、∑|dx|、∑dy、∑|dy|形成特征矢量；

步驟57：特征點匹配；

通過計算兩個特征點間特征向量的歐氏距離來確定匹配度，歐氏距離越短，代表兩個特征點的匹配度越好；此外，如果兩個特征點的Hessian矩陣跡正負號相同，代表兩個特征點具有相同方向上的對比度變化，如果不同，說明這兩個特征點的對比度方向相反，直接剔除；

步驟58：計算最佳坐標變換矩陣；

隨機抽取4對匹配的特征點，利用這4對特征匹配坐標計算出透視矩陣H1，假設待拼接的圖像為第i個攝像頭與第j個攝像頭的圖像imagei和imagej的包含交叉區域的圖像image_ij_c和image_ji_c，將image_ji_c中所有特征匹配點經過該透視矩陣H1映射到image_ij_c的坐標空間，然后與image_ij_c匹配點實際坐標求歐氏距離；

之后再隨機抽取不同的四組特征匹配坐標，再計算透視矩陣H2，再求歐氏距離，如此重復多次，直到所有組合方式都用完；最后以歐氏距離最小的那個透視矩陣作為最佳透視矩陣，同時將歐氏距離過大的匹配特征點剔除；

步驟59：圖像拼接；

使用最佳坐標變換矩陣將imagej的坐標空間轉換到imagei的坐標空間，將圖像平移并映射到新的hls::Mat對象中完成拼接；

步驟6：將結果圖像裁剪為預設大小；

步驟7：利用VDMA技術，將拼接完成的圖像通過AXI4總線，以乒乓操作寫入DDR3存儲器相應的幀緩存地址所對應的存儲區域中；

步驟8：使用UDP協議通過千兆以太網將DDR3存儲器中的圖像發送到上位機，發送時，每個數據包包含4字節數據包編號，1024字節圖像數據，上位機根據數據包號將數據放入緩存區的固定位置以解決丟包造成整幅畫面混亂的問題。