[發明專利]基于單攝像機等效雙目立體視覺模型的泡沫立體特征提取方法

有效

• 申請號: 201410238228.4
• 申請日: 2014-05-30
• 公開（公告）號: CN103971379B
• 公開（公告）日: 2017-07-28
• 發明（設計）人: 彭濤;趙林;趙永恒;彭小奇;宋彥坡;趙璐;彭霞
• 申請（專利權）人: 中南大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/55
• 代理公司: 長沙市融智專利事務所43114
• 代理人: 歐陽迪奇

1.一種基于單攝像機等效雙目立體視覺模型的泡沫立體特征提取方法，其特征在于包括以下步驟：

步驟一：獲取有色金屬浮選工業現場浮選槽內浮選工礦泡沫視頻；

步驟二：利用視頻中圖像因泡沫流動而產生的圖像變化，將步驟一視頻中相鄰兩幀泡沫圖像，看作由兩臺攝像機從不同方位在同一時刻拍攝的同一場景下的兩幅泡沫圖像；采用宏塊搜索策略獲得兩幀泡沫圖像中最為匹配的宏塊，并獲得宏塊在x、y方向上的偏移量；利用所獲得的偏移量來分別獲取兩幀圖像的重疊部分并構建可重疊視場，得到模擬人眼雙目成像過程的等效左眼和右眼圖像；

步驟三：分別對步驟二得到的等效左眼和右眼圖像進行圖像分割，得到氣泡連通區域；對分割后的氣泡連通區域進行預處理，去除非氣泡連通區域以得到氣泡區域；然后對氣泡區域進行標記以區分相同或不同氣泡；對已完成標記的氣泡區域，先進行氣泡匹配，通過計算得到各個氣泡的質心和面積，然后取質心距離最短且面積差異最小時的氣泡作為等效左右眼兩幅圖像中最為匹配的氣泡對；再在最為匹配的氣泡對上進行氣泡宏塊匹配，取包含單個氣泡質心且余弦相似度最大時的宏塊作為等效左右眼圖像中最為匹配的氣泡宏塊，并獲得該氣泡在x、y方向上的局部偏移量；進而得到每個氣泡的等效左、右攝像機基線距離，并求取相應每個氣泡的深度；

步驟四：由步驟三得到氣泡深度，計算氣泡的高度和體積；再根據步驟三得到的左、右眼圖像中的氣泡匹配對來獲取左、右眼圖像中的相對紅色分量，通過求相對紅色分量的均值用來表征氣泡的立體顏色特征，然后根據步驟二中得到的宏塊在x、y方向上的偏移量求出泡沫的平均流動速度，最后根據步驟三中氣泡匹配結果得出泡沫的平均破碎率，即得到浮選工礦泡沫圖像的立體泡沫特征。

2.根據權利要求1所述的基于單攝像機等效雙目立體視覺模型的泡沫立體特征提取方法，其特征在于，所述步驟一中獲取泡沫視頻包括以下步驟：

構建浮選泡沫圖像獲取平臺：將一個攝像機垂直安裝于有色金屬浮選工業現場的浮選槽上方，距離泡沫層的高度為90-125cm，攝像機通過光纖連接圖像采集卡，圖像采集卡連接計算機，攝像機拍攝泡沫層視頻信號并由圖像采集卡轉換為數字視頻信號送往計算機即獲得泡沫視頻。

3.根據權利要求1所述的基于單攝像機等效雙目立體視覺模型的泡沫立體特征提取方法，其特征在于，所述步驟二包括以下子步驟：

(1)當一臺攝像機從一個固定方位拍攝的流動泡沫視頻滿足以下條件時：

①攝像機所攝視頻中相鄰兩幀圖像間隔時間τ為要求攝像機每秒拍攝視頻大于等于15幀，則τ≤0.0667秒；

②在時間τ內，流動的氣泡看做是不可壓縮的理想流體，也就是說，氣泡內部液體的質量不會導致氣泡內部的壓力變化，即其中為泡沫流動速度向量，為散度算子；

③在時間τ內，氣泡流動看做是無旋運動，也就是說，氣泡內某點的剪切力為常數，即其中

④在時間τ內，氣泡流動的速率恒定且方向不變；

⑤在時間τ內，氣泡保持其形狀結構不變；

根據運動相對性原理，一臺攝像機在間隔時間τ內平移所拍攝的靜止泡沫的兩幅圖像，等同于泡沫靜止而這臺攝像機向泡沫流動方向相反移動拍攝的相鄰兩幀圖像，也即由兩臺攝像機從不同方位在同一時刻拍攝的同一場景下的兩幅泡沫圖像，滿足了用一臺攝像機從一個方位拍攝的相鄰兩幀流動泡沫圖像來構建模擬人的左右眼視覺圖像的要求；

(2)對相鄰兩幀泡沫圖像進行宏塊搜索，取余弦相似度最大時的宏塊作為兩幀圖像中最為匹配的宏塊，并獲得其在x、y方向上的偏移量；進而分別獲取兩幀圖像的可重建視場，用以構建模擬人眼雙目成像過程的等效左右眼圖像；具體步驟如下：

1)取前1幀圖像的一個中心矩形宏塊，計算投影向量；

在獲取的泡沫視頻中任取相鄰兩幀泡沫圖像，設前1幀即第i幀泡沫圖像為T_M×N(u,v)，后1幀即第i+1幀泡沫圖像為T′_M×N(u,v)，其中M×N為圖像的分辨率，u＝0,1,…,M-1，v＝0,1,…,N-1，分別用g(u,v)、g′(u,v)表示圖像T_M×N(u,v)、T′_M×N(u,v)在坐標(u,v)處像素的灰度值，其中M、N取偶數；

以圖像T_M×N(u,v)的中心點為中心，取一個大小為m×n的矩形宏塊B_m×n(i,j)，其坐標原點(i＝0,j＝0)位于圖像T_M×N的坐標處；將宏塊B_m×n(i,j)分別按第i行、第j列投影，即分別求B_m×n(i,j)第i行、第j列所有像素的灰度值之和，得到第i行、第j列的投影分別為：

將m個行投影構成一個行向量R_m＝[R(0),…,R(i)…,R(m-1)]，將n個列投影也構成一個行向量C_n＝[C(0),…,C(j)…,C(n-1)]，將行、列投影一起構成前1幀泡沫圖像T_M×N(u,v)中宏塊B_m×n(i,j)的投影向量P＝[R_m,C_n]，其中m、n取偶數，

2)取后1幀圖像中所有矩形宏塊，分別計算其投影向量；

以后1幀圖像T′_M×N(u,v)的中心點為中心，取一個與前1幀B_m×n(i,j)大小相同的矩形宏塊B′_m×n(i,j)；

在T′_M×N(u,v)中將宏塊B′_m×n(i,j)的坐標原點分別沿x方向和y方向逐點移動到(i＝i′+s_x,j＝j′+s_y)，其中i＝0,j＝0，s_x＝-s_x,B,…,-1,0,1,…,s_x,B，s_y＝-s_y,B,…,-1,0,1,…,s_y,B，得到4s_x,Bs_y,B+1個坐標原點在的宏塊其中i′＝0,j′＝0；

將T′_M×N(u,v)中所有宏塊分別按第i′行、第j′列投影，即分別求第i′行、第j′列所有像素的灰度值之和，得到第i′行、第j′列的投影分別為：

將每一個宏塊的m個行投影構成一個行向量R′_m＝[R′(0),…,R′(i′)…,R′(m-1)]，將n個列投影也構成一個行向量C′_n＝[C′(0),…,C′(j′)…,C′(n-1)]，行、列投影一起構成該宏塊的投影向量P′＝[R′_m,C′_n]；

3)搜索T′_M×N(u,v)中所有的宏塊尋找與T_M×N(u,v)中B_m×n(i,j)最為匹配的宏塊，并獲得其在x、y方向上的偏移量；

計算前1幀圖像中心宏塊B_m×n(i,j)的投影向量P與后1幀圖像各宏塊的投影向量P′的內積，得到前后2幀圖像的兩宏塊間余弦相似度，公式為：

其中，“·”表示向量點積，表示向量的長度；

搜索T′_M×N(u,v)中所有的宏塊取余弦相似度最大時對應的作為與前1幀圖像T_M×N(u,v)中B_m×n(i,j)最為匹配的宏塊，記為記錄此時的s_x,match和s_y,match，作為宏塊B′_m×n(i,j)在x、y方向上的偏移量；

4)分別獲取相鄰兩幀圖像的可重建視場，用以構建模擬人眼雙目成像過程的等效左右眼圖像：

提取前1幀圖像T_M×N(u,v)的第|min(0,s_y,match)|行到第M-|max(0,s_y,match)|-1行、第|min(0,s_x,match)|列到第N-|max(0,s_x,match)|-1列的一個大小為(M-|s_y,match|)×(N-|s_x,match|)的子圖，作為可重建視場，記為u_R＝0,1,…,M-|s_y,match|-1，v_R＝0,1,…,N-|s_x,match|-1；提取后1幀圖像T′_M×N(u,v)的第|max(0,s_y,match)|行到第M-|min(0,s_y,match)|-1行、第|max(0,s_x,match)|列到第N-|min(0,s_x,match)|-1列的一個大小為(M-|s_y,match|)×(N-|s_x,match|)的子圖，作為可重建視場，記為u_L＝0,1,…,M-|s_y,match|-1，v_L＝0,1,…,N-|s_x,match|-1；

分別用可重建視場和作為模擬人眼雙目成像過程的等效左眼圖像和右眼圖像。