[發(fā)明專利]基于能量轉(zhuǎn)移和均勻縮放的圖像重定向方法

有效

• 申請?zhí)枺?/td>: 201811274899.0
• 申請日: 2018-10-30
• 公開（公告）號: CN109447970B
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 于明;李仰中;郭迎春;劉依;于洋;師碩;郝小可;朱葉;閻剛
• 申請（專利權(quán)）人: 河北工業(yè)大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/90;G06K9/00;G06K9/62
• 代理公司: 天津翰林知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 12210
• 代理人: 胡安朋

1.基于能量轉(zhuǎn)移和均勻縮放的圖像重定向方法，其特征在于具體步驟如下：

第一步，輸入圖像進(jìn)行預(yù)處理：

通過USB接口輸入彩色RGB圖像I_color，將其由RGB空間轉(zhuǎn)換到灰度空間得到灰度圖像I_gray，采用的公式(1)如下：

I_gray＝0.299I_R+0.587I_G+0.114I_B (1)，

公式(1)中，I_R、I_G、I_B分別是所輸入的彩色RGB圖像I_color的紅色、綠色和藍(lán)色通道，同時(shí)保留原始所輸入的彩色RGB圖像I_color的三個分量，所述輸入的彩色RGB圖像I_color的大小為M×N像素，M表示圖像的高度，N表示圖像的寬度，由此完成輸入圖像進(jìn)行預(yù)處理；

以下步驟是，A.對圖像進(jìn)行水平方向縮放：

第二步，提取彩色RGB圖像I_color的重要度圖：

第2.1步，檢測彩色RGB圖像I_color中的顯著性目標(biāo)，得到顯著度圖：

對上述第一步的原始所輸入的彩色RGB圖像I_color通過公知的視覺顯著度模型中的RBD模型計(jì)算顯著度圖，并將該顯著度圖輸出，即為彩色RGB圖像I_color的顯著度圖I_sal；

第2.2步，提取灰度圖像I_gray的梯度圖：

分別在水平x方向和垂直y方向上對上述第一步中得到的灰度圖像I_gray求偏導(dǎo)，并取其絕對值得到兩個方向上的梯度，然后將兩個方向上的梯度相加提取得到灰度圖像I_gray的梯度圖I_grad，采用的公式(2)如下：

公式(2)中，| |表示取絕對值；和分別表示在水平x方向和垂直y方向上求偏導(dǎo)；

第2.3步，利用人臉檢測模型檢測彩色RGB圖像I_color的人臉位置，得到人臉圖：

對上述第一步中的彩色RGB圖像I_color利用人臉檢測模型AdaBoost檢測彩色RGB圖像I_color的人臉位置并進(jìn)行標(biāo)記，并且將該標(biāo)記了人臉位置的人臉圖輸出為上述彩色RGB圖像I_color的人臉圖I_face；

第2.4步，獲得彩色RGB圖像I_color的重要度圖：

將上述第2.1步中得到的顯著度圖I_sal、第2.2步中得到的梯度圖I_grad與第2.3步中得到的人臉圖I_face融合，得到彩色RGB圖像I_color的重要度圖E_I，采用的公式(3)如下：

E_I(i,j)＝I_grad(i,j)+I_sal(i,j)+I_face(i,j) (3)，

公式(3)中，1≤i≤M,1≤j≤N，M表示圖像的高度，N表示圖像的寬度，單位均為像素，由此完成提取彩色RGB圖像I_color的重要度圖E_I；

第三步，根據(jù)累積能量矩陣確定最佳接縫：

將上述第二步得到的重要度圖E_I作為能量圖計(jì)算累積能量矩陣，從累積能量矩陣中選出最佳接縫，具體操作如下：

第3.1步，計(jì)算累積能量矩陣：

對上述第一步中的彩色RGB圖像I_color中的所有像素計(jì)算相應(yīng)位置的累積能量值，設(shè)彩色RGB圖像I_color第一行對應(yīng)位置的累積能量值為上述第2.4步中得到的重要度圖E_I的第一行各像素重要度值，彩色RGB圖像I_color第二行對應(yīng)位置的累積能量到第M行對應(yīng)位置的累積能量即累積能量矩陣Acc則由以下公式(4)計(jì)算得出：

公式(4)中，Acc(i,j)為像素點(diǎn)(i,j)位置的累積能量值，E_I(i,j)為像素點(diǎn)(i,j)位置的重要度值，min為求最小值函數(shù)；

第3.2步，計(jì)算最佳接縫：

從上述第3.1步計(jì)算得到的累積能量矩陣Acc的第M行中尋找累積能量值最小的元素所在的列號j_M，由以下公式(5)計(jì)算得出：

j_M＝argmin(Acc(M,j)) (1≤j≤N) (5)，

公式(5)中，1≤j_M≤N，argmin為求最小值函數(shù)，Acc(M,j)為像素點(diǎn)(M,j)位置的累積能量值，根據(jù)公式(5)得到的j_M，比較累積能量矩陣第M-1行第j_M列左右三鄰域列像素的累積能量值，找到其中的最小值，當(dāng)j_M位于左右邊界時(shí)，只計(jì)算j_M與相鄰一列像素的累積能量值，計(jì)算公式(6)如下:

遍歷上述第一步中的彩色RGB圖像I_color，從下至上從第M-2行到第1行重復(fù)上述查詢j_M-1的方法，計(jì)算得到第1行到第M-2行每行能量最小的累積能量值，結(jié)合j_M-1和j_M得到最小累積能量集合[(1,j₁),(2,j₂),…,(M,j_M)]，由此計(jì)算得到最佳接縫，記為最佳接縫path，由此完成根據(jù)累積能量矩陣確定最佳接縫；

第四步，重要度更新：

對上述第三步得到的最佳接縫path，根據(jù)能量更新原則，將重要度轉(zhuǎn)移到相鄰接縫，具體操作如下：

第4.1步，計(jì)算最佳接縫重要度和：

根據(jù)上述第三步得到的最佳接縫path計(jì)算出該條最佳接縫的重要度和，由以下公式(7)計(jì)算得出，

公式(7)中，sum為求和，E_I為上述第二步得到的重要度圖，1≤j_i≤N；

第4.2步，計(jì)算最佳接縫左鄰域能量和：

計(jì)算該條最佳接縫path位置像素點(diǎn)左移動一個位置的像素點(diǎn)得到的接縫的重要度總和，由以下公式(8)計(jì)算得出，

公式(8)中，當(dāng)該條最佳接縫path穿過圖像的最左邊界，即j_i＝1時(shí)，定義此時(shí)的E_I(i,j_i-1)＝0，其他情況下E_I(i,j_i-1)值為最佳接縫path位置像素點(diǎn)左移動一個位置的像素點(diǎn)重要度值，按此原則相加得到的和作為該條最佳接縫path左鄰域總能量sum_path_left；

第4.3步，計(jì)算最佳接縫左鄰域能量變化比：

計(jì)算左鄰域能量變化比，由以下公式(9)計(jì)算得出，

left_ratio＝sum_path_E_I/sum_path_left (9)，

公式(9)中，sum_path_E_I為上述第4.1步得到的重要度和，sum_path_left為上述第4.2步得到的左鄰域能量和；

第4.4步，最佳接縫的左鄰域能量轉(zhuǎn)移：

利用上述第4.3步計(jì)算得到的左鄰域能量變化比進(jìn)行能量轉(zhuǎn)移，由以下公式(10)計(jì)算，

E'_I(i,j_i-1)＝E_I(i,j_i)+left_ratio×E_I(i,j_i-1) (1≤i≤M) (10)，

公式(10)中，E'_I為更新后的重要度圖，E_I為上述第二步得到的重要度圖，j_i為上述第三步得到的最佳接縫path的列號，left_ratio為上述第4.3步得到的左鄰域能量比，對于最佳接縫path上的每一行的重要度值都按照left_ratio的比率轉(zhuǎn)移到相鄰左邊像素位置，使相鄰左邊像素具有比之前更高的重要度值，由此實(shí)現(xiàn)最佳接縫左鄰域能量轉(zhuǎn)移；

第4.5步，最佳接縫的右鄰域能量轉(zhuǎn)移：

最佳接縫path右鄰域能量轉(zhuǎn)移也是利用上述第4.2步到第4.4步同樣的轉(zhuǎn)移方式，先計(jì)算最佳接縫path右鄰域能量總和sum_path_right，由以下公式(11)計(jì)算，

公式(11)中，當(dāng)該條最佳接縫path穿過圖像的最右邊界，即j_i＝N時(shí)，定義此時(shí)的E_I(i,j_i+1)＝0，其他情況下E_I(i,j_i+1)值為最佳接縫path位置像素點(diǎn)右移動一個位置的像素點(diǎn)重要度值，按此原則相加得到的和作為該條最佳接縫path右鄰域總能量sum_path_right；

接著計(jì)算最佳接縫path右鄰域能量變化比right_ratio，由以下公式(12)計(jì)算，

right_ratio＝sum_path_E_I/sum_path_right (12)，

然后用公式(13)進(jìn)行最佳接縫path右鄰域的能量轉(zhuǎn)移計(jì)算，

E′_I(i,j_i+1)＝E_I(i,j_i)+right_ratio×E_I(i,j_i+1) (1≤i≤M) (13)，

公式(13)中，M表示圖像的高度，由此實(shí)現(xiàn)最佳接縫右鄰域能量轉(zhuǎn)移；

能量同時(shí)轉(zhuǎn)移到最佳接縫path的左邊鄰域像素位置和右邊鄰域像素位置之后，得到新的重要度圖，作為能量更新之后新的重要度圖E'_I，由此完成重要度更新；

第五步，移除最佳接縫：

根據(jù)上述第三步確定最佳接縫后得到最佳接縫path位置，在上述第一步中的彩色RGB圖像I_color和上述第四步能量更新之后的重要度圖E'_I中進(jìn)行移除最佳接縫path的操作，具體操作如下：

第5.1步，在能量更新之后新的重要度圖中移除最佳接縫：

在上述第4.5步得到的能量更新之后新的重要度圖E'_I中移除上述第三步得到的最佳接縫path，得到的結(jié)果作為新的重要度圖來確定下一條最佳接縫；

第5.2步，在彩色RGB圖像I_color中移除最佳接縫：

在上述第一步輸入的彩色RGB圖像I_color中移除第三步得到的最佳接縫path，移除最佳接縫path之后的圖像記為縫裁剪后圖像I_temp，由此完成移除最佳接縫；

第六步，評價(jià)縫裁剪后圖像的變形程度：

將上述第5.2步的移除最佳接縫path之后的縫裁剪后圖像I_temp和上述第一步中的彩色RGB圖像I_color分別進(jìn)行分塊，統(tǒng)計(jì)這兩個圖像各子塊的縱橫比變化來衡量圖像的形變，設(shè)定形變閾值T，確定縫裁剪后圖像主體區(qū)域是否發(fā)生嚴(yán)重形變，并確定發(fā)生形變時(shí)的移除接縫數(shù)目l，停止縫裁剪方法，接縫數(shù)目l是由質(zhì)量評價(jià)相似性分?jǐn)?shù)與形變閾值的關(guān)系來確定的，具體操作如下：

第6.1步，對彩色RGB圖像I_color進(jìn)行分塊：

將上述第一步中得到的彩色RGB圖像I_color分為大小為d×d像素的子塊，d＝16，彩色RGB圖像I_color被分成的塊數(shù)為b，由以下公式(14)計(jì)算，

b＝m₁×n₁,m₁＝floor(M/d),n₁＝floor(N/d) (14)，

公式(14)中，M表示圖像的高度，N表示圖像的寬度，單位均為像素，floor是取整函數(shù)；

第6.2步，對彩色RGB圖像I_color的重要度圖進(jìn)行分塊：

將上述第二步得到的彩色RGB圖像I_color的重要度圖E_I分為大小為d×d像素的子塊，把每個子塊的所有像素重要度值相加并除以整個重要圖的重要度值總和e_{I_sum}作為這個子塊的重要度值占比，記作BLK_IMP，重要度值總和e_{I_sum}用公式(15)計(jì)算，子塊的重要度值占比BLK_IMP用公式(16)計(jì)算，

上述公式(15)和公式(16)中，E_I為上述第二步得到的重要度圖，M表示圖像的高度，N表示圖像的寬度，單位均為像素，m₁、n₁分別表示彩色RGB圖像I_color的在高度和寬度方向上的分塊數(shù)目；

第6.3步，求取縫裁剪后圖像I_temp的分塊高度與寬度：

首先，定義全部接縫位置矩陣ALLPATH，把上述第三步得到的最佳接縫path的全部接縫位置記錄到大小為H×W個元素的全部接縫位置矩陣ALLPATH中，該矩陣存儲全部接縫位置，且標(biāo)記接縫所在的元素值為-1，矩陣其余元素值為0，其中，H＝M，W＝N，M表示圖像的高度，N表示圖像的寬度，單位均為像素；

其次，定義列號矩陣YYORG，其大小為H×W，H＝M，W＝N，M表示圖像的高度，N表示圖像的寬度，單位均為像素，矩陣中各元素值為所在的列號，根據(jù)全部接縫位置矩陣ALLPATH來更新YYORG矩陣，對于矩陣YYORG里的每一個元素，當(dāng)對應(yīng)位置的全部接縫位置矩陣ALLPATH元素值為-1時(shí)，更新初始化矩陣YYORG對應(yīng)位置元素值為0，計(jì)算公式如(17)所示，

公式(17)中，H、W分別表示矩陣YYORG的長度和寬度，單位均為像素，

對YYORG矩陣進(jìn)行分塊，均勻分為b個塊，b＝m₁×n₁；

最后，計(jì)算縫裁剪后圖像I_temp的子塊高度矩陣BLK_H和寬度矩陣BLK_W，矩陣BLK_H和BLK_W分別記錄移除最佳接縫path之后的圖像I_temp的各子塊的高度和寬度，矩陣BLK_W和矩陣BLK_H的大小均為m₁×n₁，縫裁剪后圖像I_temp與上述第一步輸入的彩色RGB圖像I_color相比，縫裁剪移除的只有垂直接縫，所以上述第6.1步中彩色RGB圖像I_color的各子塊經(jīng)縫裁剪后變化的只是塊的寬度，而塊的高度不變，因此矩陣BLK_H中各元素的值均為d，矩陣BLK_W中各元素的值是矩陣YYORG中各子塊非零數(shù)個數(shù)與d的比值；

第6.4步，定義相似性分?jǐn)?shù)：

縫裁剪后圖像I_temp的各子塊寬度的變化率矩陣為W_RATIO，高度的變化率矩陣為H_RATIO，利用公式(18)計(jì)算，

W_RATIO(u,v)＝BLK_W(u,v)/d,H_RATIO(u,v)＝BLK_H(u,v)/d(1≤u≤m₁,1≤v≤n₁) (18)，

公式(18)中，BLK_W表示上述第6.3步得到的縫裁剪后圖像I_temp所有子塊的寬度矩陣，BLK_H表示上述第6.3步得到的縫裁剪后圖像I_temp所有子塊的高度矩陣，d表示的是上述第6.1步中的彩色RGB圖像I_color分為大小為d×d像素的子塊中的d＝16，m₁、n₁分別表示縫裁剪后圖像I_temp在高度和寬度方向上的分塊數(shù)目；

縫裁剪后圖像I_temp的子塊的絕對變化率矩陣為M_RATIO，計(jì)算公式(19)如下，

M_RATIO(u,v)＝(W_RATIO(u,v)+H_RATIO(u,v))/2 (19)，

公式(19)中，(1≤u≤m₁,1≤v≤n₁)，W_RATIO，H_RATIO分別為縫裁剪后圖像I_temp的子塊寬度的變化率矩陣和高度的變化率矩陣；

通過縫裁剪后圖像I_temp的子塊的形變量來確定相似性分?jǐn)?shù)，每個縫裁剪后圖像I_temp的子塊的子塊相似性分?jǐn)?shù)利用公式(20)計(jì)算得出，

公式(20)中，(1≤u≤m₁,1≤v≤n₁)，W_RATIO為縫裁剪后圖像I_temp的子塊寬度的變化率矩陣、H_RATIO為縫裁剪后圖像I_temp的子塊高度的變化率矩陣，β和α是常數(shù)，當(dāng)子塊相似性分?jǐn)?shù)S(u,v)接近1時(shí)，說明該小塊內(nèi)容相對于原圖得到了很好的保留，而子塊相似性分?jǐn)?shù)S(u,v)越接近0時(shí)，說明子塊存在嚴(yán)重的變形；

第6.5步，圖像質(zhì)量客觀評價(jià)標(biāo)準(zhǔn)：

結(jié)合上述第6.4步得到的子塊相似性分?jǐn)?shù)S(u,v)和上述第6.2步中的子塊的重要度值占比BLK_IMP，制定圖像質(zhì)量客觀評價(jià)標(biāo)準(zhǔn)，最終的質(zhì)量評價(jià)相似性分?jǐn)?shù)s由公式(21)定義，

m₁、n₁分別表示彩色RGB圖像I_color在高度和寬度方向上的分塊數(shù)目；

第6.6步，利用停止準(zhǔn)則判斷是否需要切換到均勻縮放：

當(dāng)彩色RGB圖像I_color在水平方向上的縮放比為ratio，則需要移除的最終所有的接縫數(shù)目為c，計(jì)算公式(22)如下，

c＝N×(1-ratio) (22)，

公式(22)中，N為圖像的寬度；

將上述第5.2步的移除最佳接縫path之后的縫裁剪后圖像I_temp與上述第一步輸入的彩色RGB圖像I_color進(jìn)行相似性比較，每移除一條接縫，計(jì)算縫裁剪后圖像I_temp和彩色RGB圖像I_color的質(zhì)量評價(jià)相似性分?jǐn)?shù)s，并且與形變閾值T進(jìn)行比較；

停止準(zhǔn)則的利用是，當(dāng)質(zhì)量評價(jià)相似性分?jǐn)?shù)s小于形變閾值T時(shí)則停止縫裁剪，具體操作是：

當(dāng)移除一條接縫時(shí)得到的縫裁剪后圖像I_temp與彩色RGB圖像I_color比較得到的質(zhì)量評價(jià)相似性分?jǐn)?shù)s大于形變閾值T，說明移除當(dāng)前接縫后得到的縫裁剪后圖像I_temp沒有發(fā)生明顯的變形，則繼續(xù)順序執(zhí)行上述的第三步、第四步、第五步和第六步；

當(dāng)移除l條接縫時(shí)得到的縫裁剪后圖像I_temp與彩色RGB圖像I_color比較得到的質(zhì)量評價(jià)相似性分?jǐn)?shù)s小于形變閾值T且1＜l＜c，縫裁剪后圖像I_temp出現(xiàn)嚴(yán)重形變，則切換到均勻縮放，使用雙線性插值方法進(jìn)行均勻縮放，最后得到所需目標(biāo)尺寸的目標(biāo)圖像；

當(dāng)全部移除c條接縫之后的縫裁剪后圖像I_temp與彩色RGB圖像I_color比較得到的質(zhì)量評價(jià)相似性分?jǐn)?shù)s仍大于形變閾值T，說明縫裁剪后圖像I_temp沒有發(fā)生明顯的變形，則移除c條接縫之后的縫裁剪后圖像I_temp就是所需目標(biāo)尺寸的目標(biāo)圖像；

至此完成“A.對圖像進(jìn)行水平方向縮放”；

以下步驟是，B.對圖像進(jìn)行垂直方向縮放：

對完成上述“A.對圖像進(jìn)行水平方向縮放”的圖像數(shù)據(jù)進(jìn)行轉(zhuǎn)置，重復(fù)上述第二步到第六步的操作，進(jìn)行并完成對圖像進(jìn)行垂直方向上的縮放；

至此，完成基于能量轉(zhuǎn)移和均勻縮放的圖像重定向，對圖像分別在水平方向和垂直方向上進(jìn)行了縮放。