[發(fā)明專利]一種車載穩(wěn)像顯示補(bǔ)償方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110201226.8
• 申請(qǐng)日: 2021-02-23
• 公開(kāi)（公告）號(hào): CN112954134B
• 公開(kāi)（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 梁華為;李碧春;經(jīng)俊森;黃偉鑫;王少平;祝輝
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院
• 主分類號(hào): H04N5/04
• 分類號(hào): H04N5/04;H04N5/232;G06V10/75;G06T3/00;G06T5/00
• 代理公司: 合肥天明專利事務(wù)所(普通合伙) 34115
• 代理人: 婁岳

1.一種車載穩(wěn)像顯示補(bǔ)償方法，其特征在于，包括以下步驟：

獲取車載視頻圖像并進(jìn)行前后幀圖像預(yù)處理；

預(yù)處理的具體步驟包括：

將獲取的視頻圖像數(shù)據(jù)與車載慣導(dǎo)數(shù)據(jù)進(jìn)行時(shí)間同步，并設(shè)置初始幀為基準(zhǔn)幀；

提取該視頻圖像中相鄰兩幀圖像進(jìn)行灰度處理；

將經(jīng)過(guò)預(yù)處理的圖像通過(guò)特征匹配提取仿射矩陣，進(jìn)而得到匹配后的圖像序列；

具體步驟包括：

首先根據(jù)預(yù)處理的圖像通過(guò)特征匹配提取仿射矩陣，并得到原始仿射矩陣參數(shù)；

再利用卡爾曼濾波得到平滑后的仿射矩陣參數(shù)，同時(shí)得到匹配后的圖像序列；

通過(guò)設(shè)置調(diào)整增益旋鈕參數(shù)，調(diào)整仿射矩陣參數(shù)運(yùn)用到后一幀圖像，進(jìn)而改變穩(wěn)像后的畫(huà)面大小及抖動(dòng)幅度，所述通過(guò)設(shè)置調(diào)整增益旋鈕參數(shù)，調(diào)整仿射矩陣參數(shù)的具體步驟包括：

獲取平滑后的仿射矩陣

通過(guò)設(shè)置調(diào)整增益旋鈕參數(shù)k_m，改變圖像的抖動(dòng)幅度，得到調(diào)整后的T_adjust：

其中，為相鄰兩幀圖像之間的角度變換關(guān)系，(dx,dy)^T為圖像同一像素點(diǎn)在相鄰兩幀之間的位移，k_m為增益旋鈕參數(shù)，k_m的范圍為[0,1]；

根據(jù)車載慣導(dǎo)數(shù)據(jù)對(duì)相鄰幀的圖像序列進(jìn)行運(yùn)動(dòng)類型判斷，根據(jù)運(yùn)動(dòng)類型進(jìn)行顯示補(bǔ)償和前后幀更新，得到最終穩(wěn)定圖像。

2.根據(jù)權(quán)利要求1所述一種車載穩(wěn)像顯示補(bǔ)償方法，其特征在于，所述根據(jù)車載慣導(dǎo)數(shù)據(jù)對(duì)相鄰幀的圖像序列進(jìn)行運(yùn)動(dòng)類型判斷，根據(jù)運(yùn)動(dòng)類型進(jìn)行顯示補(bǔ)償和前后幀更新，得到最終穩(wěn)定圖像的具體步驟：

首先根據(jù)得到的相鄰幀的圖像序列進(jìn)行車體運(yùn)動(dòng)類型判斷；

若車體運(yùn)動(dòng)為平移，則獲取補(bǔ)償平移量進(jìn)行平移補(bǔ)償；

若車體運(yùn)動(dòng)為旋轉(zhuǎn)，則將前后兩幀圖像的角度變換量θ代入顯示補(bǔ)償仿射變換矩陣中。

3.根據(jù)權(quán)利要求2所述一種車載穩(wěn)像顯示補(bǔ)償方法，其特征在于，所述若車體運(yùn)動(dòng)為平移，則獲取補(bǔ)償平移量進(jìn)行平移補(bǔ)償?shù)木唧w步驟包括：

判斷平移類型；

若為俯仰運(yùn)動(dòng)，獲取俯仰時(shí)圖像相對(duì)于原圖像的補(bǔ)償平移量，利用補(bǔ)償平移量和俯仰角規(guī)則對(duì)畫(huà)面進(jìn)行調(diào)整；

若為偏航運(yùn)動(dòng)，獲取偏航時(shí)圖像相對(duì)于原圖像的補(bǔ)償平移量，利用補(bǔ)償平移量和偏航角規(guī)則對(duì)畫(huà)面進(jìn)行調(diào)整；

再進(jìn)行相鄰幀補(bǔ)償，第j幀的圖像I_j與第一幀圖像I₁的關(guān)系為

I_j＝T_j-1·I_j-1＝T_j-1·T_j-2·I_j-2＝…＝T_j-1·T_j-2…T₁·I₁

其中，T為兩幀之間的仿射矩陣；

最終獲得增加穩(wěn)像后的顯示范圍和無(wú)重合區(qū)域黑邊的穩(wěn)定圖像。

4.根據(jù)權(quán)利要求3所述一種車載穩(wěn)像顯示補(bǔ)償方法，其特征在于，所述補(bǔ)償平移量的公式為

X＝f*tanβ-f*tan(β-k_mΔθ)；

其中，f是攝像頭焦距，Δθ為相鄰兩幀圖像對(duì)應(yīng)的偏航角或俯仰角之差的絕對(duì)值，β為相機(jī)水平或垂直視野的一半，k_m為增益旋鈕參數(shù)。

5.一種包括如權(quán)利要求1至4任一項(xiàng)所述的車載穩(wěn)像顯示補(bǔ)償方法的車載穩(wěn)像系統(tǒng)，其特征在于，包括

車載成像組件，用于采集車輛的圖像視頻數(shù)據(jù)和慣導(dǎo)數(shù)據(jù)；

工控機(jī)，用于處理圖像視頻數(shù)據(jù)和慣導(dǎo)數(shù)據(jù)；

所述工控機(jī)設(shè)置有用于圖像實(shí)時(shí)顯示的顯示組件。

6.根據(jù)權(quán)利要求5所述一種車載穩(wěn)像系統(tǒng)，其特征在于，所述車載成像組件包括車載平臺(tái)、成像單元以及慣導(dǎo)裝置。