[發(fā)明專利]基于頻域變換的視頻流車(chē)身全景圖像拼接裝置和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011040988.6
• 申請(qǐng)日: 2020-09-28
• 公開(kāi)（公告）號(hào): CN112132751B
• 公開(kāi)（公告）日: 2023-02-07
• 發(fā)明（設(shè)計(jì)）人: 胡中華;廖原;覃立源;陳炫憧
• 申請(qǐng)（專利權(quán)）人: 廣西信路威科技發(fā)展有限公司
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T5/00;G06T5/10;G06T7/194
• 代理公司: 北京匯信合知識(shí)產(chǎn)權(quán)代理有限公司 11335
• 代理人: 朱鵬

1.一種基于頻域變換的視頻流車(chē)身全景圖像拼接裝置，其特征在于，包括：圖像采集單元、頻域變換單元、預(yù)處理單元、前景背景分離單元和圖像拼接單元；

所述圖像采集單元以圖像采集方向垂直于車(chē)道方向設(shè)置，所述圖像采集單元對(duì)車(chē)道上行駛車(chē)輛的車(chē)側(cè)圖像進(jìn)行采集；

所述頻域變換單元對(duì)所述圖像采集單元采集的所述車(chē)側(cè)圖像進(jìn)行頻域變換，將空域圖像變?yōu)轭l域，得到頻譜圖；

所述預(yù)處理單元對(duì)所述頻譜圖進(jìn)行頻域?yàn)V波和頻域逆變換，得到預(yù)處理圖像；

所述前景背景分離單元對(duì)所述預(yù)處理圖像利用背景模型進(jìn)行前景圖像與背景圖像的分離，得到前景圖像；

所述圖像拼接單元利用前景匹配模板確定所述前景圖像相對(duì)于所述前景匹配模板的匹配信息，并根據(jù)匹配信息對(duì)所述前景圖像中模板區(qū)域至圖像末端進(jìn)行拼接處理，形成拼接圖像，具體包括：

所述圖像拼接單元判斷存儲(chǔ)單元中是否存在前景匹配模板，若不存在，則將當(dāng)前幀的所述前景圖像作為前景匹配模板，并將當(dāng)前幀作為拼接圖像的起始幀，若已存在所述前景匹配模板，則將所述前景圖像與所述前景匹配模板進(jìn)行匹配處理，計(jì)算得到當(dāng)前幀的所述前景圖像中相對(duì)于所述前景匹配模板區(qū)域的匹配坐標(biāo)，作為匹配信息；

所述圖像拼接單元根據(jù)所述匹配信息，計(jì)算并截取當(dāng)前幀的預(yù)處理圖像與所述前景匹配模板的匹配坐標(biāo)起至圖像尾部圖像，拷貝至所述拼接圖像中所述前景匹配模板區(qū)域坐標(biāo)的起始位置。

2.根據(jù)權(quán)利要求1所述的基于頻域變換的視頻流車(chē)身全景圖像拼接裝置，其特征在于，所述預(yù)處理單元將所述頻譜圖的預(yù)設(shè)頻域范圍的頻域分量進(jìn)行過(guò)濾，并對(duì)所述頻譜圖進(jìn)行傅里葉逆變換，得到預(yù)處理圖像。

3.根據(jù)權(quán)利要求1所述的基于頻域變換的視頻流車(chē)身全景圖像拼接裝置，其特征在于，所述前景背景分離單元判斷存儲(chǔ)單元中是否存在背景模型，若不存在，則根據(jù)多幅預(yù)處理圖像分析背景區(qū)域，根據(jù)背景區(qū)域建立背景模型，若已存在所述背景模型，則根據(jù)所述背景模型，將所述預(yù)處理圖像中對(duì)應(yīng)所述背景模型的背景區(qū)域進(jìn)行分離，得到所述前景圖像。

4.根據(jù)權(quán)利要求1所述的基于頻域變換的視頻流車(chē)身全景圖像拼接裝置，其特征在于，所述圖像拼接單元對(duì)當(dāng)前幀的前景圖像進(jìn)行圖像拼接后，以當(dāng)前的拼接圖像作為新的前景匹配模板，對(duì)下一幀的前景圖像進(jìn)行圖像拼接處理，直至輸出完整車(chē)身側(cè)面全景圖像。

5.一種基于頻域變換的視頻流車(chē)身全景圖像拼接方法，應(yīng)用于權(quán)利要求1至4中任一項(xiàng)所述的基于頻域變換的視頻流車(chē)身全景圖像拼接裝置，其特征在于，包括：

利用圖像采集單元采集行駛車(chē)輛的車(chē)側(cè)視頻流圖像，并獲得當(dāng)前幀圖像的頻譜圖；

對(duì)當(dāng)前幀圖像的頻譜圖進(jìn)行頻域?yàn)V波和頻域逆變換，得到預(yù)處理圖像；

對(duì)所述預(yù)處理圖像利用背景模型進(jìn)行前景圖像與背景圖像的分離，得到當(dāng)前幀的車(chē)輛前景圖像；

利用前景匹配模板確定所述前景圖像相對(duì)于所述前景匹配模板的匹配信息，并根據(jù)匹配信息對(duì)所述前景圖像中模板區(qū)域至圖像末端進(jìn)行拼接處理，形成拼接圖像，具體包括：

判斷是否存在前景匹配模板，若不存在，則將當(dāng)前幀的所述前景圖像作為前景匹配模板，并將當(dāng)前幀作為拼接圖像的起始幀，若已存在所述前景匹配模板，則將所述前景圖像與所述前景匹配模板進(jìn)行匹配處理，計(jì)算得到當(dāng)前幀的所述前景圖像中相對(duì)于所述前景匹配模板區(qū)域的匹配坐標(biāo)，作為匹配信息；

根據(jù)所述匹配信息，計(jì)算并截取當(dāng)前幀的預(yù)處理圖像與所述前景匹配模板的匹配坐標(biāo)起至圖像尾部圖像，拷貝至所述拼接圖像中所述前景匹配模板區(qū)域坐標(biāo)的起始位置，直至完成完整車(chē)身側(cè)面的全景拼接圖像。

6.根據(jù)權(quán)利要求5所述的基于頻域變換的視頻流車(chē)身全景圖像拼接方法，其特征在于，還包括：

對(duì)當(dāng)前幀的前景圖像進(jìn)行圖像拼接后，以當(dāng)前的拼接圖像作為新的前景匹配模板，對(duì)下一幀的前景圖像進(jìn)行圖像拼接處理，直至輸出完整車(chē)身側(cè)面全景圖像。

7.根據(jù)權(quán)利要求5或6所述的基于頻域變換的視頻流車(chē)身全景圖像拼接方法，其特征在于，預(yù)處理過(guò)程包括將所述頻譜圖的預(yù)設(shè)頻域范圍的頻域分量進(jìn)行過(guò)濾，并對(duì)所述頻譜圖進(jìn)行傅里葉逆變換；

所述背景模型為根據(jù)多幅預(yù)處理圖像的背景區(qū)域進(jìn)行分析建模得到，若不存在背景模型，則根據(jù)預(yù)處理圖像建模得到，若已存在所述背景模型，則根據(jù)所述背景模型，將所述預(yù)處理圖像中對(duì)應(yīng)所述背景模型的背景區(qū)域進(jìn)行分離，得到所述前景圖像。