[發明專利]基于頻域變換的視頻流車身全景圖像拼接裝置和方法

有效

• 申請號: 202011040988.6
• 申請日: 2020-09-28
• 公開（公告）號: CN112132751B
• 公開（公告）日: 2023-02-07
• 發明（設計）人: 胡中華;廖原;覃立源;陳炫憧
• 申請（專利權）人: 廣西信路威科技發展有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06T5/10;G06T7/194
• 代理公司: 北京匯信合知識產權代理有限公司 11335
• 代理人: 朱鵬

1.一種基于頻域變換的視頻流車身全景圖像拼接裝置，其特征在于，包括：圖像采集單元、頻域變換單元、預處理單元、前景背景分離單元和圖像拼接單元；

所述圖像采集單元以圖像采集方向垂直于車道方向設置，所述圖像采集單元對車道上行駛車輛的車側圖像進行采集；

所述頻域變換單元對所述圖像采集單元采集的所述車側圖像進行頻域變換，將空域圖像變為頻域，得到頻譜圖；

所述預處理單元對所述頻譜圖進行頻域濾波和頻域逆變換，得到預處理圖像；

所述前景背景分離單元對所述預處理圖像利用背景模型進行前景圖像與背景圖像的分離，得到前景圖像；

所述圖像拼接單元利用前景匹配模板確定所述前景圖像相對于所述前景匹配模板的匹配信息，并根據匹配信息對所述前景圖像中模板區域至圖像末端進行拼接處理，形成拼接圖像，具體包括：

所述圖像拼接單元判斷存儲單元中是否存在前景匹配模板，若不存在，則將當前幀的所述前景圖像作為前景匹配模板，并將當前幀作為拼接圖像的起始幀，若已存在所述前景匹配模板，則將所述前景圖像與所述前景匹配模板進行匹配處理，計算得到當前幀的所述前景圖像中相對于所述前景匹配模板區域的匹配坐標，作為匹配信息；

所述圖像拼接單元根據所述匹配信息，計算并截取當前幀的預處理圖像與所述前景匹配模板的匹配坐標起至圖像尾部圖像，拷貝至所述拼接圖像中所述前景匹配模板區域坐標的起始位置。

2.根據權利要求1所述的基于頻域變換的視頻流車身全景圖像拼接裝置，其特征在于，所述預處理單元將所述頻譜圖的預設頻域范圍的頻域分量進行過濾，并對所述頻譜圖進行傅里葉逆變換，得到預處理圖像。

3.根據權利要求1所述的基于頻域變換的視頻流車身全景圖像拼接裝置，其特征在于，所述前景背景分離單元判斷存儲單元中是否存在背景模型，若不存在，則根據多幅預處理圖像分析背景區域，根據背景區域建立背景模型，若已存在所述背景模型，則根據所述背景模型，將所述預處理圖像中對應所述背景模型的背景區域進行分離，得到所述前景圖像。

4.根據權利要求1所述的基于頻域變換的視頻流車身全景圖像拼接裝置，其特征在于，所述圖像拼接單元對當前幀的前景圖像進行圖像拼接后，以當前的拼接圖像作為新的前景匹配模板，對下一幀的前景圖像進行圖像拼接處理，直至輸出完整車身側面全景圖像。

5.一種基于頻域變換的視頻流車身全景圖像拼接方法，應用于權利要求1至4中任一項所述的基于頻域變換的視頻流車身全景圖像拼接裝置，其特征在于，包括：

利用圖像采集單元采集行駛車輛的車側視頻流圖像，并獲得當前幀圖像的頻譜圖；

對當前幀圖像的頻譜圖進行頻域濾波和頻域逆變換，得到預處理圖像；

對所述預處理圖像利用背景模型進行前景圖像與背景圖像的分離，得到當前幀的車輛前景圖像；

利用前景匹配模板確定所述前景圖像相對于所述前景匹配模板的匹配信息，并根據匹配信息對所述前景圖像中模板區域至圖像末端進行拼接處理，形成拼接圖像，具體包括：

判斷是否存在前景匹配模板，若不存在，則將當前幀的所述前景圖像作為前景匹配模板，并將當前幀作為拼接圖像的起始幀，若已存在所述前景匹配模板，則將所述前景圖像與所述前景匹配模板進行匹配處理，計算得到當前幀的所述前景圖像中相對于所述前景匹配模板區域的匹配坐標，作為匹配信息；

根據所述匹配信息，計算并截取當前幀的預處理圖像與所述前景匹配模板的匹配坐標起至圖像尾部圖像，拷貝至所述拼接圖像中所述前景匹配模板區域坐標的起始位置，直至完成完整車身側面的全景拼接圖像。

6.根據權利要求5所述的基于頻域變換的視頻流車身全景圖像拼接方法，其特征在于，還包括：

對當前幀的前景圖像進行圖像拼接后，以當前的拼接圖像作為新的前景匹配模板，對下一幀的前景圖像進行圖像拼接處理，直至輸出完整車身側面全景圖像。

7.根據權利要求5或6所述的基于頻域變換的視頻流車身全景圖像拼接方法，其特征在于，預處理過程包括將所述頻譜圖的預設頻域范圍的頻域分量進行過濾，并對所述頻譜圖進行傅里葉逆變換；

所述背景模型為根據多幅預處理圖像的背景區域進行分析建模得到，若不存在背景模型，則根據預處理圖像建模得到，若已存在所述背景模型，則根據所述背景模型，將所述預處理圖像中對應所述背景模型的背景區域進行分離，得到所述前景圖像。