[發明專利]一種融合了可見光圖像、深度圖像和太赫茲圖像的安檢系統和方法

在審

• 申請號: 202010413169.5
• 申請日: 2020-05-15
• 公開（公告）號: CN113673548A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 陳志強;趙自然;李元景;顧建平;張經緯;耿星杰;劉闊
• 申請（專利權）人: 同方威視技術股份有限公司;清華大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 倪斌

本申請提供了一種融合了可見光圖像、深度圖像和太赫茲圖像的安檢系統和方法，用于提升安檢過程的準確率，優化安檢圖像(太赫茲圖像)的質量。該安檢系統包括：多個傳感器模塊，被配置為采集包含一個或多個目標對象在內的場景的可見光圖像、深度圖像以及太赫茲圖像；圖像同步模塊，被配置為對采集的可見光圖像、深度圖像和太赫茲圖像進行同步；圖像配準模塊，被配置為對同步后的可見光圖像、深度圖像和太赫茲圖像進行配準；圖像融合模塊，被配置為對配準后的可見光圖像、深度圖像和/或太赫茲圖像進行融合；以及識別模塊，被配置為基于融合后的圖像來識別所述目標對象攜帶的目標物品。

技術領域

本發明涉及安檢技術領域，并且更具體地涉及一種融合了多種傳感器信息的系統和方法，該系統和方法能夠提升安檢方案的準確率并且改進顯示效果。

背景技術

太赫茲成像技術能夠用于實現對旅客的非配合、快速、無感安檢，已經在海關、民航機場等場景下得到了廣泛的應用。但是這項技術目前還存在以下一些缺陷：

1、目前對太赫茲圖像中的嫌疑物進行檢測和識別的主流方法是深度學習模型，但是深度學習模型的效果非常依賴于訓練使用的圖像數據。此外，在實際設備上使用的模型都是預先訓練好的。但是實際上，設備的使用場景是非常復雜多樣的，尤其是訓練模型時使用的圖像的背景可能會和實際使用設備時采集的圖像的背景有非常大的差異。這會導致預先訓練好的嫌疑物檢測模型在實際使用時識別準確率可能下降很多，即模型的泛化能力不高。

2、通常用于獲取太赫茲圖像的太赫茲相機都有一定的焦距范圍。當人員處于焦距范圍內時，獲取的太赫茲圖像的圖像質量好，并且基于該太赫茲圖像進行的目標識別的準確率較高。但是，當人員位于焦距范圍之外時，獲取的太赫茲圖像的圖像質量會變差，基于該太赫茲圖像進行的目標識別的準確率也可能下降。在利用太赫茲相機進行大場景安檢時，該太赫茲相機的視場內通常會同時存在成像焦距范圍以內和以外的人員。當直接基于這樣的大場景的太赫茲圖像進行目標識別時，由于存在焦距以外的人員，目標識別的準確率可能下降。

3、由于太赫茲圖像是灰度圖像，且缺乏細節，基于這種圖像很難準確地進行人體部位劃分。因此對于檢測到的目標，不能準確地提供與該目標藏匿于人體的哪一具體部位有關的信息。

以上這些問題都對太赫茲安檢技術的推廣帶來了挑戰。而單獨依賴于太赫茲圖像的解決方案并未提供很好的效果。因此，本公開采用了將多種不同的傳感器信息相融合的方式，利用不同信息間的互補特性來有效地解決單純的太赫茲安檢技術的上述缺陷。

發明內容

為了解決太赫茲安檢技術的上述缺陷，本公開提供了一種將多種傳感器的信息相融合的安檢系統和方法。該系統和方法能夠利用不同信息之間的互補特征來提高目標識別的準確率。

在第一方面，本公開提供一種安檢系統，包括：

多個傳感器模塊，被配置為采集包含一個或多個目標對象在內的場景的可見光圖像、深度圖像以及太赫茲圖像；

圖像同步模塊，被配置為對采集的可見光圖像、深度圖像和太赫茲圖像進行同步；

圖像配準模塊，被配置為對同步后的可見光圖像、深度圖像和太赫茲圖像進行配準；

圖像融合模塊，被配置為對配準后的可見光圖像、深度圖像和/或太赫茲圖像進行融合；以及

識別模塊，被配置為基于融合后的圖像來識別所述目標對象攜帶的目標物品。

在一個實施例中，所述多個傳感器模塊可以被配置為在同一時刻采集所述可見光圖像、所述深度圖像和所述太赫茲圖像。