[發(fā)明專利]一種融合了可見光圖像、深度圖像和太赫茲圖像的安檢系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 202010413169.5
• 申請日: 2020-05-15
• 公開（公告）號: CN113673548A
• 公開（公告）日: 2021-11-19
• 發(fā)明（設(shè)計）人: 陳志強;趙自然;李元景;顧建平;張經(jīng)緯;耿星杰;劉闊
• 申請（專利權(quán)）人: 同方威視技術(shù)股份有限公司;清華大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 倪斌

1.一種融合了可見光圖像、深度圖像和太赫茲圖像的安檢系統(tǒng)，包括：

多個傳感器模塊，被配置為采集包含一個或多個目標對象在內(nèi)的場景的可見光圖像、深度圖像以及太赫茲圖像；

圖像同步模塊，被配置為對采集的可見光圖像、深度圖像和太赫茲圖像進行同步；

圖像配準模塊，被配置為對同步后的可見光圖像、深度圖像和太赫茲圖像進行配準；

圖像融合模塊，被配置為對配準后的可見光圖像、深度圖像和/或太赫茲圖像進行融合；以及

識別模塊，被配置為基于融合后的圖像來識別所述目標對象攜帶的目標物品。

2.根據(jù)權(quán)利要求1所述的安檢系統(tǒng)，其中，所述多個傳感器模塊被配置為：在同一時刻采集所述可見光圖像、所述深度圖像和所述太赫茲圖像。

3.根據(jù)權(quán)利要求1所述的安檢系統(tǒng)，其中，所述多個傳感器模塊被配置為：以不同的幀率來采集可見光視頻流、深度視頻流和太赫茲視頻流，并且

其中，所述同步模塊被配置為：

選擇所述可見光視頻流、所述深度視頻流和所述太赫茲視頻流中以最低的幀率來采集的一種視頻流中的一個圖像；以及

針對另外兩種視頻流中的每一種視頻流，選擇相應視頻流中的采集時間與所述一個圖像的采集時間最接近的圖像。

4.根據(jù)權(quán)利要求1所述的安檢系統(tǒng)，其中，所述多個傳感器模塊被配置為：以不同的幀率來采集可見光視頻流、深度視頻流和太赫茲視頻流，并且

其中，所述同步模塊被配置為：

選擇所述可見光視頻流、所述深度視頻流和所述太赫茲視頻流中以最低的幀率來采集的一種視頻流中的一個圖像；以及

針對另外兩種視頻流中的每一種視頻流：

確定相應視頻流中采集時間與所述一個圖像的采集時間最接近的圖像；

獲取以所確定的圖像為中心的前N個圖像和后N個圖像；以及

選擇所述前N個圖像、所確定的圖像以及所述后N個圖像中與所述一個圖像的相似度最高的圖像。

5.根據(jù)權(quán)利要求1-4中任一項所述的安檢系統(tǒng)，其中，所述圖像融合模塊被配置為：

對所述配準后的可見光圖像進行分割，以得到所述配準后的可見光圖像中的目標對象的Mask；以及

利用所述目標對象的Mask來過濾所述配準后的太赫茲圖像中的背景。

6.根據(jù)權(quán)利要求1-4中任一項所述的安檢系統(tǒng)，其中，所述圖像融合模塊被配置為：

提取所述配準后的深度圖像中的位于所述太赫茲圖像的焦距范圍以外的目標對象的Mask，

利用所述目標對象的Mask來去除所述配準后的可見光圖像中的對應目標對象，以及

對去除所述對應目標對象后的可見光圖像進行分割，以得到所述可見光圖像中的其余目標對象的Mask；以及

利用所述其余目標對象的Mask來過濾所述配準后的太赫茲圖像。

7.根據(jù)權(quán)利要求1-4中任一項所述的安檢系統(tǒng)，其中，所述識別模塊還被配置為：基于所述配準后的太赫茲圖像來識別所述目標對象攜帶的目標物品；并且

其中，所述圖像融合模塊還被配置為：

對所述配準后的可見光圖像中的目標對象進行部位解析；以及

將包含所述目標物品的所述太赫茲圖像映射到經(jīng)過了所述目標對象的部位解析后的可見光圖像中。

8.一種融合了可見光圖像、深度圖像和太赫茲圖像的安檢方法，包括：

采集包含一個或多個目標對象在內(nèi)的場景的可見光圖像、深度圖像以及太赫茲圖像；

采集的可見光圖像、深度圖像和太赫茲圖像進行同步；

對同步后的可見光圖像、深度圖像和太赫茲圖像進行配準；

對配準后的可見光圖像、深度圖像和/或太赫茲圖像進行融合；以及

基于融合后的圖像來識別所述目標對象攜帶的目標物品。

9.根據(jù)權(quán)利要求8所述的安檢方法，其中，所述采集的步驟包括：

在同一時刻采集所述可見光圖像、所述深度圖像和所述太赫茲圖像。