[發明專利]基于透視圖像內容的檢索系統、檢索方法以及安全檢查設備

有效

• 申請號: 201310734306.5
• 申請日: 2013-12-27
• 公開（公告）號: CN104750697B
• 公開（公告）日: 2019-01-25
• 發明（設計）人: 李元景;趙自然;張健;李強;顧建平
• 申請（專利權）人: 同方威視技術股份有限公司;清華大學
• 主分類號: G06F16/50
• 分類號: G06F16/50;G06K9/46
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 江鵬飛;汪揚

公開了一種基于透視圖像內容的檢索系統,包括：預分類模塊,用于對透視圖像進行預分類處理，將所述透視圖像劃分為紋理圖像和非紋理圖像兩類；圖像內容特征提取模塊，用于對所述透視圖像內容進行特征提取；圖像表征模塊，用于對所述透視圖像內容的特征描述向量進行整合，構建圖像表征向量；檢索模塊，用于基于檢索模型從圖像表征數據庫中檢索到與所檢索的圖像表征向量相似度較高的若干幅圖像，從而構建初級候選結果；多樣性過濾模塊，用于對所述初級候選結果進行過濾，挑選出可以覆蓋多個貨物種類的圖像子集，從而構成多樣性的檢索結果；相關度反饋調節模塊，用于接受用戶對檢索結果的信息反饋，并進行檢索模型的更新；以及交互模塊，用于顯示檢索結果并采集用戶對檢索結果的滿意程度的反饋。

技術領域

本發明涉及輻射成像、圖像理解、機器學習、輔助查驗等交叉領域，具體而言涉及基于安檢輻射透視圖像內容的檢索系統。

背景技術

輻射透視成像技術是對貨物、行李等進行無侵犯檢查的主要手段，目前已經在機場、海關、車站、大型集會等場所廣泛使用。輻射成像的物理機制導致其所呈現出的圖像特點與自然圖像有明顯的差異。這一差異直接導致安檢人員無法感性地理解圖像內容，甚至對危險物品的敏感程度極度降低。因此對安檢透視圖像的全局或局部的檢索，從而從數據庫中找到相似圖像，并給出注釋信息，如相似程度、目標屬性（原子序數范圍，質量、厚度范圍）、危險程度，有了極大的需求。目前在安全檢查領域，對透視圖像的檢索主要是基于文件名和時間的檢索，沒有引入任何透視圖像內容信息。隨著輻射安全檢查設備普遍使用，會產生大量的歷史圖像數據，如果沒有方便的檢索比對手段，那么大量的歷史圖像不會帶來任何正面效應。

目前在基于圖像內容檢索領域，主要集中在對自然圖像和醫學透視圖像。對自然圖像的內容檢索在近幾年已經有了迅速的發展，并且產生了多個實際應用產品，如谷歌圖像檢索系統、百度圖像檢索系統等。對醫學透視圖像的內容檢索，主要關注于從數據庫中精確查詢與所檢查部位相同的其他患者，從而方便醫生比較不同患者同種部位的病變差異。但這類系統目前仍然處于試驗階段。由于醫學圖像數據內容較為單一，導致其無法直接應用于更廣泛的輻射透視圖像。

近年來，隨著機器學習、模式識別等領域的迅速發展，快速尋找內容相似透視圖像提供給安檢人員進行比對分析等輔助手段已成為業界關注焦點。但由于貨物種類的復雜性以及透視圖像的特殊性，導致在這一特定鄰域的發展較為緩慢，并且鮮見相關內容的公開。

發明內容

針對于安檢透視圖像的特殊性——掃描物品種類繁多、物品結構信息疊加、自然表觀信息損失和圖像分辨率大，以及輔助安檢人員增進對透視圖像的理解和檢測的實際需求，本發明提出了一套可以實時基于透視圖像內容檢索并給出多樣性（內容相似但物品種類不同）的檢索結果以及相關注釋信息的系統。

該檢索系統主要實現的功能有：（1）圖像內容的模糊檢索，給出多樣性（內容相似但物品種類不同）的檢索結果；（2）并行計算，實現檢索結果的實時返回；（3）給出檢索結果的注釋信息，如相似程度、目標屬性、常見程度、危險程度；（4）根據用戶反饋信息，自動調整檢索模型。該檢索系統主要可以用于培訓安檢人員對X射線圖像的理解，輔助安檢人員分析圖像內容，提高檢查效率等。

根據本發明的實施例，提供了一種基于安檢透視圖像內容的檢索系統，所述檢索系統包括：

預分類模塊,用于對透視圖像進行預分類處理，將所述透視圖像劃分為紋理圖像和非紋理圖像兩類；

圖像內容特征提取模塊，用于對所述透視圖像內容進行特征提取；

圖像表征模塊，用于對所述透視圖像內容的特征描述向量進行整合，構建圖像表征向量；

檢索模塊，用于基于檢索模型從圖像表征數據庫中檢索到與所檢索的圖像表征向量相似度較高的若干幅圖像，從而構建初級候選結果；

多樣性過濾模塊，用于對所述初級候選結果進行過濾，挑選出可以覆蓋多個貨物種類的圖像子集，從而構成多樣性的檢索結果；