[發明專利]利用跨域知識的語義事件檢測

有效

• 申請號: 201080012880.4
• 申請日: 2010-03-09
• 公開（公告）號: CN102414680B
• 公開（公告）日: 2018-02-13
• 發明（設計）人: A·C·路易;W·江
• 申請（專利權）人: 高智83基金會有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中科專利商標代理有限責任公司11021
• 代理人: 王波波

技術領域

本發明涉及分類數字內容記錄，例如數字靜止圖像或視頻。具體地，本發明涉及基于語義事件(semantic event)檢測對數字內容記錄的分類。

背景技術

低成本的電子消費品成像技術的出現已經導致由普通用戶捕獲的數字圖像數顯著增加。事實上，隨著時間的推移各種形式的電子存儲器已經越來越便宜，用戶已經傾向于拍攝更多的數字靜止圖像和視頻，并且保留他們之前會丟棄的數字靜止圖像和視頻。因此，普通用戶面臨著為了存儲和稍后檢索而適當地識別和分類數字圖像的逐漸增加的難題。一般地，這種識別和分類通常是手動執行的，對用戶而言這是極其耗時的過程。

僅僅作為一個示例，用戶可以在假期期間去許多不同的地點旅游。用戶可以在每個具體地點拍攝圖像，并且在與其他主題類別或事件相關的每個地點拍攝圖像。例如，用戶可以在每個地點拍攝家庭成員圖像、在每個地點拍攝具體事件圖像并且在每個地點拍攝歷史建筑圖像。一旦從旅途返回，用戶可以期望基于諸如人物、生日、博物館等的各種分組整理數字圖像，并基于分組將數字圖像存儲在電子相冊中。目前用戶面臨著手動整理數百張數字靜止圖像和視頻片段，為的是通過具體事件識別圖像和視頻。

考慮到以上問題，近年來用戶照片和視頻的自動歸類已經獲得了巨大的興趣。自動歸類的一個受歡迎的方法是根據事件按照時間順序和圖像內容的視覺相似度來組織數字圖像和視頻。例如，2003年，IEEETrans.on Multimedia，5(3)：390-402，A.C.Loui和A.Savakis的“Automated event clustering and quality screening of consumer pictures for digital albuming”中討論了一組數字圖像如何自動群集為事件，其內容被并入本發明作為參考。

盡管圖像的基本群集可以將看起來與單個事件相關的圖像分組，但是期望的是能夠將語義的含義標注在群集的事件從而改善自動歸類過程。然而，語義事件檢測存在以下基本問題：首先，實際系統需要能夠同時處理數字靜止圖像和視頻，因為數字靜止圖像和視頻兩者通常存在于實際用戶的圖像全集中；第二，實際系統需要容納實際用戶全集中的不同語義內容，因而使其理想地提供包含檢測不同的語義事件的一般方法而不是檢測每個具體語義事件的具體的單獨方法的系統；最后，實際系統需要是穩健的，可以預防識別和分類中的錯誤。

發明內容

根據本發明提供一種利于對與事件相關的一組圖像記錄進行語義事件分類的方法，所述方法利用事件檢測器系統，以提供：

從每個圖像記錄中提取多個視覺特征；

其中，視覺特征包括將圖像記錄分割成許多區域，在區域中提取視覺特征；

利用視覺特征為每個圖像記錄生成多個概念評分，其中每個概念評分對應于視覺概念，每個概念評分表明圖像記錄包括視覺概念的概率；

基于圖像記錄的概念評分生成對應于事件的特征向量；以及

將特征向量供應給識別至少一個對應于該事件的語義事件分類器的事件分類器。

本發明提供一種數字圖像內容記錄中的語義事件檢測的系統和方法。具體地，事件層次“特征包(Bag-of-Features)”(BOF)表示用于模擬(model)事件，基于BOF表示在概念空間而不是原始的低層次視覺特征空間中檢測一般/通用語義事件(generic semantic event)。

本發明的一個特征是視覺特征包括將圖像記錄分割成許多區域，提取區域中的視覺特征。這提供了更多描述內容的信息，并提高了語義理解。

本發明的另一個特征是用于生成特征向量的跨域學習。跨域學習基于圖像層次或區域層次特征。這提供提高語義理解的一組更豐富的概念檢測。

在優選的實施例中，開發了事件層次表示(event-level representation)，其中由BOF特征向量模擬每個事件，基于BOF特征向量直接建立語義事件檢測器。與圖像層次特征向量用于訓練分類器的過于簡單的方法相比較，本發明對于事件內復雜的圖像或錯誤地組織的圖像方面更加穩健。例如，在任何給定的事件中，某些圖像是很難去分類的。這些復雜圖像通常使得判別邊界復雜且難以模擬。通過采用事件層次特征表示，通過在測量事件層次的相似度時降低難懂的或錯誤的數字靜止圖像和視頻片段的影響，能夠避免敏感性問題。如將要示出的，利用支持向量機(SVM)分類器的少量的支持向量可以實現良好的檢測性能，即，通過事件層次表示可以顯著地簡化分類問題。

附圖說明