[發明專利]利用跨域知識的語義事件檢測

有效

• 申請號: 201080012880.4
• 申請日: 2010-03-09
• 公開（公告）號: CN102414680B
• 公開（公告）日: 2018-02-13
• 發明（設計）人: A·C·路易;W·江
• 申請（專利權）人: 高智83基金會有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中科專利商標代理有限責任公司11021
• 代理人: 王波波

1.一種利于對與事件相關的一組圖像記錄進行語義事件分類的方法，所述方法利用事件檢測器系統提供：

針對每一個圖像記錄，

從每個所述圖像記錄中提取多個視覺特征，其中，所述視覺特征包括將所述圖像記錄分割成許多區域，在所述許多區域中提取所述視覺特征；

利用所述視覺特征為所述圖像記錄生成多個概念評分，其中每個概念評分對應于視覺概念，并且每個概念評分表示所述圖像記錄包括所述視覺概念的概率；

通過融合針對所述圖像記錄產生的多個概念評分，生成針對所述圖像記錄的整體概念評分；

通過計算所述圖像記錄的整體概念評分和針對至少一個語義事件的每一個預先確定的正的訓練數據點的整體概念評分之間的成對相似度，生成第一特征向量；

將所述第一特征向量映射到語義事件的代碼本，以產生第二特征向量；以及

提供所述第二特征向量給事件分類器，所述事件分類器識別所述至少一個語義事件。

2.根據權利要求1中所述的方法，其中利用跨域學習生成所述第一特征向量。

3.根據權利要求2中所述的方法，其中所述跨域學習基于圖像層次特征或區域層次特征。

4.根據權利要求1中所述的方法，其中所述圖像記錄包括至少一個數字靜止圖像和至少一個視頻片段。

5.根據權利要求4中所述的方法，其中

提取多個視覺特征包括從所述視頻片段中提取關鍵幀和從所述關鍵幀中提取所述多個視覺特征，或者

提取多個視覺特征包括從所述數字靜止圖像中提取所述多個視覺特征。

6.根據權利要求5中所述的方法，其中生成多個概念評分包括為對應于每個提取的視覺特征的每個關鍵幀或每個數字靜止圖像生成所述概念評分。

7.根據權利要求6中所述的方法，其中生成所述整體概念評分進一步包括通過對每個關鍵幀或每個數字靜止圖像的多個概念評分求平均來生成整體概念評分。

8.根據權利要求1中所述的方法，進一步包含用所述語義事件分類器標注每個所述圖像記錄。

9.根據權利要求1中所述的方法，其中所述語義事件的代碼本通過以下來生成：

確定對應于訓練事件的多對正的訓練數據點之間的成對相似度；以及

應用譜群集，基于所述預先確定的成對相似度將所述正的訓練數據點分成不同的簇，其中每簇對應于一個碼字。