[發明專利]基于視頻幀與脈沖陣列信號的聯合目標檢測方法與裝置

有效

• 申請號: 201910579928.2
• 申請日: 2019-06-28
• 公開（公告）號: CN110427823B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 田永鴻;李家寧;朱林;付溢華;項錫捷;董思維;黃鐵軍
• 申請（專利權）人: 北京大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

1.一種基于視頻幀與脈沖陣列信號的聯合目標檢測方法，其特征在于，包括：

將視頻幀和脈沖陣列信號作為目標檢測的輸入；

將連續的脈沖陣列信號進行自適應劃分；

根據視頻幀頻率與脈沖陣列信號劃分頻率的關系，進行同步融合或異步融合檢測；

將視頻幀與脈沖陣列信號以特征表達形式進行融合；

輸出檢測結果；

所述以特征表達形式進行融合為在檢測前端融合或在檢測算法中融合或在后端聯合決策融合；其中，所述在檢測前端融合為在輸入檢測算法前將視頻幀和脈沖陣列進行融合，所述在檢測算法中融合為在目標檢測算法中將視頻幀與脈沖陣列進行融合，所述在后端聯合決策融合為將視頻幀和脈沖陣列分別在檢測算法中的檢測結果進行決策輸出。

2.根據權利要求1所述的方法，其特征在于，所述脈沖陣列信號為仿視網膜傳感器采樣的脈沖陣列信號，所述脈沖陣列信號表示為在時域和空域的三維空間稀疏離散點陣。

3.根據權利要求1所述的方法，其特征在于，所述將連續的脈沖陣列信號進行自適應劃分包括依據脈沖時空特性進行自適應時間和空間的劃分。

4.根據權利要求1所述的方法，其特征在于，所述的同步融合或異步融合檢測，依據為脈沖陣列信號劃分的頻率與視頻幀率是否一致，若脈沖陣列信號劃分頻率與視頻幀率相同，則是同步融合；否則是異步融合。

5.根據權利要求1所述的方法，其特征在于，所述的在檢測前端融合包括但不限于：

信號通道疊加，將視頻幀的信號通道與脈沖陣列積分幀的通道進行疊加，生成融合幀；或

信號通道融合，將視頻幀和脈沖陣列信號的積分幀采用互補方法或深度學習方法融合的方式，生成融合幀。

6.根據權利要求1所述的方法，其特征在于，所述的在后端聯合決策融合包括但不限于：

裁判判決理論融合或貝葉斯理論決策融合。

7.一種基于視頻幀與脈沖陣列信號的聯合目標檢測裝置，其特征在于，包括：

輸入模塊，用于將視頻幀和脈沖陣列信號作為目標檢測的輸入；

劃分模塊，用于將連續的脈沖陣列信號進行自適應劃分；

檢測模塊，用于根據視頻幀頻率與脈沖陣列信號劃分頻率的關系，進行同步融合或異步融合檢測；

融合模塊，用于將視頻幀與脈沖陣列信號以特征表達形式進行融合；

輸出模塊，用于輸出檢測結果；

所述以特征表達形式進行融合為在檢測前端融合或在檢測算法中融合或在后端聯合決策融合；其中，所述在檢測前端融合為在輸入檢測算法前將視頻幀和脈沖陣列進行融合，所述在檢測算法中融合為在目標檢測算法中將視頻幀與脈沖陣列進行融合，所述在后端聯合決策融合為將視頻幀和脈沖陣列分別在檢測算法中的檢測結果進行決策輸出。

8.一種電子設備，其特征在于，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述程序，以實現如權利要求1-6中任一項所述的方法。

9.一種非臨時性計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行，以實現如權利要求1-6中任一項所述的方法。