[發(fā)明專利]用于特征提取的圖像處理裝置和方法

有效

• 申請?zhí)枺?/td>: 201880096186.1
• 申請日: 2018-08-14
• 公開（公告）號: CN112514373B
• 公開（公告）日: 2023-09-15
• 發(fā)明（設計）人: 趙志杰;方運潭;查鈞;陳虎;周建同
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04N7/18
• 分類號: H04N7/18;G06V20/40;G06T3/40;G06T7/254
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 熊永強;李稷芳

1.一種用于從場景的圖像中提取特征的圖像處理裝置(100；200)，其中，所述裝置(100；200)包括：

CMOS傳感器，用于捕獲場景的第一圖像并提供第一圖像數(shù)據(jù)(301)，所述第一圖像數(shù)據(jù)(301)包括第一多個樣本值；

事件傳感器，用于捕獲所述場景的第二圖像并提供第二圖像數(shù)據(jù)(303)，所述第二圖像數(shù)據(jù)(303)包括第二多個樣本值，所述第二圖像數(shù)據(jù)(303)包括正/負強度變化量和強度變化的位置，所述位置包括強度變化超過預定閾值的相應像素的坐標，以及所述像素的坐標處發(fā)生強度變化的時間；

處理電路，所述處理電路用于，

基于所述第二圖像數(shù)據(jù)，識別特征提取事件；

響應于所述特征提取事件，基于所述CMOS傳感器和所述事件傳感器的視場和焦距，對所述第一圖像和所述第二圖像執(zhí)行幾何校正后，將所述第一多個樣本值與所述第二多個樣本值進行映射；

通過使用神經(jīng)網(wǎng)絡，基于所述第二圖像數(shù)據(jù)從所述第一圖像數(shù)據(jù)(301)中提取特征；以及

通過融合所述第一圖像和所述第二圖像來生成合成圖像。

2.根據(jù)權利要求1所述的裝置(100；200)，其中，所述特征提取事件由所述裝置(100；200)接收到特征提取事件信號而觸發(fā)，其中，所述特征提取事件信號包括關于要從所述第一圖像數(shù)據(jù)(301)中提取的所述特征的位置的信息。

3.根據(jù)權利要求1所述的裝置(100；200)，其中，所述處理電路用于基于所述第二圖像數(shù)據(jù)(303)確定是否滿足特征提取條件，并且如果滿足所述特征提取條件，則觸發(fā)所述特征提取。

4.根據(jù)權利要求3所述的裝置(100；200)，其中，所述圖像是視頻流的多個圖像之一，并且其中，所述處理電路還用于基于所述第二圖像數(shù)據(jù)(303)確定運動統(tǒng)計和/或樣本值變化信息，并基于所述運動統(tǒng)計和/或所述樣本值變化信息確定是否滿足所述特征提取條件。

5.根據(jù)權利要求4所述的裝置(100；200)，其中，所述處理電路用于，通過將所述運動統(tǒng)計和/或所述樣本值變化信息與一個或多個閾值進行比較，基于所述運動統(tǒng)計和/或所述樣本值變化信息確定是否滿足所述特征提取條件。

6.根據(jù)權利要求1所述的裝置(100)，其中，由所述CMOS成像傳感器(101)捕獲的所述第一圖像的分辨率高于由所述事件成像傳感器(111)捕獲的所述第二圖像的分辨率。

7.根據(jù)權利要求2所述的裝置(100)，其中，所述處理電路還用于將所述第一圖像下采樣到所述第二圖像的較低分辨率。

8.根據(jù)權利要求1至7中任一項所述的裝置(100)，其中，所述處理電路還用于基于所述第二圖像數(shù)據(jù)，在所述第一圖像數(shù)據(jù)(301)中識別滿足所述特征提取條件的所述特征。

9.根據(jù)權利要求1所述的裝置(100)，其中，所述處理電路還用于在分別對所述第一圖像和所述第二圖像進行信號處理之后融合所述第一圖像和所述第二圖像。