[發明專利]雙模態信號融合系統和方法

有效

• 申請號: 202011019240.8
• 申請日: 2020-09-24
• 公開（公告）號: CN112188093B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 施路平;楊哲宇;王韜毅;趙蓉;何偉;裴京
• 申請（專利權）人: 北京靈汐科技有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/235;H04N9/73;G06N3/06
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種雙模態信號融合系統，其特征在于，包括：

圖像傳感器單元，所述圖像傳感器單元用于獲取雙模態圖像信號；

圖像處理單元，與所述圖像傳感器單元連接，所述圖像處理單元用于同時對所述雙模態圖像信號中的同步信號和異步信號進行預處理；

圖像融合單元，與所述圖像處理單元連接，所述圖像融合單元用于將所述雙模態圖像信號中的同步信號和異步信號進行特征融合；

所述圖像融合單元具體用于將預處理后的所述同步信號中的圖像色彩信息以特征信息合并的方式加入到所述異步信號中的圖像灰度變化量信息中，以將所述同步信號和所述異步信號進行特征融合；

所述圖像處理單元與所述圖像融合單元通過高速數據傳輸接口連接，以傳輸所述雙模態圖像信號。

2.根據權利要求1所述的雙模態信號融合系統，其特征在于，所述圖像處理單元與所述圖像融合單元通信連接，所述圖像處理單元還用于配置所述圖像融合單元的參數。

3.根據權利要求2所述的雙模態信號融合系統，其特征在于，所述圖像處理單元與所述圖像融合單元通過兩線式串行總線、通用異步收發傳輸器、集成電路內置音頻總線和串行外設接口中的任一種通信連接。

4.根據權利要求2所述的雙模態信號融合系統，其特征在于，所述圖像處理單元還用于將預處理后的所述雙模態圖像信號中的同步信號和異步信號進行處理，以得到滿足所述圖像融合單元進行特征融合所需格式的所述雙模態圖像信號。

5.根據權利要求4所述的雙模態信號融合系統，其特征在于，所述圖像傳感器單元獲取的所述雙模態圖像信號中的同步信號包括圖像色彩信息，所述雙模態圖像信號中的異步信號包括圖像灰度梯度信息。

6.根據權利要求5所述的雙模態信號融合系統，其特征在于，所述圖像融合單元的參數包括所述同步信號中的圖像色彩信息和所述異步信號中的圖像灰度梯度信息的特征融合權重。

7.根據權利要求5所述的雙模態信號融合系統，其特征在于，所述圖像融合單元還用于對所述圖像處理單元處理后的滿足特征融合所需格式的所述雙模態圖像信號進行解碼，以獲得所述同步信號中的所述圖像色彩信息和所述異步信號中的所述圖像灰度梯度信息。

8.根據權利要求7所述的雙模態信號融合系統，其特征在于，其特征在于，所述圖像融合單元還包括模擬神經網絡處理子單元和脈沖神經網絡處理子單元，所述模擬神經網絡處理子單元用于處理解碼后獲得的所述圖像色彩信息，所述脈沖神經網絡處理子單元用于處理解碼后獲得的所述圖像灰度梯度信息。

9.根據權利要求8所述的雙模態信號融合系統，其特征在于，所述圖像融合單元還包括特征融合子單元，與所述模擬神經網絡處理子單元和所述脈沖神經網絡處理子單元通信連接；

所述圖像處理單元用于配置所述特征融合子單元的參數，所述特征融合子單元用于根據所述圖像處理單元的配置，將所述模擬神經網絡處理子單元處理后的所述圖像色彩信息以及所述脈沖神經網絡處理子單元處理后的所述圖像灰度梯度信息進行融合。

10.根據權利要求1所述的雙模態信號融合系統，其特征在于，所述圖像傳感器單元和所述圖像處理單元通過高速數據傳輸接口連接，用于傳輸所述雙模態圖像信號。

11.根據權利要求1所述的雙模態信號融合系統，其特征在于，所述圖像處理單元包括異步數據處理器和同步數據處理器，所述異步數據處理器用于對所述雙模態圖像信號中的異步信號進行處理，同時所述同步數據處理器用于對所述雙模態圖像信號中的同步信號進行處理。

12.根據權利要求11所述的雙模態信號融合系統，其特征在于，所述圖像傳感器單元包括圖像傳感器，所述異步數據處理器與所述圖像傳感器通信連接，所述異步數據處理器還用于配置所述圖像傳感器的參數。