[發明專利]具有多信息融合和光流測速功能的超小型雙光成像系統

在審

• 申請號: 202010585768.5
• 申請日: 2020-06-24
• 公開（公告）號: CN111856061A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 徐保樹;張程碩;魏東溟;陸朝陽;李凱;周毅偉
• 申請（專利權）人: 沈陽上博智像科技有限公司
• 主分類號: G01P3/38
• 分類號: G01P3/38;G01P3/68;G06K9/00
• 代理公司: 沈陽友和欣知識產權代理事務所(普通合伙) 21254
• 代理人: 楊群

1.具有多信息融合和光流測速作用的超小型雙光成像系統，其特征在于，應用在飛行器上，包括紅外成像模塊、可見光成像模塊、超聲波測距模塊、慣性測量模塊和核心圖像處理器，核心圖像處理器包括多信息融合模塊、光流測速模塊、OSD模塊和視頻壓縮模塊，紅外成像模塊與多信息融合模塊的輸入端連接，可見光成像模塊分別與多信息融合模塊和光流測速模塊連接，超聲波測距模塊、慣性測量模塊分別與光流測速模塊的輸入端連接，在核心圖像處理器內，光速測流模塊分別與多信息融合模塊和OSD模塊輸入端連接，OSD模塊輸出端與多信息融合模塊連接，多信息融合模塊的輸出端與視頻壓縮模塊連接，視頻壓縮模塊通過網絡將處理后的圖像信息發送出去。

2.如權利要求1所述的具有多信息融合和光流測速作用的超小型雙光成像系統，其特征在于，還包括人臉識別模塊，人臉識別模塊連接在所述多信息融合模塊與所述OSD模塊之間，人臉識別模塊包括人臉圖像特征提取模塊、人臉圖像匹配與識別模塊以及人臉圖像檔案存儲模塊，人臉圖像特征提取模塊與多信息融合模塊連接，用于提取捕捉的人像特征，之后人臉圖像匹配與識別模塊將捕捉的人像特征與人臉圖像檔案存儲模塊中存儲的人臉圖像匹配，進行人臉識別，然后通過OSD模塊將識別結果傳輸到多信息融合模塊中進行融合。

3.如權利要求1所述的具有多信息融合和光流測速作用的超小型雙光成像系統，其特征在于，還包括拾音器，拾音器與所述多信息融合模塊的輸入端連接，用于為視頻圖像采集音頻進行融合。

4.如權利要求1所述的具有多信息融合和光流測速作用的超小型雙光成像系統，其特征在于，還包括探照燈，探照燈與所述可見光成像模塊連接，用于在低照度下為可見光成像模塊提供光源。

5.如權利要求1所述的具有多信息融合和光流測速作用的超小型雙光成像系統，其特征在于，所述多信息融合模塊將所述紅外成像模塊輸入的紅外圖像與所述可見光成像模塊輸入的可將光圖像進行融合的方式為紅外成像模塊輸入的紅外圖像疊加嵌入到可見光成像模塊輸入的可見光圖像中或紅外圖像與可見光圖像在像素級上進行疊加。

6.如權利要求5所述的具有多信息融合和光流測速作用的超小型雙光成像系統，其特征在于，紅外圖像與可見光圖像在像素級上進行疊加的具體步驟為：

501)利用線下標定方法將所述可見光成像模塊和所述紅外成像模塊的光軸對準；

502)然后通過雙線性差值法，實現可見光圖像和紅外圖像的像元匹配；

503)計算匹配的可見光圖像塊和紅外圖像塊的顯著度；

504)可見光像元和紅外像元級疊加過程中，給顯著度高的像素點分配較高的權值，完成像素級上的疊加。

7.如權利要求1所述的具有多信息融合和光流測速作用的超小型雙光成像系統，其特征在于，所述紅外成像模塊尺寸為10.50×12.701×7.14mm，重0.9g，配置水平視場角為56°HFOV、焦距為1.8mm、F數為1.1的無熱化紅外光學鏡頭；所述可見光成像模塊為自動對焦照相模組，尺寸為8.50×8.5×5.03mm，質量小于0.5g，配置視場角為60～69°、焦距為3.34mm、F數為2.8的可見光自動對焦鏡頭；所述拾音器為MEMS麥克風；所述超聲波測距模塊包括超聲波發射器、超聲波接收器及控制電路；所述慣性測量模塊為MEMS陀螺儀。