[發(fā)明專利]具有多信息融合和光流測速功能的超小型雙光成像系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010585768.5
• 申請日: 2020-06-24
• 公開（公告）號: CN111856061A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 徐保樹;張程碩;魏東溟;陸朝陽;李凱;周毅偉
• 申請（專利權(quán)）人: 沈陽上博智像科技有限公司
• 主分類號: G01P3/38
• 分類號: G01P3/38;G01P3/68;G06K9/00
• 代理公司: 沈陽友和欣知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 21254
• 代理人: 楊群

本發(fā)明屬于無人機攜帶的雙光成像系統(tǒng)技術(shù)領(lǐng)域，具體涉及一種具有多信息融合和光流測速作用的超小型雙光成像系統(tǒng)，本系統(tǒng)應(yīng)用在飛行器上，包括紅外成像模塊、可見光成像模塊、超聲波測距模塊、慣性測量模塊和核心圖像處理器，核心圖像處理器包括多信息融合模塊、光流測速模塊、OSD模塊和視頻壓縮模塊。本發(fā)明將紅外成像技術(shù)、可見光成像技術(shù)與信息融合技術(shù)一體化設(shè)計，創(chuàng)新性地在雙光系統(tǒng)中增加光流測速和人臉識別功能，實現(xiàn)超小型雙光成像系統(tǒng)，進一步拓展小型偵察式無人機在復(fù)雜環(huán)境中的作業(yè)能力，為地面作戰(zhàn)單位在隱匿的環(huán)境下充分的擴大視野，使行動人員能夠隨時隨地保持態(tài)勢感知、威脅探測和監(jiān)視能力。

技術(shù)領(lǐng)域

本發(fā)明屬于無人機攜帶的雙光成像系統(tǒng)技術(shù)領(lǐng)域，具體涉及一種具有多信息融合和光流測速作用的超小型雙光成像系統(tǒng)及光流測速方法。

背景技術(shù)

隨著電子技術(shù)的飛速發(fā)展，小型無人機憑借較高的機動性能、良好的環(huán)境適應(yīng)性以及經(jīng)濟性，在安防監(jiān)控、搜索救援、警用執(zhí)法、森林防火、電力巡線、環(huán)保科研等諸多領(lǐng)域得到了廣泛應(yīng)用。技術(shù)發(fā)展至今，除了無人機平臺本身的發(fā)展外，有效載荷的不斷豐富及性能的不斷提升，也極大擴展了無人機的應(yīng)用范疇。無人機主要是通過成像探測設(shè)備獲取地面圖像信息來完成監(jiān)視、偵察等任務(wù)。就現(xiàn)狀而言，無人機載設(shè)備受無人機自身技術(shù)特點制約，有著與其它載體設(shè)備不同的要求：

1、無人機自身體積偏小，其機載設(shè)備線路板的體積、形狀都會受到限制；

2、由于無人機，特別是小型無人機的載荷能力有限，機載的任務(wù)載荷需符合輕量化要求，以便延長無人機的續(xù)航時間；

3、無人機提供的電源功率有限，不能同地面設(shè)備一樣提供大功率電源，因此，要求機載的任務(wù)載荷低功耗。

基于以上特點，無人機對載荷的重量、體積和功耗有著嚴格的要求，超小型載荷尤為重要。

由于不同成像探測設(shè)備成像機理、工作波段和工作環(huán)境等因素的不同，不同類型的傳感器對同一目標或場景進行成像時，其獲取到的目標或場景信息存在差異。可見光傳感器能夠獲得豐富、細膩的可見光圖像，但在光照條件差時，其成像質(zhì)量受到嚴重影響；紅外探測器在夜晚等光照較差條件下具有較好的目標探測能力，但其所成的紅外圖像細節(jié)表現(xiàn)能力較差。特別是對于低分辨率紅外成像設(shè)備而言，探測器像元數(shù)有限，輸出紅外圖像邊緣模糊，限制了紅外成像設(shè)備向著高性能輕量化的方向發(fā)展。另外，倘若無人機在飛行過程中出現(xiàn)丟星情況，姿態(tài)容易發(fā)散，會直接導(dǎo)致飛行任務(wù)失敗甚至飛行器墜毀。

發(fā)明內(nèi)容

為了解決上述問題，本發(fā)明提供了一種具有多信息融合和光流測速作用的超小型雙光成像系統(tǒng)及光流測速方法。

本發(fā)明是這樣實現(xiàn)的，提供一種具有多信息融合和光流測速作用的超小型雙光成像系統(tǒng)，應(yīng)用在飛行器上，包括紅外成像模塊、可見光成像模塊、超聲波測距模塊、慣性測量模塊和核心圖像處理器，核心圖像處理器包括多信息融合模塊、光流測速模塊、OSD模塊和視頻壓縮模塊，紅外成像模塊與多信息融合模塊的輸入端連接，可見光成像模塊分別與多信息融合模塊和光流測速模塊連接，超聲波測距模塊、慣性測量模塊分別與光流測速模塊的輸入端連接，在核心圖像處理器內(nèi)，光速測流模塊分別與多信息融合模塊和OSD模塊輸入端連接，OSD模塊輸出端與多信息融合模塊連接，多信息融合模塊的輸出端與視頻壓縮模塊連接，視頻壓縮模塊通過網(wǎng)絡(luò)將處理后的圖像信息發(fā)送出去。

優(yōu)選地，還包括人臉識別模塊，人臉識別模塊連接在所述多信息融合模塊與所述OSD模塊之間，人臉識別模塊包括人臉圖像特征提取模塊、人臉圖像匹配與識別模塊以及人臉圖像檔案存儲模塊，人臉圖像特征提取模塊與多信息融合模塊連接，用于提取捕捉的人像特征，之后人臉圖像匹配與識別模塊將捕捉的人像特征與人臉圖像檔案存儲模塊中存儲的人臉圖像匹配，進行人臉識別，然后通過OSD模塊將識別結(jié)果傳輸?shù)蕉嘈畔⑷诤夏K中進行融合。

進一步優(yōu)選，還包括拾音器，拾音器與所述多信息融合模塊的輸入端連接，用于為視頻圖像采集音頻進行融合。