[發(fā)明專利]基于仿生式脈沖相機的成像方法、裝置、設備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110253200.8
• 申請日: 2021-03-04
• 公開（公告）號: CN113067979A
• 公開（公告）日: 2021-07-02
• 發(fā)明（設計）人: 熊瑞勤;趙菁;黃鐵軍
• 申請（專利權）人: 北京大學
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/217
• 代理公司: 北京辰權知識產(chǎn)權代理有限公司 11619
• 代理人: 付婧

本發(fā)明公開了一種基于仿生式脈沖相機的成像方法、裝置、設備及存儲介質(zhì)，所述方法包括:根據(jù)預設時間段內(nèi)的多個脈沖陣列，得到重構的圖像序列；根據(jù)光流法得到所述圖像序列之間的相對運動關系；根據(jù)所述相對運動關系將所述圖像序列進行運動對齊，得到不同幀各像素點間的對應關系；根據(jù)不同幀各像素點間的對應關系，對所述重構的圖像序列的像素點進行時間維度上濾波，更新像素點的光強值以生成圖像。根據(jù)本公開實施例提供的基于仿生式脈沖相機的成像方法，解決了傳統(tǒng)相機難以對高速運動的物體進行清晰成像的問題，可以產(chǎn)生信噪比高、不模糊的圖像。

技術領域

本發(fā)明涉及圖像處理技術領域，特別涉及一種基于仿生式脈沖相機的成像方法、裝置、設備及存儲介質(zhì)。

背景技術

傳統(tǒng)數(shù)字相機通常以固定幀率進行拍攝成像，每一幀圖像按照以下方式生成：在一定的曝光時間窗內(nèi)，圖像傳感器的每個像素對入射光進行光電轉換和累計，曝光結束后經(jīng)過模數(shù)轉換得到該像素的光照總量。通常曝光時間的長度由光照強度決定，當光線較弱時往往需要增加曝光時間來抑制暗電流噪聲的影響。這種方式無法對高速物體進行有效成像，往往導致高速運動物體的成像模糊。近年來，生物視網(wǎng)膜中央凹獨特的神經(jīng)元連接結構和神經(jīng)節(jié)細胞的積分發(fā)放模型為視覺采樣提供了新的思路。通過對視網(wǎng)膜中央凹的模擬和抽象，一種包含光感受器、積分器和閾值比較器的脈沖相機被提出。脈沖相機以脈沖陣列的形式表示視覺信息，能夠持續(xù)記錄光強的變化，不存在幀率和曝光時間的概念，突破了傳統(tǒng)相機的局限性，既可以實現(xiàn)對高速運動的捕捉和記錄，又可以重構出場景中紋理細節(jié)。

現(xiàn)有技術中，存在兩種脈沖相機的重建算法，基于脈沖間隔的重建算法和基于時間窗平均的重建算法。其中，基于脈沖間隔的重建算法利用脈沖間隔隨著光強的增加而減小這一特性，借助前后兩個脈沖重構出一小段時間內(nèi)的光強。該算法雖然能刻畫出高速運動的輪廓，但重建信號通常不夠穩(wěn)定，在時間方向看像素值有明顯的波動；基于時間窗平均的重建算法利用脈沖發(fā)放頻率隨著光強的增加而增加這一特性來估計時間窗內(nèi)的平均光強。該算法雖然在一定程度上提高了重建圖像的信噪比，但是當物體存在運動時，時間窗內(nèi)的平均會導致重建圖像存在運動模糊。

因此，現(xiàn)有技術中利用脈沖相機進行圖像重建的方法，在高速運動場景下無法得到清晰的圖像。

發(fā)明內(nèi)容

本公開實施例提供了一種基于仿生式脈沖相機的成像方法、裝置、設備及存儲介質(zhì)。為了對披露的實施例的一些方面有一個基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評述，也不是要確定關鍵/重要組成元素或描繪這些實施例的保護范圍。其唯一目的是用簡單的形式呈現(xiàn)一些概念，以此作為后面的詳細說明的序言。

第一方面，本公開實施例提供了一種基于仿生式脈沖相機的成像方法,包括:

根據(jù)預設時間段內(nèi)的多個脈沖陣列，得到重構的圖像序列；

根據(jù)光流法得到圖像序列之間的相對運動關系；

根據(jù)相對運動關系將圖像序列進行運動對齊，得到不同幀各像素點間的對應關系；

根據(jù)不同幀各像素點間的對應關系，對重構的圖像序列的像素點進行時間維度上濾波，更新像素點的光強值以生成圖像。

在一個實施例中，根據(jù)預設時間段內(nèi)的多個脈沖陣列，得到重構的圖像序列之前，還包括：

根據(jù)預設時間段內(nèi)的脈沖信號，獲取待成像物體基于像素點的多個脈沖陣列。

在一個實施例中，根據(jù)預設時間段內(nèi)的多個脈沖陣列，得到重構的圖像序列，包括：

采用脈沖間隔算法重構出圖像序列。

在一個實施例中，得到不同幀各像素點間的對應關系之后，還包括：

獲取當前幀的像素點在其他幀圖像上的對應像素點處的光強值。

在一個實施例中，獲取當前幀的像素點在其他幀圖像上的對應像素點處的光強值，包括：