[發(fā)明專利]TDI-CMOS圖像傳感器FPN校正方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201511034506.5
• 申請(qǐng)日: 2015-12-31
• 公開（公告）號(hào): CN105681693B
• 公開（公告）日: 2019-05-10
• 發(fā)明（設(shè)計(jì)）人: 徐江濤;金偉民;劉振旺;聶凱明;高靜;史再峰
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): H04N5/365
• 分類號(hào): H04N5/365
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 劉國(guó)威

1.一種TDI-CMOS圖像傳感器FPN校正方法，其特征是，假設(shè)FPN和隨機(jī)噪聲都是加性噪聲，而且兩者不相關(guān)，對(duì)于給定的已制造完成的TDI-CMOS圖像傳感器芯片，假設(shè)其FPN對(duì)應(yīng)的灰度值在相同工作環(huán)境下是相等的，隨機(jī)噪聲服從均值為零的高斯分布；

TDI-CMOS圖像傳感器的像素陣列大小是M×N，即M行N列，將行序號(hào)和列序號(hào)分別記為i和j，假設(shè)不同像素的光響應(yīng)是不相關(guān)的，則輸出圖像中像素(i,j)的灰度值y(i,j)可以表示為式(1)：

y(i,j)＝x(i,j)-a(i)+b(j)+r(i,j) 1≤i≤L,1≤j≤N(1)

其中，L是圖像在沿軌方向上的尺寸，x(i,j)是像素(i,j)的理想灰度值，a(i)是第i行像素對(duì)應(yīng)的RFPN灰度值，b(j)是第j列像素對(duì)應(yīng)CFPN灰度值，而r(i,j)是除FPN外的所有噪聲對(duì)應(yīng)的灰度值，根據(jù)TDI工作原理，a(i)滿足式(2)

a(i)＝a(i+T)(2)

T＝M_TDI+1(3)

其中，M_TDI為TDI累加級(jí)數(shù)；首先需要采集樣本圖像數(shù)據(jù)，然后依次對(duì)RFPN和CFPN進(jìn)行估計(jì)和校正，最后采用補(bǔ)償方法，將估算得到的RFPN與CFPN值帶入到式(1),即有效得到理想的像素信息；

RFPN消除具體步驟是，圖像Y_k的行均值向量定義為U_k，第i行像素的平均灰度值定義為U_k(i)，首先檢測(cè)所有樣本圖像中沿軌方向第一條橫紋的位置即首行檢測(cè)：

圖像Y_k的行均值向量中相鄰兩個(gè)元素的比值定義為D_k(i)，如式(5)所示：

因此，U_k曲線中跳變所在的位置通過D_k(i)的閾值檢測(cè)得到，即每個(gè)變化周期的最后一行的行序號(hào)可以通過檢測(cè)得到，將第一個(gè)變化周期的最后一行的行序號(hào)記為S_k，在圖像Y_k中，從第(S_k+1)行開始截取t個(gè)周期構(gòu)造一副新的圖像Y_C,k，將Y_C,k的尺寸定義為L(zhǎng)_c×N，由式(2-1)可知，L_c滿足式(2-6)：

L_c＝t×T＝t×(M+1)(6)

對(duì)收集到的所有K幅樣本圖像重復(fù)進(jìn)行上述操作，共可以構(gòu)造K幅新的圖像，記為Y_C,1,Y_C,2,…,Y_C,K，此時(shí)，K幅新圖像中所有對(duì)應(yīng)的橫條紋都處于相同的位置，將圖像Y_C,k的行均值向量定義為U_C,k，則所有新圖像Y_C,1,Y_C,2,…,Y_C,K的總行均值向量U_C可以表示為式(7)：

基于U_C估計(jì)第i行像素對(duì)應(yīng)的RFPN灰度值a(i)(1≤i≤L_c)，a(i)表達(dá)式如式(8)，

a(i)＝round(U_C(1)-U_C(i)) 2≤i≤M+1(8)

根據(jù)式(1)，通過像素原始灰度值加上對(duì)應(yīng)行的RFPN灰度值的估計(jì)值來(lái)校正RFPN，考慮到8-bit圖像的灰度值范圍是(0-255)，還需要對(duì)校正過程進(jìn)行一些約束，如式(9)所示：

其中，z(i,j)是像素(i,j)校正RFPN后的灰度值；

根據(jù)式(1)和式(9)，像素(i,j)校正RFPN后的灰度值z(mì)(i,j)表示為式(10)：

z(i,j)＝x(i,j)+b(j)+r(i,j) 1≤i≤L,1≤j≤N(10)

CFPN消除具體步驟是，對(duì)所有樣本圖像Y₁,Y₂,…,Y_K進(jìn)行RFPN校正后得到K幅新的圖像，記為Z₁,Z₂,…,Z_K，Z_k(1≤k≤K)的列均值向量定義為V_k，則所有K幅新圖像的總列均值向量V可以表示為式(11)：

總列均值向量V通過多次采樣取平均計(jì)算得到，消除了隨機(jī)噪聲的影響，因此可以基于V估計(jì)第j列像素對(duì)應(yīng)的CFPN灰度值b(j)(1≤j≤N)，

為了基于向量V估計(jì)CFPN灰度值b(j)，首先構(gòu)造一個(gè)曲線近似平滑的理想列均值向量V_C，則向量V減去向量V_C得到的差即為估計(jì)的CFPN向量；

向量V_C可以通過向量V中幾個(gè)相鄰元素取平均的方式構(gòu)造，即使用最近鄰均值濾波器(Nearest Neighbor Averaging Filter，NNAF)進(jìn)行構(gòu)造，帶有參數(shù)的NNAF，如式(12)所示，來(lái)構(gòu)造向量V_C：

其中，W是變量，V_W是使用設(shè)計(jì)的NNAF構(gòu)造的列均值向量，而V_W(j)是第j列像素的平均灰度值；

基于V_W估計(jì)的CFPN向量定義為B_W，而第j列像素的平均灰度值定義為B_W(j)，則向量B_W可以通過式(13)計(jì)算得到：

B_W＝floor(V-V_W)(13)

向量B_W中所有元素的平均值定義為B_M,W，而B_M,W的絕對(duì)值定義為B_MA,W，如式(14)和式(15)所示：

B_MA,W＝B_M,W(15)

當(dāng)N足夠大時(shí)，CFPN向量中的元素服從均值為零的高斯分布，因此，估計(jì)得到的CFPN向量中所有元素的平均灰度值應(yīng)該為零或近似為零，則對(duì)應(yīng)B_MA,W值最小的B_W向量是對(duì)CFPN向量的最佳估計(jì)，將最佳估計(jì)向量B_W記為B_S，因此可得式16：

b(i)＝B_S(16)。

2.如權(quán)利要求1所述的TDI-CMOS圖像傳感器FPN校正方法，其特征是，采集樣本圖像數(shù)據(jù)具體步驟是，假定TDI-CMOS圖像傳感器的分辨率為8-bit，在相同的測(cè)試環(huán)境下采集K幅平均灰度值大約是127，即半飽和的均勻光圖像，記為Y₁,Y₂,…,Y_K，將這K幅圖像用作估計(jì)FPN灰度值的樣本數(shù)據(jù)，對(duì)于任一幅圖像Y_k，式(1)表示為式(4)：

Y_k(i,j)＝X_k(i,j)-a(i)+b(j)+r_k(i,j)1≤k≤K(4)

Y_k(i,j)為X像k(素i,(ji),j)a(圖i)像，b(j樣)本rk(圖i,像j)采集1過程k中，K選取半飽和灰度值的依據(jù)是“EMVAStandard 1288”標(biāo)準(zhǔn)。