[發明專利]一種基于一維集成成像系統的陣列圖生成及填補方法

有效

• 申請號: 201910448420.9
• 申請日: 2019-05-28
• 公開（公告）號: CN110149508B
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 王世剛;韓一雪;韋健;趙巖
• 申請（專利權）人: 吉林大學
• 主分類號: H04N13/122
• 分類號: H04N13/122;H04N13/128;H04N13/302;H04N13/327
• 代理公司: 長春吉大專利代理有限責任公司 22201
• 代理人: 邵銘康;朱世林

1.一種基于一維集成成像系統的陣列圖生成及填補方法，其特征在于包括下列步驟：

1.1設原圖像為I_original-k，深度圖為H_k，生成的帶有空洞的視點圖為W_k-r，

其中：k表示視頻中第k幀圖像；r表示第r個視點，r的取值范圍是1～2*N，N為半視點數；

1.1.1根據所需要的深度效果，預設人眼能感受到的出屏深度和入屏深度，由幾何光學得到：

M/B＝P/(P+D)

其中：B為雙眼間距；M為視差，表示左右眼像之間的水平距離，設其最大值為maxM；P為人眼能感受到的景物深度，設其最大值為maxP；D為觀察者與屏幕之間的距離；

之后，將人眼能感受到的景物深度P進行單位變換，由毫米變成像素：設經單位轉換后的最大正視差為maxPM，該視差將產生入屏效果：maxPM＝maxM*(α/A)；設經單位轉換后的最大負視差為maxNM，該視差將導致出屏效果：

maxNM＝-abs(maxM)*(α/A)

其中：abs(maxM)＝maxP*B/(D-maxP)；α為屏幕的水平分辨率；A為屏幕的水平寬度；

1.1.2將深度值均勻量化到人眼能感受到的景物深度上，將其轉化為視差值，轉換公式為：

d(i,j)＝(maxNM-maxPM)/255*H(i,j)+maxPM

其中：d(i,j)為坐標(i,j)點所對應的視差值；H(i,j)為點(i,j)所對應的深度值；

由此可知，當深度值為0時，對應正視差maxPM；當深度值為255時，對應負視差maxNM；

1.1.3對原視頻圖像中的每個像素點根據視差值進行平移，即可獲取任意視點圖像：

I_N-x+1(i,j-d(i,j)*x/2N)＝I_original-k(i,j)、I_N+x(i,j+d(i,j)*x/2N)＝I_original-k(i,j)

將視點按照相對原圖像從左至右的方向編號，視點總數為2*N個，該視點圖像為第x個視點圖像；

1.2統計在圖W_k-r中，由I_original-k映射到W_k-r(i,j)的點的個數n和它們的坐標I_original-k(x₁,y₁)、I_original-k(x₂,y₂)、...I_original-k(x_n,y_n)；

當n＝0時，令W_k-r(i,j)＝0，即為空洞點；

當n＝1時，令W_k-r(i,j)＝I_originial-k(x,y)；

當n＝2時，令

當n2時，取I_original-k(x₁,y₁)、I_original-k(x₂,y₂)、...I_original-k(x_n,y_n)中的深度最大值所在的像素點的坐標為(i,j)，令W_k-r(i,j)＝I_original-k(x_p,y_p)(1≤p≤n)；

1.3將n＝0的點，即空洞點的像素值設為0，其它為255，得到mask_k-r圖像；mask_k-r圖像將直觀地反映出W_k-r圖像中空洞的分布情況；

1.4.利用光流法對初步生成的視點圖進行空洞填補包括下列步驟：

1.4.1提取出圖像mask_k-r內部大面積空洞的邊緣，設第i行空洞的邊緣點分別為(i,a)和(i,b)，設ab，設參考幀圖片為原視頻中的第三幀，即圖像I_original-3，利用LK光流法即稀疏光流法對W_k-r和圖像 I_original-3進行計算，得到每個像素點在水平和垂直兩個方向上的運動速度，分別為ofv和ofh；

1.4.2將(i,a)左側與(i,b)右側的深度值進行比較，若(i,a)左側的深度值小，則說明其與觀察者的距離更遠，是圖像的背景部分；

1.4.3估算空洞部分的光流值,取(i,a)左側7個像素的水平運動速度與垂直運動速度，求其平均值，作為該行空洞的水平運動速度和垂直運動速度；設q為計數參數，取值范圍為[0,6]，即：

1.4.4設對應像素點的位移為Δx、Δy，當ajb時，空洞處的水平位移為：Δx＝ofh(i,j)×10，豎直位移為：Δy＝ofv(i,j)×10，求得空洞處在I_original-3的映射塊：W_k-r(i,j)＝I_original-3(i+Δx,j+Δy)；

1.5利用Criminisi圖像修復算法處理圖像包括下列步驟：

1.5.1用Criminisi圖像修復算法處理W_k-r圖像，由于原圖像大小為436*1024像素，根據原圖像大小設定Criminisi圖像修復算法中的單位像素塊為半徑為12-20像素的單位塊。