[發明專利]一種基于顯著性物體檢測方法的彩色三維全息顯示方法

在審

• 申請號: 202310478830.4
• 申請日: 2023-04-28
• 公開（公告）號: CN116524491A
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 趙宇;黃梓杰;卜靜雯;吉嘉會;閻嘉輝
• 申請（專利權）人: 揚州大學
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V10/26;G06V10/28;G06V10/30;G06V10/762;G06V10/82;G06T17/00;G06T19/20
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 徐曉鷺

1.一種基于顯著性物體檢測方法的彩色三維全息顯示方法，其特征在于，應用于電子設備，包括如下步驟：

S1、通過深度相機采集深度圖片和對應彩色圖片，結合彩色圖片和深度圖片生成點云；

S2、將彩色圖片輸入到YOLOv5圖像分割算法中獲得二維圖像分割結果；

S3、將二維圖像分割結果作為掩膜映射到點云中，并降低點云的信息量；

S4、去除篩選出來的點云的噪聲信息，獲得三維點云分割結果；

S5、基于點云分割結果進行點云稀疏化，利用泰勒-瑞利-索末菲衍射點云網格算法基于稀疏化點云生成全息圖片。

2.根據權利要求1所述的方法，其特征在于，步驟S1中生成點云的方法具體為：基于深度相機獲取深度圖片和彩色圖片，調用MATLAB中的圖像采集工具包中函數pcfromkinect生成點云，實現三維圖像采集。

3.根據權利要求1所述的方法，其特征在于，在將圖像的輸出轉換為二值圖像掩膜返回時，其二值圖像返回為原彩色圖像的水平鏡像圖像，在后續點云映射操作中提前將其做水平鏡像操作翻轉回來，具體的，基于flipdim函數進行水平鏡像翻轉，其傳遞參數如下：第一個參數傳遞待翻轉圖像即傳入二值圖像掩膜；第二個參數傳遞待翻轉圖像的翻轉維度。

4.根據權利要求1所述的方法，其特征在于，步驟S3中掩膜映射到點云的方法具體為：將得到的二值圖像掩膜轉換為double類型掩膜img，構造NaN類型同等大小掩膜mask，將所有img中不為0的點的位置索引映射到mask中，并設置為1。

5.根據權利要求1所述的方法，其特征在于，步驟S3中降低點云信息量的方法具體為：將先前生成的點云與YOLOv5映射的點云進行點乘，將點乘得到的結果利用刪除無效點方法刪除NaN值的點，同時結合點云降采樣方法，進一步在保留主要點云信息的前提下，降低點云的信息量。

6.根據權利要求1所述的方法，其特征在于，步驟S4中去除篩選出來的點云的噪聲信息具體為：以點云之間的距離為依據，對點云進行聚類，同時設置最小簇點數，以點與點之間的距離作為標準，將點云聚類成不同的簇，并將小于最小簇點數的簇，以去除冗余的邊緣信息去除。

7.根據權利要求6所述的方法，其特征在于，步驟S4中點云去噪方法具體為：通過調用pcsegdist方法，其傳遞參數如下：第一個參數傳遞待聚類點云；第二個參數傳遞點云分類最小距離；第三和第四個參數傳遞為聚類簇點數的數量范圍，N個點以上則分類為一簇，否則分類為噪聲。

8.根據權利要求1所述的方法，其特征在于，步驟S5中點云稀疏化方法具體為：將新的點云ptCloudSeg中的位置信息和顏色信息集中到新的容器Obj中，隨后通過MATLAB內置的unique函數，將ptCloudSeg中的xOy平面位置信息重復的點記為一個，以此來完成點云ptCloudSeg的稀疏化。

9.根據權利要求1至8任意一項所述的方法，其特征在于，步驟S5中將點云網格化后得到同全息圖分辨率相匹配的稀疏點云，根據瑞利-索末菲衍射公式，對稀疏點云的每個點的衍射情況進行計算，調用MATLAB中的FFT快速傅里葉變換函數，對每個2D多深度網格執行FFT以計算衍射并生成的全息圖，將矩陣轉換到頻率域中進行計算，通過菲涅爾衍射公式計算每個采樣點處光場的復值；基于FFT的卷積中對徑向值r進行泰勒展開，得到復光場的一組離散樣本值，而振幅和相位都在每個樣本點，獲得全息重建圖片的頻率域結果；調用IFFT傅里葉逆變換函數將該結果重新轉換到空間域中，最后得到稀疏點云全息重建后的圖像。

10.根據權利要求9所述的方法，其特征在于，步驟S5具體為：

步驟S51,二維平面為r_⊥＝(x,y)，當傳播距離為z時，根據公式初始場變為新場，u(r_⊥,z)是新場，u(r_⊥,0)是初始場，h(r_⊥,z)是距離z的傳遞函數；時域中的卷積相當于頻域中的乘法：其中是傅里葉正/逆變換，z₀表示對象在z軸上的初始位置；

步驟S52,根據采樣關系獲得采樣頻率f_X和f_Y，然后對2D深度網格計算衍射生成全息圖U_M，表示為：U(x,y)是時域中的目標場；

步驟S53，根據幾何關系，時域中的徑向值r滿足下式：

其中f_X和f_Y是頻域中的頻率，λ是波長，pph是像素間距；

根據瑞利-索末菲衍射公式，傳遞函數h(r_⊥,z)：

其中徑向值r＝|r|，向量r＝(x,y,z)，k是波向量；

將傅里葉變換應用于傳遞函數h，以獲得其頻域中的角譜H，如下式所示：H＝exp(jk₁d₁)exp(-jπλd₁r),其中k₁是紅色波的波矢量，λ是紅色波波長，d₁如以下方程所示：其中d是生成全息圖的距離，sam_int是采樣間隔，Cut是分段點云網格；

步驟S54，頻域中的r如下式所示：

其中|ρ_⊥|²＝(f_X²+f_Y²)，根據泰勒展開式展開r，

r展開如下：

步驟S55,將全息圖和傳遞函數的頻域結果相乘再進行傅里葉逆變換，得到時域結果：

其中H_DepthgridN表示通道X中深度網格的全息圖，U_M(f_X,f_Y)是通道的光場信息，H是角光譜；

最后通過疊加獲得全息圖Hol：

Hol＝H_Depthgrid1+H_Depthgrid2+......+H_DepthgridN。