[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)和光場圖像的氣泡流場三維重建方法

在審

• 申請?zhí)枺?/td>: 202010545296.0
• 申請日: 2020-06-16
• 公開（公告）號: CN111709983A
• 公開（公告）日: 2020-09-25
• 發(fā)明（設(shè)計）人: 王紅一;王紅玉;宋麗梅;郭慶華
• 申請（專利權(quán)）人: 天津工業(yè)大學
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)和光場圖像的氣泡流場三維重建方法，其特征在于，包括如下步驟：

步驟1：選擇訓練數(shù)據(jù)集和測試數(shù)據(jù)集；

步驟2：利用卷積神經(jīng)網(wǎng)絡(luò)從訓練數(shù)據(jù)集的圖像中提取圖像序列特征信息和圖像的多尺度特征信息，在每個尺度上使用空間特征變換層將圖像序列特征與圖像特征進行整合，整合后的結(jié)果再次經(jīng)過特征提取，最后將提取結(jié)果輸出網(wǎng)絡(luò)；

步驟3：對步驟2中所述的卷積神經(jīng)網(wǎng)絡(luò)輸出結(jié)果與實際值進行比對評價，并將均方根誤差損失函數(shù)作為卷積神經(jīng)網(wǎng)絡(luò)的評價誤差，利用均方根誤差損失函數(shù)對卷積神經(jīng)網(wǎng)絡(luò)進行訓練，直到其收斂至最優(yōu)精度；

步驟4：將步驟1中所述的測試數(shù)據(jù)集中的任意一張氣泡圖像輸入步驟3中已訓練好的卷積神經(jīng)網(wǎng)絡(luò)模型中，得到該氣泡深度的預(yù)測值；

步驟5：將步驟4中所述的氣泡深度預(yù)測值與氣泡的尺寸和位置信息進行融合，重建氣泡的三維空間信息。

2.如權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)和光場圖像的氣泡流場三維重建方法，其特征是，步驟1所述訓練數(shù)據(jù)集的獲取包括以下子步驟：

步驟1.1、訓練數(shù)據(jù)集的獲取；將大小W*H*3的彩色氣泡圖像作為卷積神經(jīng)網(wǎng)絡(luò)的圖像輸入數(shù)據(jù)，彩色氣泡圖像的序列號作為卷積神經(jīng)網(wǎng)絡(luò)的序號輸入數(shù)據(jù)，彩色氣泡圖像中氣泡的實際深度值作為卷積神經(jīng)網(wǎng)絡(luò)的輸出數(shù)據(jù)，所述的彩色氣泡圖像、序列號和實際深度值作為樣本對，生成訓練數(shù)據(jù)集文件；

步驟1.2、測試數(shù)據(jù)集的獲取；將大小W*H*3的彩色氣泡圖像作為測試卷積神經(jīng)網(wǎng)絡(luò)模型的圖像輸入數(shù)據(jù)，彩色氣泡圖像的序列號作為測試卷積神經(jīng)網(wǎng)絡(luò)模型的序號輸入數(shù)據(jù)，所述的彩色氣泡圖像和序列號作為樣本對，生成測試數(shù)據(jù)集文件。

3.如權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)和光場圖像的氣泡流場三維重建方法，其特征是，步驟2的實現(xiàn)包括以下子步驟：

步驟2.1、圖像序列號特征信息的提取；將大小W*H*3的彩色氣泡圖像的序列號重構(gòu)為大小W*H*1的矩陣，其中矩陣中各位置上的值均為所述彩色氣泡圖像的序列號值，所述的重構(gòu)矩陣輸入由卷積和非線性激活構(gòu)成的卷積層，編碼階段共1個處理塊，得到特征圖大小為W*H*16，其中W為原彩色圖的寬度，H為原彩色圖的高度；

步驟2.2、圖像特征信息的提取；首先，將大小W*H*3的彩色氣泡圖像輸入由卷積和非線性激活構(gòu)成的卷積層，得到大小W*H*16的特征圖，然后，將所述的特征圖輸入由池化和非線性激活構(gòu)成的池化層，得到大小(0.5*W)*(0.5*H)*16的特征圖，其次，將所述的特征圖輸入由卷積和非線性激活構(gòu)成的卷積層，得到大小(0.5*W)*(0.5*H)*32的特征圖，最后，將所述的特征圖輸入由池化和非線性激活構(gòu)成的池化層，得到大小(0.25*W)*(0.25*H)*32的特征圖，其中，W為原圖的寬度，H為原圖的高度；

步驟2.3、圖像序列特征與圖像特征整合；將步驟2.1中所述的大小W*H*16的特征圖剪裁為大小(0.25*W)*(0.25*H)*16的特征圖，并將所述大小(0.25*W)*(0.25*H)*16的特征圖與的步驟2.2中所得大小(0.25*W)*(0.25*H)*32特征圖進行通道疊加，整合為大小(0.25*W)*(0.25*H)*48的特征圖；

步驟2.4、進一步挖掘整合后的特征；將步驟2.3所述的整合后的特征圖輸入由卷積和非線性激活構(gòu)成的卷積層，得到特征圖大小為(0.25*W)*(0.25*H)*128，將所述的特征圖輸入由池化和非線性激活構(gòu)成的池化層，得到特征圖大小為(k*W)*(k*H)*1，其中k＝0.125，l＝128；

步驟2.5、將步驟2.4輸出的特征圖拉伸為一維向量，將所述的一維向量與全連接層連接并輸出氣泡深度。

4.如權(quán)利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡(luò)和光場圖像的氣泡流場三維重建萬法，其特征是，步驟3的實現(xiàn)包括以下子步驟：

步驟3.1、定義均方根誤差損失函數(shù)RMSE：

其中，m為每批次輸入訓練數(shù)據(jù)量，為第i個預(yù)測深度值，為第i個實際深度值；

步驟3.2、利用損失函數(shù)RMSE對網(wǎng)絡(luò)進行訓練，直到整個網(wǎng)絡(luò)收斂至最優(yōu)精度為止。