[發明專利]基于單目相機深度估計的砂石粒形分析方法

在審

• 申請號: 202310598023.6
• 申請日: 2023-05-25
• 公開（公告）號: CN116503458A
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 吳銳;郝望丞;黃慶成;劉鵬;金野;秦宋林
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/00;G06T7/11;G06V10/774;G06V10/82;G06T7/593;G06T7/80
• 代理公司: 哈爾濱市文洋專利代理事務所(普通合伙) 23210
• 代理人: 范欣

1.基于單目相機深度估計的砂石粒形分析方法，包括以下步驟：步驟一，圖像采集；步驟二，單目深度估計；步驟三，實例分割；步驟四，計算三維坐標；步驟五，粒形表征；步驟六，輸出結果；其特征在于：

其中在上述步驟一中，利用工業相機采集砂石骨料堆的二維圖像；

其中在上述步驟二中，采用單目深度估計算法處理步驟一中所得到的二維砂石骨料堆圖像，輸出與之對應的深度圖，深度圖中每個像素值為相機到該點的距離；

其中在上述步驟三中，采用基于Mask?R-CNN的實例分割算法對步驟一中所得到的二維砂石骨料堆圖像進行實例分割，輸出分割后的掩碼圖；

其中在上述步驟四中，在已知相機內參矩陣的條件下，根據深度值與每個砂石骨料的掩碼圖，可以根據坐標系轉換原理計算出每個掩碼區域所有像素點的三維坐標(相機坐標系下)；

其中在上述步驟五中，根據步驟四所得到的每個掩碼區域所有像素點的三維坐標獲取每個砂石骨料顆粒的三維點云，據此估計砂石骨料顆粒的長軸L、中軸I和短軸S，并采用扁平率、Wentworh扁平系數、KrumBein球度三種粒形表征方式對砂石骨料粒形進行表征，據此計算出每個砂石骨料的粒形表征值；

其中在上述步驟六中，根據步驟五中得到的砂石骨料的粒形表征值，統計原輸入二維圖像砂石骨料粒形的分布情況，并輸出分析結果。

2.根據權利要求1所述的基于單目相機深度估計的砂石粒形分析方法，其特征在于：所述步驟一中，工業相機通過金屬框架垂直部署在砂石骨料傳送帶上方，工業相機兩側還部署了兩臺工業光照設備用于照明，同時除塵風扇也固定在相機一側，用于除塵，工業相機所采集的圖像信息傳輸至嵌入式計算平臺，利用砂石骨料粒形分析軟件進行分析。

3.根據權利要求1所述的基于單目相機深度估計的砂石粒形分析方法，其特征在于：所述步驟二中，所采取的具體算法模型為在12個室內外深度估計數據集上預訓練過的ZoeDepth模型，并在自己構建的砂石深度數據集上進行微調，砂石深度數據集采用COLMAP中的從運動中恢復結構(Structure?from?Motion，SfM)和多視角立體匹配(Multi-ViewStereo，MVS)算法構建，通過從砂石骨料不同角度進行拍照采集，采用上述方法對采集圖像進行深度估計，得到較為準確的深度圖，進而用作ZoeDepth預訓練模型的微調數據集。

4.根據權利要求1所述的基于單目相機深度估計的砂石粒形分析方法，其特征在于：所述步驟四中，具體為：在已知輸入的砂石骨料堆二維圖像的二維像素坐標(u,v)、拍攝相機的內參矩陣K和二維圖像每個像素點的深度值Z_c的情況下，可以計算出二維像素坐標所對應的三維相機坐標(X_c,Y_c,Z_c)，即：

Z＝Z

c?c

其中，f_x，f_y為相機內參焦距，(u₀,v₀)為相機內參中的主點坐標，主點是光軸和成像平面的交點，是相機成像時像素坐標的中心點。

5.根據權利要求1所述的基于單目相機深度估計的砂石粒形分析方法，其特征在于：所述步驟五中，具體為：在得到砂石骨料圖像每個像素點三維坐標后，根據實例分割后得到的掩碼結果，從原二維圖像中提取相應的掩碼區域，每個掩碼區域都代表了一個分割出的砂石骨料顆粒，即得到了每個砂石骨料顆粒在原二維圖像中的像素點集，將這些像素點集的坐標轉換成三維坐標，便得到了每個砂石骨料顆粒的三維點云；在得到砂石骨料顆粒的三維點云后，先將點云中心化，即將砂石骨料顆粒放在坐標系中央，然后通過構建點云的協方差矩陣，使用主成分分析(Principal?Component?Analysis，PCA)來估計砂石骨料顆粒的長軸L、中軸I、短軸S，進而估計砂石骨料顆粒的粒形。

6.根據權利要求1所述的基于單目相機深度估計的砂石粒形分析方法，其特征在于：所述步驟五中，扁平率的計算方法為：取值范圍為(0，1)；Wentworh扁平系數的計算方法為：取值范圍為(1，+∞)；KrumBein球度的計算方法為：取值范圍為(0，1)。

7.根據權利要求1所述的基于單目相機深度估計的砂石粒形分析方法，其特征在于：所述步驟五中，對于扁平率來說，顆粒越接近扁平狀扁平率越接近0，顆粒越接近球狀扁平率越接近1；對于Wentworh扁平系數來說，顆粒越接近扁平狀扁平系數值越大，相較于其他形狀的砂石骨料顆粒，片狀砂石骨料的扁平系數最高；對于KrumBein球度來說，類球形顆粒比如塊狀砂石骨料的球度越接近1，反之接近0。