[發明專利]基于面向表型精確鑒定的豆株快速三維重建方法

在審

• 申請號: 202011243618.2
• 申請日: 2020-11-10
• 公開（公告）號: CN112509142A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 冼楚華;傅汝佳
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T7/187;G06T5/00;G06K9/62
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.基于面向表型精確鑒定的豆株快速三維重建方法，其特征在于：首先，用戶使用Kinect每隔設定的角度掃描大豆植株即豆株，獲得若干幀豆株放置于自動轉盤之上的點云場景，經直通濾波去除點云背景和統計濾波去除離群點后，根據用戶提供的旋轉角進行羅德里格斯公式計算出粗配準矩陣，然后使用ICP算法進行精細配準，而后對于植株點云進行分層聚類得到骨架點，對于骨架點設置每個點與最近的K個點相鄰得到多個連通分量，而后對于根節點所在的主干連通分量進行主干Dijkstra路徑生長和枝干生長點的選取以及枝干連通分量Dijkstra路徑生長，最后利用pyvista可視化庫進行植株骨架的三維可視化。

2.根據權利要求1所述的基于面向表型精確鑒定的豆株快速三維重建方法，其特征在于，包括以下步驟：

1)使用Kincet和水平的自旋轉平臺每隔設定的角度獲取一幀大豆植株放置于自動轉盤之上的深度圖像和RGB圖像，通過彩色圖和深度圖對齊得到點云數據，并通過對點云數據進行濾波操作去除背景和離群點得到多幀豆株單幀點云；

2)對獲取的多幀豆株單幀點云，基于角度和豎直向上的旋轉軸進行羅德里格斯公式計算，得到粗配準旋轉矩陣R_coarse對多幀豆株單幀點云進行粗配準；

3)對于粗配準的點云結果進行進一步的ICP計算，得到精配準旋轉矩陣R_icp進行精細配準，到完整的配準豆株點云，即植株點云；

4)對于植株點云，以到根節點的歐式距離為考量進行分層，層數由用戶確定；

5)對植物每一層的點云分別進行歐式聚類，取其重心點為骨架點，得到豆株骨架點云，即得到骨架點云圖；

6)對于骨架點云圖，設置點云圖中的每個點與周邊最近的K個點相鄰，得到若干連通分量，其中植株根節點所在連通分量為主干連通分量，其余為枝干連通分量，K由用戶給出，從主干連通分量最低點開始Dijkstra路徑生長，得到主干骨架圖；

7)對于某一枝干連通分量，在主干骨架的點云中選取點p₁，滿足p₁到枝干連通分量所有點的歐氏距離之和最小，基于距離度量函數f(d)和角度度量函數g(θ)選出對應枝干連通分量的枝干生長點subroot，基于subroot進行Dijkstra路徑生長，連接p₁和subroot，得到完整豆株點云骨架連接；

8)對于多個枝干連通分量重復進行步驟6)、7)后，得到完整的植株骨架，對于每一段骨架連接，使用pyvista可視化庫中的圓柱類進行代替，每一段圓柱基于大豆植株形態特征的考量賦予半徑參數，并在過渡處進行平滑處理，隨機添加樹葉，得到三維可視化的植株模型。

3.根據權利要求2所述的基于面向表型精確鑒定的豆株快速三維重建方法，其特征在于：在步驟1)中，用戶使用Kinect獲取深度圖像和RGB圖像，自旋轉平臺每隔設定的角度拍攝一次，每次拍攝旋轉的角度θ能夠是任意指定的角度，獲取到RGB圖像以及深度圖像之后，調用Kinect官方SDK進行深度圖和彩色圖對齊，深度像素和彩色像素坐標映射關系如式：p_rgb＝K_rgb^-1M_rgbM_ir^-1K_irp_ir，其中，pir為深度圖坐標，p_rgb為彩色圖坐標，對于深度相機的內參矩陣K_ir、深度相機的外參矩陣M_ir、彩色相機的內參矩陣K_rgb和彩色相機的外參矩陣M_rgb這四個參數能夠通過相機標定獲得，經過若干次的拍攝后得到若干幀大豆植株放置于自動轉盤之上的深度圖像和RGB圖像，通過彩色圖和深度圖對齊得到點云數據，通過對點云數據進行直通濾波去除點云數據的背景，通過統計濾波去除點云場景點云，得到多幀大豆植株單幀點云。