[發明專利]一種基于散亂圖像的作物果實三維點云提取系統

在審

• 申請號: 201810109522.3
• 申請日: 2018-02-05
• 公開（公告）號: CN108198230A
• 公開（公告）日: 2018-06-22
• 發明（設計）人: 楊會君;王增瑩;梁雨欣;付楊晨;王志垚;王昕;孫羽柔;謝君琳;王竟宇;張鵬丹
• 申請（專利權）人: 西北農林科技大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T17/20
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于散亂圖像的作物果實三維點云提取的方法，其特征在于，該方法的步驟如下：

1)用戶使用普通拍照方式或三維設計工具獲取目標果實作物在不同視角的二維圖片素材，相鄰2張素材的角度變化幅度應不大于10度為最佳取材；

2)利用數據文件提取模塊和圖片特征匹配模塊，對導入的多幅二維圖像進行數據和特征提取，并使用FLANN算法對不同維度的數據進行匹配；

3)生成果實的稀疏點云模型，根據匹配結果，基于SFM算法利用射影定理計算得到相機位置等場景信息進行稀疏重建；

4)生成果實的密集點云模型，通過PMVS算法，運用多視立體重建方法，利用所得到的場景信息與原始照片，不斷進行面片生成與篩選從而擴散已有數據點進行密集重建；

5)為使不同平臺上果實點云無縫對接，設計了點云文件格式轉換器，進一步實現了ply與pcd格式、pcd與txt格式的轉換、pcd點云文件加載、顯示與編輯；

6)果實密集點云模型的去噪預處理，對于一些濾波去噪無法去除的明顯的大量噪點可手動去除噪點，該項步驟支持用戶通過鼠標手動選中噪點然后進行刪除，并能夠保存刪除噪點之后的點云圖像；

7)果實密集點云模型的自動去噪處理，通過Statistical Outlier Removal統計濾波器處理離群點。

2.根據權利要求1所述基于散亂圖像的作物果實三維點云提取的方法，其特征在于，步驟3)中SFM算法生成稀疏點云模型的具體實現：

1)特征提取,采用具有尺度和旋轉不變性特點的SIFT算子；

2)匹配和建立track，圖像對兩兩匹配,采用可以對任何維度的數據進行匹配的快速近似最近鄰算法實現圖片配準；鄰近搜索，建立KD樹，縮小搜索范圍，能提高效率，但也有可能不是最優，所以鄰域取值是關鍵，越大越準確，越大計算量越大，當距離小于一定閾值的時候就認為匹配成功，但是誤匹配也比較多，需要采取多種手段剔除：如果最近距離與次近距離的比值大于某個閾值，應該剔除；對匹配點采用采樣一致性算法RANSC八點法計算基礎矩陣,剔除不滿足基礎矩陣的匹配對；當匹配關系建立后,需要生成track列表，據此可以生成一個track集合，同時生成track的時候也需要剔除無用匹配：如果一個track包含同一幅圖多次，則應該剔除，這是因為同一幅圖的多個特征點都匹配了同一個點，則匹配關系肯定是錯誤的，如果track太少，應該剔除，因為如果只有兩幅圖有同一個點，那么三維重建的信息過少，容易產生誤差；

3)找初始化像對,目的是找到相機基線最大的像對，采用RANSC算法四點法計算單應矩陣，滿足單應矩陣的匹配點稱為內點，不滿足單應矩陣的稱為外點,根據單應矩陣公式可知當T越小時，內點占比越高，也就是低視差現象越明顯，因此找到一個內點占比最小的像對就是初始化像對，當然它前提必須滿足可重建，這個可以通過匹配點個數保證；

4)初始化像對的相對定向，根據RANSC八點法計算本征矩陣，可通過對本征矩陣SVD分解得到第二個圖像的相機位置旋轉矩陣R和平移向量T，在這一步需要進行畸變校正，然后根據R、T和矯正后的像點坐標三角計算出三維點,這里用到的方法是直接線性變換DLT，可以理解為測繪中的前方交會；

5)加入更多圖像，以第三副圖為例，根據第四步生成的三維點和第三副圖與前兩圖的track關系，可以反算第三副圖的R、T，然后繼續三角化計算出更多的三維點，采用的同樣是DLT，這樣反復重復第5步，最后就會把所有像片的POSE(R、T)和三維點生成；

6)進行光束法平差Bundle Adjustment，是一個非線性優化的過程，目的是使重建誤差降低到最小，通過調整POSE和三維點使反向投影差最小，如果相機沒有標定,還應該將焦距也參與平差；Bundle Adjustment是一個迭代的過程，在一次迭代過后，將所有三維點反向投影到各自相片的像素坐標并分別與初始坐標比對，如果大于某個閾值，則應將其從track中去掉，如果track中已經小于2個了，則整個track也去掉，一直優化到沒有點可去為止。