[發(fā)明專利]一種基于散亂圖像的作物果實(shí)三維點(diǎn)云提取系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810109522.3
• 申請(qǐng)日: 2018-02-05
• 公開（公告）號(hào): CN108198230A
• 公開（公告）日: 2018-06-22
• 發(fā)明（設(shè)計(jì)）人: 楊會(huì)君;王增瑩;梁雨欣;付楊晨;王志垚;王昕;孫羽柔;謝君琳;王竟宇;張鵬丹
• 申請(qǐng)（專利權(quán)）人: 西北農(nóng)林科技大學(xué)
• 主分類號(hào): G06T11/00
• 分類號(hào): G06T11/00;G06T17/20
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及一種基于散亂圖像的作物果實(shí)三維點(diǎn)云提取的方法，通過導(dǎo)入用戶使用隨機(jī)拍照等方式生成的、不同視角的目標(biāo)作物果實(shí)二維圖片素材；分別基于具有尺度和旋轉(zhuǎn)不變性特點(diǎn)的SIFT算子對(duì)多幅二維圖像進(jìn)行數(shù)據(jù)和特征提取和FLANN算法對(duì)不同維度的數(shù)據(jù)進(jìn)行匹配；利用獲得的二維圖片中的關(guān)鍵點(diǎn)、相機(jī)參數(shù)等信息實(shí)現(xiàn)稀疏點(diǎn)云的生成；進(jìn)一步通過初始特征匹配、生成稀疏patch、擴(kuò)散得到密集patch以及過濾錯(cuò)誤patch等技術(shù)生成復(fù)雜點(diǎn)云；為確保果實(shí)點(diǎn)云的準(zhǔn)確性，通過結(jié)合交互式選擇和基于濾波器的方法去除果實(shí)點(diǎn)云的離群點(diǎn)。本發(fā)明通過二維圖像實(shí)現(xiàn)果實(shí)作物三維點(diǎn)云模型生成和去噪，為三維重建等處理提供了對(duì)象化的點(diǎn)云模型。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)技術(shù)在作物果實(shí)三維點(diǎn)云提取中的應(yīng)用，涉及一種基于采集作物果實(shí)二維圖像的三維點(diǎn)云目標(biāo)提取方法及系統(tǒng)。

背景技術(shù)

隨著農(nóng)業(yè)信息化的發(fā)展，作物果實(shí)(器官)可見屬性的自動(dòng)、魯棒分析，尤其是不同條件下果實(shí)表型生物量的測(cè)量成為制約精準(zhǔn)農(nóng)業(yè)發(fā)展的瓶頸之一；計(jì)算機(jī)圖形學(xué)理論的發(fā)展，為果實(shí)尺寸、大小、體積、曲率等結(jié)構(gòu)信息獲取、處理，獲取三維果實(shí)點(diǎn)云模型、進(jìn)行農(nóng)作物果實(shí)生長(zhǎng)規(guī)律分析和測(cè)量提供了必要手段，在作物育種、品種的選擇、預(yù)測(cè)表型生物量、生長(zhǎng)階段的保持和重現(xiàn)、食品溯源等領(lǐng)域發(fā)揮著越來越重要的作用。

三維掃描技術(shù)的發(fā)展和設(shè)備精度的提高，使得具有豐富細(xì)節(jié)的植物果實(shí)靜態(tài)結(jié)構(gòu)數(shù)據(jù)點(diǎn)的獲取及其形狀的逆向工程建模成為可能，故激光掃描成為植物果實(shí)參數(shù)化和植物生長(zhǎng)觀察的有力工具和通用方法，為果實(shí)外形重建帶來了希望。但由于植物生長(zhǎng)環(huán)境的特殊性，果實(shí)表面的異質(zhì)性和復(fù)雜性,使現(xiàn)有的適合形狀確定、小尺度一致性表面的點(diǎn)云提取技術(shù)，在用于高度分散的缺乏一致性的果實(shí)表面時(shí)降低了準(zhǔn)確性，且相關(guān)設(shè)備成本過高，操作繁瑣，在農(nóng)業(yè)領(lǐng)域的應(yīng)用受到限制。

二維圖像可以利用手機(jī)等常用設(shè)備多角度拍攝獲取，大大減少了采集成本。手機(jī)拍攝除要求拍攝角度廣外，對(duì)圖像分辨率等其他圖片參數(shù)要求不高。因此本發(fā)明無需配合其它專業(yè)設(shè)備即可為農(nóng)業(yè)從業(yè)人員提供服務(wù)，增加了本發(fā)明的實(shí)用性，更利于本發(fā)明的大眾化推廣。

[基于二維圖像的果實(shí)點(diǎn)云獲取存在的問題及技術(shù)空缺]現(xiàn)有的基于圖像的點(diǎn)云獲取技術(shù)雖然能夠通過圖像獲取點(diǎn)云模型，但是其對(duì)圖像的拍攝條件要求較高且其無法完成對(duì)生成點(diǎn)云模型的相關(guān)處理。同時(shí)，現(xiàn)有的基于圖像的點(diǎn)云獲取技術(shù)一般從無序圖像中查找匹配點(diǎn)構(gòu)建稀疏點(diǎn)云，但是如果對(duì)每個(gè)像素點(diǎn)都在其他無序圖像中進(jìn)行匹配查找，計(jì)算量會(huì)非常大，同時(shí)圖像中會(huì)包含很多噪聲點(diǎn)，對(duì)于匹配點(diǎn)的查找會(huì)起到干擾作用。

綜上，從一組隨意拍攝的散亂圖像中提取作物果實(shí)三維點(diǎn)云技術(shù)相對(duì)成本較低、獲得三維點(diǎn)云模型精度較高。通過進(jìn)一步的研究與分析，可以為果實(shí)的品質(zhì)檢測(cè)和表型分析研究提供可信的數(shù)據(jù)源，也可為育種和園藝教學(xué)等方面的研究提供可視化支持。因此，該發(fā)明具有重要的現(xiàn)實(shí)意義和研究?jī)r(jià)值。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是提供一套基于散亂圖片進(jìn)行作物果實(shí)點(diǎn)云目標(biāo)提取系統(tǒng)，以解決從隨機(jī)拍攝的一組果實(shí)作物二維畫面生成三維點(diǎn)云模型的問題。

本發(fā)明解決上述問題的技術(shù)方案為一種基于二維圖像的果實(shí)作物三維點(diǎn)云目標(biāo)提取方法，包括如下步驟：

步驟1：用戶使用普通拍照方式或三維設(shè)計(jì)工具獲取目標(biāo)果實(shí)作物在不同視角的二維圖片素材，相鄰2張素材的角度變化幅度應(yīng)不大于10度為最佳取材；

步驟2：利用數(shù)據(jù)文件提取模塊和圖片特征匹配模塊，對(duì)導(dǎo)入的多幅二維圖像進(jìn)行數(shù)據(jù)和特征提取，并使用FLANN算法對(duì)不同維度的數(shù)據(jù)進(jìn)行匹配；

步驟3：生成果實(shí)的稀疏點(diǎn)云模型，根據(jù)匹配結(jié)果，基于SFM算法利用射影定理計(jì)算得到相機(jī)位置等場(chǎng)景信息進(jìn)行稀疏重建(Sparse Reconstruction)；