[發(fā)明專利]一種基于語義分割網(wǎng)絡(luò)的作物壟行提取及主導航線選取方法

在審

• 申請?zhí)枺?/td>: 202110311621.1
• 申請日: 2021-03-23
• 公開（公告）號: CN113065562A
• 公開（公告）日: 2021-07-02
• 發(fā)明（設(shè)計）人: 李秀智;朱玉壘;張祥銀
• 申請（專利權(quán)）人: 北京工業(yè)大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 張慧

本發(fā)明提出了一種基于語義分割網(wǎng)絡(luò)的作物壟行提取及主導航線選取方法，用于改善傳統(tǒng)圖像法多壟行情況下苗壟識別及主航線選取不穩(wěn)定的問題。主要包括以下步驟：采集農(nóng)作物幼苗壟行圖像，預(yù)處理圖像，導入預(yù)訓練后的語義分割網(wǎng)絡(luò)獲取壟行掩碼圖像，解析掩碼圖像為二值圖像，獲取壟行信息，利用最小二乘法擬合壟行直線，采用水平直線碰撞法鎖定中心主壟行，生成主壟行導航信息傳輸給植保機。本發(fā)明苗壟識別準確率高，航線選取穩(wěn)定。

技術(shù)領(lǐng)域

本發(fā)明涉及智能農(nóng)業(yè)機械控制領(lǐng)域，是一種基于語義分割網(wǎng)絡(luò)的農(nóng)作物幼苗壟行提取及主導航線選取方法。

背景技術(shù)

在全自動化農(nóng)業(yè)生產(chǎn)過程中，導航線是機械自動化設(shè)備在田間育苗、施肥、除草、噴藥的必備條件，當農(nóng)業(yè)作業(yè)設(shè)備在多壟行環(huán)境下全自動化運行時，上位機采集畫面隨設(shè)備運行姿態(tài)變化而不斷變化，因此將視覺導航應(yīng)用到農(nóng)業(yè)生產(chǎn)領(lǐng)域，關(guān)鍵在于選取一條精確地導航線，將其傳遞給作業(yè)設(shè)備的植保機。

現(xiàn)有壟行識別方法多采用傳統(tǒng)的圖像法，以Hough變換和最小二乘法最為明顯。雖然方法本身都較為成熟，但是在農(nóng)業(yè)工程領(lǐng)域?qū)嶋H應(yīng)用中，實時導航路徑檢測卻變現(xiàn)欠佳，其原因在于農(nóng)田作物、雜草、石塊、土壤表層等場景錯綜復雜，另一方面圖像法易受光照影響，導航線不穩(wěn)定嚴重影響了導航路徑的檢測精度。

因為深度學習方法具有覆蓋范圍廣、學習能力強、自適應(yīng)能力強的特點，將深度學習方法應(yīng)用到壟行識別和導航技術(shù)領(lǐng)域具有很大的研究價值。在實際的農(nóng)業(yè)工程領(lǐng)域中，植保機田間導航時面臨著諸多問題，現(xiàn)有方法技術(shù)主要針對苗壟區(qū)域識別以及簡單苗壟劃線問題，但在多壟行同時出現(xiàn)時，針對上位機如何自動選取所需導航線暨主壟行選取以及航向角如何獲取問題，現(xiàn)有方法技術(shù)并未給出明確的方法。針對此問題，本發(fā)明對苗壟識別以及植保機主航線選取提出了相對有效的解決方法。

發(fā)明內(nèi)容

本發(fā)明提出了一種基于語義分割的農(nóng)作物幼苗壟行提取及主導航線選取方法。

本發(fā)明技術(shù)如下所述：

第一方面，本發(fā)明的實施提出了一種基于語義分割的農(nóng)作物幼苗壟行提取，包括以下步驟：

1)通過工業(yè)深度相機采集農(nóng)田壟行圖像；

2)將圖像傳入訓練好的語義分割網(wǎng)路，通過卷積單元、并行卷積單元、上采樣以及下采樣模塊，端到端預(yù)測條狀壟行的二分類掩碼圖像；

3)將二分類掩碼圖圖像轉(zhuǎn)化為Numpy矩陣形式存儲，進而解析為可視化的二值圖像，生成條狀白像素壟行輪區(qū)域，通過過濾噪聲，提取面積閾值以上的所有條狀白像素壟行區(qū)域。

根據(jù)上述方案的本發(fā)明，所述的工業(yè)深度相機采用Real Sense D415深度相機。

根據(jù)上述方案的本發(fā)明，所述的語義分割優(yōu)先采用高度對稱的解編碼網(wǎng)絡(luò)(ESNET)，該網(wǎng)絡(luò)結(jié)構(gòu)成對稱結(jié)構(gòu)分布，結(jié)構(gòu)簡單，對稱結(jié)構(gòu)大大降低了網(wǎng)絡(luò)的復雜性，加速了整個推理過程，在二分類語義分割應(yīng)用中，精度較高，識別速度較快。

根據(jù)上述方案的本發(fā)明，所述的解編碼網(wǎng)絡(luò)(ESNET)包含卷積單元、并行卷積單元、上采樣以及下采樣模塊。

根據(jù)上述方案的本發(fā)明，分解卷積單元在殘差層中廣泛使用不同內(nèi)核的一維分解卷積，來感受不同尺度的區(qū)域、獲取不同尺度的對象實例。

根據(jù)上述方案的本發(fā)明，所述的解編碼網(wǎng)絡(luò)，解碼器網(wǎng)絡(luò)中的并行分解卷積單元在殘差層中廣泛使用轉(zhuǎn)變-分裂-轉(zhuǎn)變-合并策略，并行分解卷積利用網(wǎng)絡(luò)規(guī)模強大的特征，仍然可以在整個網(wǎng)絡(luò)中進行端到端的訓練。

根據(jù)上述方案的本發(fā)明，所述的解編碼網(wǎng)絡(luò)，輸出圖像為二分類掩碼信息，需要轉(zhuǎn)換成Numpy形式，才能進行后續(xù)視頻流處理。