[發(fā)明專利]一種基于深度信息的作物冠層分割方法

有效

• 申請?zhí)枺?/td>: 202010567338.0
• 申請日: 2020-06-19
• 公開（公告）號: CN111739031B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設(shè)計）人: 徐梅宣;馮韜;張智剛;吳達(dá)成;羅錫文
• 申請（專利權(quán)）人: 華南農(nóng)業(yè)大學(xué)
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;G06T7/136;G06T5/00;G06T7/80
• 代理公司: 北京慕達(dá)星云知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11465
• 代理人: 曹鵬飛

1.一種基于深度信息的作物冠層分割方法，其特征在于，包括以下步驟：

圖像采集：在相同的位置和拍攝環(huán)境下，分別獲取同一對象的深度圖像和二維圖像；

圖像預(yù)處理：分別對深度圖像和二維圖像進(jìn)行預(yù)處理；

二維圖像配準(zhǔn)：對拍攝深度圖像和二維圖像所使用的攝像機(jī)進(jìn)行標(biāo)定和修正，將二維圖像與深度圖像進(jìn)行坐標(biāo)配準(zhǔn)；

二維圖像配準(zhǔn)的過程，具體包括以下步驟：

分別獲取攝像機(jī)上彩色攝像頭和紅外攝像頭的內(nèi)參矩陣和外參矩陣；

在同一時刻根據(jù)紅外攝像頭和彩色攝像頭的外參矩陣，算出關(guān)聯(lián)二者的旋轉(zhuǎn)矩陣和平移向量，并建立世界坐標(biāo)系和攝像頭坐標(biāo)系之間的聯(lián)系；

利用內(nèi)參矩陣、外參矩陣、旋轉(zhuǎn)矩陣和平移向量，為深度圖像中每個像素點(diǎn)附上對應(yīng)的彩色像素；其中，

為深度圖像中每個像素點(diǎn)附上對應(yīng)的彩色像素，具體包括以下步驟：

(1)構(gòu)造一個像素點(diǎn)的三維向量q_ir＝(x,y,z)，其中x，y是像素點(diǎn)的像素坐標(biāo)，z是像素點(diǎn)的深度值；

(2)用紅外攝像頭的內(nèi)參矩陣的逆乘以三維向量q_ir，得到所述像素點(diǎn)對應(yīng)的紅外攝像頭下的坐標(biāo)點(diǎn)；

(3)用所述像素點(diǎn)對應(yīng)的紅外攝像頭坐標(biāo)下的坐標(biāo)點(diǎn)乘以旋轉(zhuǎn)矩陣，然后加上平移向量，求出彩色攝像頭的坐標(biāo)點(diǎn)；

(4)利用彩色攝像頭的內(nèi)參矩陣乘以彩色攝像頭的坐標(biāo)點(diǎn)，求出所述像素點(diǎn)相對應(yīng)的彩色像素坐標(biāo)點(diǎn)的三維向量q_rgb，通過三維向量q_rgb中像素點(diǎn)的像素坐標(biāo)在彩色圖像中的像素坐標(biāo)，找出所述像素點(diǎn)所對應(yīng)的彩色像素；

(5)分別為深度圖像中每個像素點(diǎn)構(gòu)造所述三維向量q_ir，重復(fù)步驟(2)至(4)，獲得配準(zhǔn)后的深度圖像；

深度圖像二值化：將經(jīng)過預(yù)處理后的深度圖像做灰度直方圖變換，獲取前景和背景兩部分，以灰度直方圖中雙峰的中點(diǎn)為閾值，將預(yù)處理后的深度圖像二值化，得到掩膜圖像；

圖像分割：將掩膜圖像與配準(zhǔn)后的二維圖像做疊加運(yùn)算，得到作物冠層圖像；

圖像優(yōu)化：去除作物冠層圖像中的背景噪聲；

圖像輸出：輸出優(yōu)化處理后的作物冠層圖像。

2.根據(jù)權(quán)利要求1所述的一種基于深度信息的作物冠層分割方法，其特征在于，對深度圖像進(jìn)行預(yù)處理，包括以下步驟：

根據(jù)預(yù)設(shè)的距離范圍初步篩選出部分背景圖像，得到初步篩選后的深度圖像；

用3×3維納濾波對初步篩選后的深度圖像進(jìn)行平滑處理，去除圖像中的系統(tǒng)噪聲；

利用雙邊濾波對平滑處理后的圖像進(jìn)行二次處理，修補(bǔ)空洞點(diǎn)和散點(diǎn)噪聲。

3.根據(jù)權(quán)利要求2所述的一種基于深度信息的作物冠層分割方法，其特征在于，平滑處理過程采用的濾波算法包括中值濾波、均值濾波和維納濾波。

4.根據(jù)權(quán)利要求1所述的一種基于深度信息的作物冠層分割方法，其特征在于，對攝像機(jī)進(jìn)行標(biāo)定采用張氏棋盤法，遵循的約束條件包括：

標(biāo)定所用的棋盤尺寸大于或等于A3紙的尺寸；

棋盤平面與攝像頭像平面之間的夾角小于45度；

用于標(biāo)定的圖片數(shù)量大于10張；

攝像頭的分辨率，長寬比與深度圖像的相同。

5.根據(jù)權(quán)利要求1所述的一種基于深度信息的作物冠層分割方法，其特征在于，圖像優(yōu)化過程具體包括以下步驟：

通過K-mean聚類算法提取作物冠層圖像中的背景噪聲；

用加運(yùn)算方法去掉所述背景噪聲。

6.根據(jù)權(quán)利要求5所述的一種基于深度信息的作物冠層分割方法，其特征在于，通過K-mean聚類算法提取作物冠層圖像中的背景噪聲，具體包括以下步驟：

(1)在二維像素數(shù)組中隨機(jī)選取3個像素點(diǎn)作為聚類的起始點(diǎn)；

(2)將整幅圖像的均值像素點(diǎn)作為聚類中心，根據(jù)步驟(1)中所得的起始點(diǎn)計算各個像素點(diǎn)與聚類中心的距離，通過歐式距離判斷各點(diǎn)的相似性完成分類；

(3)從步驟(2)中得到分類后的像素點(diǎn)，重新計算各個類的均值，再重復(fù)上述操作三次；

(4)輸出分類結(jié)果，結(jié)束聚類操作。

7.根據(jù)權(quán)利要求6所述的一種基于深度信息的作物冠層分割方法，其特征在于，通過歐式距離判斷各點(diǎn)的相似性進(jìn)行分類，分類后每個類具有如下特征：各類內(nèi)組員之間的距離最大，且類與類之間的距離最小。