[發(fā)明專利]顆粒狀農(nóng)作物不完善粒檢測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010564912.7
• 申請日: 2020-06-19
• 公開（公告）號: CN111753707B
• 公開（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 柴新禹;陳堅(jiān)品;李恒
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06Q50/02
• 代理公司: 上海交達(dá)專利事務(wù)所 31201
• 代理人: 王毓理;王錫麟

1.一種顆粒狀農(nóng)作物不完善粒檢測方法，其特征在于，通過規(guī)整排列農(nóng)作物，對農(nóng)作物的上下側(cè)圖像信息進(jìn)行圖像采集，預(yù)處理所采集的圖像后，通過分類模型進(jìn)行圖像分類，從而得到對應(yīng)的農(nóng)作物不完善粒分類報告，同時，根據(jù)圖像分類結(jié)果生成相應(yīng)的不完善粒分揀提示陣列圖像，依此進(jìn)行農(nóng)作物不完善粒分揀收集；

所述的分類模型，包括：一個上下側(cè)方的圖像對生成單元，一對相同結(jié)構(gòu)分別用于上下側(cè)圖像特征提取的初級特征提取單元，一對相同結(jié)構(gòu)分別用于生成上下側(cè)關(guān)鍵區(qū)域放大圖的關(guān)鍵區(qū)域放大單元，一對相同結(jié)構(gòu)分別用于上下側(cè)關(guān)鍵區(qū)域放大圖特征提取的次級特征提取單元，分別與兩個初級特征提取單元和次級特征提取單元相連的特征融合單元以及分別與兩個初級特征提取單元、關(guān)鍵區(qū)域放大單元和次級特征提取單元相連的損失函數(shù)單元，其中：圖像對生成單元生成農(nóng)作物的上下側(cè)方圖像對，并且控制生成的圖像對中有一定的概率是同一粒農(nóng)作物的上下側(cè)方圖像對，其他則為某一粒農(nóng)作物的上側(cè)圖像和其他某一粒農(nóng)作物的下方圖像構(gòu)成的不同粒農(nóng)作物上下側(cè)方圖像對；兩個初級特征提取單元以卷積神經(jīng)網(wǎng)絡(luò)作為主干框架并進(jìn)行權(quán)重共享，根據(jù)上側(cè)或下側(cè)圖像分別輸出初級特征至關(guān)鍵區(qū)域放大單元、特征融合單元和損失函數(shù)單元；兩個關(guān)鍵區(qū)域放大單元對上側(cè)和下側(cè)圖像的初級特征分別進(jìn)行降維后得到注意特征，注意特征一方面輸出至損失函數(shù)單元，一方面通過得到注意特征相應(yīng)權(quán)重以求其加權(quán)和，再進(jìn)行維度壓縮得到對應(yīng)于上側(cè)和下側(cè)圖像的一對注意特征圖，將其低于閾值的像素全部置零，得到一對注意特征激活圖，將每張注意特征激活圖中包含所有非零像素的最小矩形區(qū)域提取出，并放大到上下側(cè)方輸入圖像尺寸，最后與對應(yīng)的上下側(cè)方圖像進(jìn)行逐像素相乘，得到一對上下側(cè)方關(guān)鍵區(qū)域放大圖并分別輸出至兩個次級特征提取單元；兩個次級特征提取單元同樣以卷積神經(jīng)網(wǎng)絡(luò)作為主干框架并進(jìn)行權(quán)重共享，根據(jù)上下側(cè)方關(guān)鍵區(qū)域放大圖輸出次級特征至特征融合單元；特征融合單元有兩層，其中第一層分為四個全連接層，四個全連接層的輸入分別為兩個初級特征和兩個次級特征，在分別接收到兩個初級特征和兩個次級特征后得到四個輸出，將這四個輸出拼接后傳至第二層的全連接層，得到預(yù)測值作為所述的特征融合單元的輸出并傳至損失函數(shù)單元；損失函數(shù)單元通過拼接初級特征得到同粒損失，通過對相應(yīng)的初級特征和注意特征進(jìn)行雙線性全局池化分別得到第一中心損失和第二中心損失，通過特征融合單元得到分類損失，計(jì)算四個損失的加權(quán)和得到總損失函數(shù)并對其進(jìn)行反向傳播更新系統(tǒng)參數(shù)，測試分類模型時，將特征融合模塊的輸出值作為輸入圖像對的對應(yīng)農(nóng)作物是否為該分類的預(yù)測值。

2.根據(jù)權(quán)利要求1所述的顆粒狀農(nóng)作物不完善粒檢測方法，其特征是，所述的同粒損失，具體利用交叉熵計(jì)算同粒損失，其中：為上下側(cè)圖像信息對的真實(shí)標(biāo)簽，為預(yù)測結(jié)果。

3.根據(jù)權(quán)利要求1所述的顆粒狀農(nóng)作物不完善粒檢測方法，其特征是，所述的圖像采集，通過能夠在X、Y軸方向移動的承載顆粒狀農(nóng)作物的載物臺及設(shè)置于其上方、下方的相機(jī)，來采集每一粒農(nóng)作物的上下側(cè)圖像信息；

所述的圖像分類是指：對預(yù)處理后的上下側(cè)方圖像經(jīng)初級特征提取分別得到上下側(cè)初級特征，通過關(guān)鍵區(qū)域放大得到關(guān)鍵區(qū)域放大圖，通過對關(guān)鍵區(qū)域放大圖進(jìn)一步提取次級特征得到上下側(cè)次級特征，再對上下側(cè)初級特征和次級特征進(jìn)行特征融合得到融合特征，最后損失函數(shù)單元通過接收的初級特征提取單元、關(guān)鍵區(qū)域放大單元、次級特征提取單元和特征融合單元的輸出，得出分類損失、中心損失和同粒損失并計(jì)算其加權(quán)和作為總損失函數(shù)，經(jīng)過若干次反向傳播更新訓(xùn)練后最終實(shí)現(xiàn)圖像分類。

4.根據(jù)權(quán)利要求1所述的顆粒狀農(nóng)作物不完善粒檢測方法，其特征是，所述的不完善粒分揀提示陣列圖像是指：通過不同顏色在圖像顯示設(shè)備上顯示出不同標(biāo)記圖像，以此表示不同的完善度類別，顯示設(shè)備上每個標(biāo)記圖像的類別和位置與每粒農(nóng)作物的分類結(jié)果和位置對應(yīng)，若干個標(biāo)記圖像構(gòu)成不完善粒分揀提示陣列圖像。