[發明專利]一種用于籽棉開松有效性的判別方法及系統

有效

• 申請號: 202210607648.X
• 申請日: 2022-05-31
• 公開（公告）號: CN114937190B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 過奕任;朱婷婷;倪超;李振業;薛勝
• 申請（專利權）人: 南京林業大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06T7/50;G06T7/00;G06N3/0442;G01H17/00;G06V20/64
• 代理公司: 南京智轉慧移知識產權代理有限公司 32649
• 代理人: 田沛沛

1.一種用于籽棉開松有效性的判別方法，其特征在于，利用線陣相機和3D深度相機獲取籽棉異纖除雜生產線中開松后的籽棉圖像及三維信息，將線掃描圖像數據與線掃描3D深度數據進行對齊和融合，在圖像識別的基礎上通過3D深度數據額外獲取棉花成團表面深度信息，結合開松機振動數據，判斷開松的有效性；具體包括以下步驟：

步驟1、確定線陣相機單次掃描的像素數h，確定3D深度相機單次掃描的數據數量j，確定開松平均時長對應的采樣次數t_k，確定開松機出料到拍攝位置的時長對應的采樣次數t_c；

步驟2、確定采樣頻率和總采樣時間，根據除雜效果確定標注標準，即除雜效果達到要求則將對應時間段的采樣用獨熱編碼標注為有效，否則標注為無效；

步驟3、使用線陣相機以固定采樣率連續采樣傳送帶上經過一次開松的籽棉RGB圖像，在連續采樣的數據中選取最近w次采樣數據X₀表示當前采樣，t次前的采樣圖像為X_-t；

步驟4、使用3D深度相機以線陣相機相同采樣率連續采樣步驟3中相同位置的籽棉的3D深度數據，在連續采樣的數據中選取最近w次采樣的3D深度數據Y₀表示當前采樣，t次前的采樣數據為Y_-t；

步驟5、使用n個安裝在開松機內的振動傳感器以線陣相機相同采樣率連續采樣開松機振動數據，在連續采樣的數據中選取最近w次采樣數據，表達如下：

式中，為t₀次前的采樣數據，t₀為采樣計數偏移量，是(t₀+w-1)次前的采樣數據，是(t₀+w-2)次前的采樣數據，w為采樣數據的數量；

步驟6、對進行校正，得

步驟7、融合和得是和融合后的矩陣，公式如下：

式中，avgpool⁽¹⁾為按第二維度平均池化為指定尺寸，stack⁽⁰⁾為按首維度方向堆疊，

步驟8、利用LSTM網絡提取振動特征，將輸入LSTM網絡，其t₀次前采樣對應的輸出記為狀態記為n為向量的維度，具體指開松機內安裝振動傳感器的數量；

步驟9、利用transformer的編碼器結構提取圖像數據和3D深度數據，構建4個獨立的transformer網絡的編碼器結構共同組成的神經網絡，將作為其輸入，并按的第一個維度拆分，分別輸入4個獨立的transformer網絡的編碼器結構，沿第三個維度添加位置編碼，第二個維度對應transformer網絡中的詞嵌入長度；

步驟10、將步驟9的4個向量堆疊為二維矩陣即堆疊所得的二維矩陣；

步驟11、采用加性方式融合步驟8中的LSTM網絡和步驟9中的4個獨立的transformer網絡的編碼器結構共同組成的神經網絡的輸出，融合和得O，O是和融合所得的矩陣，分別將和進行4次重復堆疊得和并應用以下公式進行融合：

式中，W₁，W₂為可學習的權重參數矩陣，符號“+”指矩陣加法，符號“⊙”指按元素相乘，是進行4次重復堆疊得到的矩陣，是進行4次重復堆疊得到的矩陣，表示實數張量空間，n是開松機內安裝振動傳感器的數量；

步驟12、將步驟11中O輸入多層前饋神經網絡，經softmax得出開松有效性判別向量：

式中，e₁為開松無效，e₂為開松有效，T為數據采樣時間段，t是采樣的時間點，P是概率，若P(e₁|t∈T)＞0.5則為開松無效，否則為開松有效。

2.根據權利要求1所述的用于籽棉開松有效性的判別方法，其特征在于，所述步驟7中圖像數據和3D深度數據采用矩陣堆疊的方式進行融合以達到空間和時間對齊的目的。

3.根據權利要求2所述的用于籽棉開松有效性的判別方法，其特征在于，按步驟9，對多圖像數據和3D深度數據融合后的數據按通道劃分作為獨立并行的transformer編碼器結構的輸入，單次采樣的像素或數據量對應的維度作為transformer的編碼器結構的詞嵌入長度。