[發明專利]一種基于LSTM的二維圖像的目標類別判識方法

有效

• 申請號: 201711071551.7
• 申請日: 2017-11-03
• 公開（公告）號: CN107748899B
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 徐勇;吳帥
• 申請（專利權）人: 哈爾濱工業大學深圳研究生院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市添源知識產權代理事務所(普通合伙) 44451
• 代理人: 羅志偉

1.一種基于LSTM的二維圖像的目標類別判識方法，其特征在于，包括以下步驟：

S1、依照從外至內的環狀串聯的方式將二維圖像轉化為一維矢量，依照行序串聯的方式將二維圖像轉化為一維矢量，依照從列序串聯的方式將二維圖像轉化為一維矢量；

S2、將上述三種轉化方式所得到的一維矢量全部送入LSTM網絡進行訓練或者判識，然后輸出三種結果；

S3、將LSTM網絡輸出的三種結果進行融合，并基于最終的融合結果進行目標判識；

其中，

在步驟S3中，采用加權得分融合的方式對不同序列LSTM的得分結果進行融合；

對于一個待分類樣本，認為與待分類樣本最接近的那個類別的得分與其他得分的差異越大，分類結果就越可靠，相應的權重值也越大；

采用分類應用，對第一個轉化方式得到的序列，假設得到的與待分類樣本最相似的類別的得分為d₁，與待分類樣本次相似的類別的得分為d₂，則第一個轉化方式的分類結果的可靠度設置為w₁＝|d₁-d₂|；對第二個轉化方式得到的序列，假設得到的與待分類樣本最相似的類別的得分為e₁，與待分類樣本次相似的類別的得分為e₂，則第二個轉化方式的分類結果的可靠度設置為w₂＝|e₁-e₂|；對于第三種方式轉化的序，假設得到的與待分類樣本最相似的類別的得分為f₁，與待分類樣本次相似的類別的得分為f₂，則第三個轉化方式的分類結果的可靠度設置為w₃＝|f₁-f₂|；第一、第二、第三個轉化方式的分類結果的權重分別設定為r₁＝w₁/(w₁+w₂+w₃)，r₂＝w₂/(w₁+w₂+w₃)，r₃＝w₃/(w₁+w₂+w₃)；以這三個權重作為加和第一、第二、第三個轉化方式的分類結果的系數，最后依據得到的加和結果對目標進行類別判識；假如第一個轉化方式得出的待分類樣本關于第一至第C類的相似性得分分別為s₁,...,s_C，第二個轉化方式得出的待分類樣本關于第一至第C類的相似性得分分別為t₁,...,t_C，第三個轉化方式得出的待分類樣本關于第一至第C類的相似性得分分別為g₁,...,g_C，則待分類樣本關于第一至第j類的最終相似性得分為p_j＝r₁s_j+r₂t_j+r₃g_j；如果待分類樣本關于第k類的最終相似性得分為所有最終相似性得分的最大值，則待分類樣本被分類到第k類。

2.根據權利要求1所述的基于LSTM的二維圖像的目標類別判識方法，其特征在于：在步驟S1中，行序串聯是將一個圖像矩陣的第一行、第二行一直到最后一行對應的矢量依次首尾相連結合為一個一維矢量；列序串聯是將一個圖像矩陣的第一列、第二列一直到最后一列依次首尾相連結合為一個一維矢量，圖像矩陣最左邊的列稱為第一列，圖像矩陣最右邊的列稱為最后一列；從外至內環狀串聯是從外至內依照環狀的方式對圖像像素進行串聯，得到一維向量。

3.根據權利要求1所述的基于LSTM的二維圖像的目標類別判識方法，其特征在于：在步驟S3中，將不同序列在LSTM的輸出結果作為特征進行串聯融合。

4.根據權利要求3所述的基于LSTM的二維圖像的目標類別判識方法，其特征在于：根據步驟S1中的三種轉化方式分，對于一張圖片，將其得到的三種一維向量一起送入一個LSTM網絡，得到的輸出結果進行串聯，再使用softmax進行分類。