[發明專利]一種基于深度學習的圖像自動標注方法和裝置

在審

• 申請號: 202210122823.6
• 申請日: 2022-02-09
• 公開（公告）號: CN114612707A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 張倩倩;蘭冬學;王奕
• 申請（專利權）人: 濰柴動力股份有限公司;濰坊濰柴動力科技有限責任公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 付婧

1.一種基于深度學習的圖像自動標注方法，其特征在于，所述方法包括：

獲取無人駕駛中的連續幀圖像作為訓練樣本；

基于3DCNN網絡對所述訓練樣本進行全局特征學習并輸出多維特征向量；

基于詞嵌入向量訓練GCN網絡學習多標簽之間的相互系數矩陣輸出多維標簽向量；

將訓練好的3DCNN網絡輸出的多維特征向量與訓練好的GCN網絡輸出的多維標簽向量進行點積運算，輸出相關性最高的標簽元素作為圖像標簽；

利用訓練好的3DCNN網絡和訓練好的GCN網絡融合后的網絡對目標圖像進行識別。

2.根據權利要求1所述的基于深度學習的圖像自動標注方法，其特征在于，所述基于詞嵌入向量訓練GCN網絡學習多標簽之間的相互系數矩陣輸出多維標簽向量，包括：

向GCN網絡輸入詞嵌入向量；

GCN網絡通過條件概率矩陣構造出標簽的相關系數矩陣，學習多標簽之間的相互系數矩陣；

根據所述相互系數矩陣利用映射函數基于分類器獲得相應的多維標簽向量。

3.根據權利要求2所述的基于深度學習的圖像自動標注方法，其特征在于，所述通過條件概率矩陣構造出標簽的相關系數矩陣，包括：

計算標簽在訓練集中出現的次數得到第一矩陣；

根據所述第一矩陣得到條件概率矩陣；

基于所述條件概率矩陣得到相關系數矩陣。

4.根據權利要求3所述的基于深度學習的圖像自動標注方法，其特征在于，所述基于所述條件概率矩陣得到相關系數矩陣，包括：

對所述條件概率進行濾波處理和二值化處理；

對濾波處理和二值化處理后的條件概率進行加權處理，得到相關系數矩陣。

5.根據權利要求1所述的基于深度學習的圖像自動標注方法，其特征在于，所述基于3DCNN網絡對所述訓練樣本進行全局特征學習輸出多維特征向量，包括：

將所述訓練樣本輸入3DCNN網絡進行全局特征學習；

對3DCNN網絡進行的全局特征學習進行監督；

根據輸出多維特征向量的精確度調整3DCNN網絡的損失函數。

6.根據權利要求1-5任一所述的基于深度學習的圖像自動標注方法，其特征在于，所述利用訓練好的3DCNN網絡和訓練好的GCN網絡融合后的網絡對目標圖像進行識別，包括：

將訓練好的3DCNN網絡和訓練好的GCN網絡融合記作融合網絡；

獲取目標圖像；

將所述目標圖像輸入到所述融合網絡，得到所述目標圖像的類別。

7.一種基于深度學習的圖像自動標注方法裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取無人駕駛中的連續幀圖像作為訓練樣本；

3DCNN網絡模塊，用于基于3DCNN網絡對所述訓練樣本進行全局特征學習并輸出多維特征向量；

GCN網絡模塊，用于基于詞嵌入向量訓練GCN網絡學習多標簽之間的相互系數矩陣輸出多維標簽向量；

融合模塊，用于將訓練好的3DCNN網絡輸出的多維特征向量與訓練好的GCN網絡輸出的多維標簽向量進行點積運算，輸出相關性最高的標簽元素作為圖像標簽；

目標識別模塊，用于利用訓練好的3DCNN網絡和訓練好的GCN網絡融合后的網絡對目標圖像進行識別。

8.一種計算機設備，存儲有計算機可讀指令的存儲介質，其特征在于，所述計算機可讀指令被一個或多個處理器執行時，使得一個或多個處理器執行權利要求1-6任一所述方法的步驟。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求1-6任一所述方法的步驟。

10.一種計算機程序產品，包括計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求1-6任一所述方法的步驟。