[發明專利]具有異常點去除功能的視覺采集方法及裝置

有效

• 申請號: 202011305471.5
• 申請日: 2020-11-19
• 公開（公告）號: CN112419261B
• 公開（公告）日: 2022-11-15
• 發明（設計）人: 胡軍;左治江;李仁威;劉壽明
• 申請（專利權）人: 江漢大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06T5/50
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 詹守琴

1.一種具有異常點去除功能的視覺采集方法，其特征在于，包括以下步驟：

S100在光照配合下，采用攝像頭連續拍攝焊接產品得到多幀圖像；

S200采用網格分割技術，以標準網格模型對每幀圖像進行分割，形成各幀的圖像碎片；

S300提取圖像碎片的碎片屬性，進行分組，將對應產品同一位置的各幀圖像碎片的碎片屬性作為訓練組，對每個訓練組的碎片屬性進行數據訓練，得到各訓練組的優化屬性；

所述分組方法如下：

對產品的每幀圖像進行特征識別與定位，得到特征信息和對應的定位信息，將特征信息和定位信息與圖像碎片進行關聯；

以特征信息和定位信息相同作為分組條件，將對應的圖像碎片的碎片屬性歸入同一訓練組；

S400選出同一訓練組的圖像碎片的碎片屬性與優化屬性相似度最高的圖像碎片，根據優化屬性進行調整，拼接各訓練組調整后的圖像碎片進行圖像還原，將拼接得到的圖像作為視覺采集的有效圖像，用于進行焊接情況判定；

所述圖像碎片的碎片屬性包括像素、分辨率、大小、顏色、位深、色調、飽和度、亮度和色彩通道，所述數據訓練方式如下：

將同一圖像碎片的碎片屬性作為一個數據集，基于多個圖像碎片的碎片屬性組成的多個數據集對深度學習模型進行多次迭代訓練，得到訓練后的深度學習模型；其中，

每次迭代訓練的過程包括：基于第一個數據集對所述深度學習模型進行訓練，直至深度學習模型的損失函數達到第一預設值停止訓練；基于第二個及其之后的數據集對深度學習模型進行訓練；

固定深度學習模型中除最后一層參數外的其他參數；根據用以訓練的數據集中的類別數量，確定深度學習模型中最后一層參數的超參，并訓練最后一層參數；當深度學習模型的損失函數達到與當前數據集對應的第三預設值時，暫停訓練深度學習模型；

取消固定深度學習模型中的參數，并利用當前數據集對深度學習模型的所有參數進行訓練調整，直至深度學習模型的損失函數達到預設狀態，停止本次訓練，預設狀態包括所述損失函數小大于第二預設值，且所述損失函數的變化范圍在預設閾值范圍內；

將下一數據集設為當前數據集，然后進入固定深度學習模型中除最后一層參數外的其他參數的步驟，如此循環完成全部數據集；

在S400步驟中，選出相似度最高的圖像碎片的過程如下：

采用以下公式計算同一訓練組中圖像碎片的碎片屬性與優化屬性差異性的加權和值：

上式中，M_i表示第i個圖像碎片的碎片屬性與優化屬性差異性的加權和值；表示；n表示考察的圖像碎片的碎片屬性數量；K_j表示第j項碎片屬性的權值；S_ij表示第i個圖像碎片的第j項碎片屬性值；S_oj表示第j項優化屬性值；

選擇計算得到的加權和值最小的圖像碎片作為相似度最高的圖像碎片；

在S400步驟中，進行圖像還原時，根據圖像碎片關聯的定位信息進行拼接，對圖像碎片拼接的相鄰邊緣進行平滑處理，平滑處理的方式為：

將距離圖像碎片邊緣設定步距范圍根據步距值劃分為多個階梯段，采用以下公式對圖像碎片各階梯段的圖像點進行屬性調整：

上式中，S′_akj表示調整后圖像碎片a的第k個階梯段的圖像點第j項屬性值；S_akj表示調整前圖像碎片a的第k個階梯段的圖像點第j項屬性值；S_aj表示圖像碎片a的第j項優化屬性值；S_bj表示與圖像碎片a相鄰的圖像碎片b的第j項優化屬性值；m表示設定步距范圍內劃分的階梯段數量。

2.根據權利要求1所述的具有異常點去除功能的視覺采集方法，其特征在于，所述標準網格模型采用以下方式進行優化：

獲取產品的樣本圖像，對樣本圖像進行區域標注；對樣本圖像進行像素劃分，得到多個像素區域；

由樣本圖像中的像素所屬的被標注區域作為像素的硬標簽；

結合像素對應的像素區域和像素的硬標簽，形成像素的軟標簽，軟標簽用于表征像素屬于標注區域的偽概率；根據像素的硬標簽和像素的軟標簽，訓練標準網格模型。