[發(fā)明專(zhuān)利]基于語(yǔ)義分割的太陽(yáng)能電池片圖像自動(dòng)拼接方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010763440.8
• 申請(qǐng)日: 2020-07-31
• 公開(kāi)（公告）號(hào): CN111861889B
• 公開(kāi)（公告）日: 2023-03-21
• 發(fā)明（設(shè)計(jì)）人: 肖智恒;羅長(zhǎng)志;張?jiān)匠?/a>;鄭軍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 聚時(shí)科技（上海）有限公司
• 主分類(lèi)號(hào): G06T3/40
• 分類(lèi)號(hào): G06T3/40;G06T5/50;G06T7/11;G06T7/194;G06T7/33;G06T7/60
• 代理公司: 上海科盛知識(shí)產(chǎn)權(quán)代理有限公司 31225
• 代理人: 翁惠瑜

本發(fā)明涉及一種基于語(yǔ)義分割的太陽(yáng)能電池片圖像自動(dòng)拼接方法及系統(tǒng)，所述諒方法包括以下步驟：獲取待拼接的兩張圖像，利用語(yǔ)義分割模型分別對(duì)所述兩張圖像進(jìn)行處理生成對(duì)應(yīng)掩碼；將生成的掩碼與對(duì)應(yīng)的圖像進(jìn)行疊加提取各圖像的初步焊接區(qū)域；對(duì)各所述初步焊接區(qū)域分別進(jìn)行直線(xiàn)檢測(cè)，將聚集在一簇的直線(xiàn)合并，獲取最終定位焊接區(qū)域；基于兩個(gè)所述最終定位焊接區(qū)域提取其中重合區(qū)域的角點(diǎn)，基于相似度獲得匹配特征點(diǎn)集合；基于所述匹配特征點(diǎn)集合實(shí)現(xiàn)待拼接的兩張?jiān)紙D像的圖像配準(zhǔn)和圖像融合。與現(xiàn)有技術(shù)相比，本發(fā)明具有抗干擾能力強(qiáng)、特征提取精度高等優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種太陽(yáng)能電池片的自動(dòng)化生產(chǎn)技術(shù)，尤其是涉及一種基于語(yǔ)義分割的太陽(yáng)能電池片圖像自動(dòng)拼接方法及系統(tǒng)。

背景技術(shù)

隨著人工智能方法的不斷發(fā)展和改進(jìn)，基于人工智能的自動(dòng)化生產(chǎn)受到了越來(lái)越廣泛的關(guān)注。圖像拼接，作為自動(dòng)化檢測(cè)的基礎(chǔ)，在工業(yè)質(zhì)檢、醫(yī)學(xué)成像、遙感成像、軍事目標(biāo)自動(dòng)識(shí)別等領(lǐng)域具有重要意義。

傳統(tǒng)的圖像拼接算法大致可以分為以下幾個(gè)步驟：特征提取、圖像配準(zhǔn)、單應(yīng)性矩陣計(jì)算、圖像變形和融合。特征提取是在所有輸入圖像上檢測(cè)特征點(diǎn)，通過(guò)圖像配準(zhǔn)建立圖像之間的幾何對(duì)應(yīng)關(guān)系，使它們?cè)谝粋€(gè)共同的參考系中進(jìn)行變換、比較和分析。然后將所有圖像變形融合到一個(gè)復(fù)合全景平面中。圖像拼接中的特征匹配通常采用角點(diǎn)匹配，角點(diǎn)的鄰域具有強(qiáng)度突變的特性，可以進(jìn)行定量測(cè)量，常用的角點(diǎn)檢測(cè)器主要包括經(jīng)典的Harris檢測(cè)器、尺度不變特征變換(Scale-invariant Feature Transform，簡(jiǎn)稱(chēng)SIFT)、最穩(wěn)定極值區(qū)域(Maximally Stable Extremal Region，簡(jiǎn)稱(chēng)MSER)等。

然而在很多工業(yè)場(chǎng)景下強(qiáng)度突變的特征點(diǎn)檢測(cè)可能不是很適用，比如在匹配具有高頻相似區(qū)域缺乏細(xì)節(jié)的圖像(如太陽(yáng)能電池片)時(shí)，精細(xì)尺度的特征存在大量的重復(fù)區(qū)域，同一張圖片采用傳統(tǒng)的角點(diǎn)檢測(cè)提取出來(lái)的特征區(qū)域之間有較高的相似性，這給特征配準(zhǔn)帶來(lái)了極大的干擾。傳統(tǒng)的特征配準(zhǔn)的一個(gè)很大的缺陷在于很難將相似的特征點(diǎn)區(qū)分開(kāi)來(lái)，從而造成特征點(diǎn)的匹配混亂。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種抗干擾能力強(qiáng)、特征提取精度高的基于語(yǔ)義分割的太陽(yáng)能電池片圖像自動(dòng)拼接方法及系統(tǒng)。

本發(fā)明的目的可以通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)：

一種基于語(yǔ)義分割的太陽(yáng)能電池片圖像自動(dòng)拼接方法，包括以下步驟：

獲取待拼接的兩張圖像，利用語(yǔ)義分割模型分別對(duì)所述兩張圖像進(jìn)行處理生成對(duì)應(yīng)掩碼；

將生成的掩碼與對(duì)應(yīng)的圖像進(jìn)行疊加提取各圖像的初步焊接區(qū)域；

對(duì)各所述初步焊接區(qū)域分別進(jìn)行直線(xiàn)檢測(cè)，將聚集在一簇的直線(xiàn)合并，獲取最終定位焊接區(qū)域；

基于兩個(gè)所述最終定位焊接區(qū)域提取其中重合區(qū)域的角點(diǎn)，基于相似度獲得匹配特征點(diǎn)集合；

基于所述匹配特征點(diǎn)集合實(shí)現(xiàn)待拼接的兩張?jiān)紙D像的圖像配準(zhǔn)和圖像融合。

進(jìn)一步地，所述語(yǔ)義分割模型生成的掩碼將太陽(yáng)能電池片圖像分為焊接區(qū)域和背景兩類(lèi)。

進(jìn)一步地，所述語(yǔ)義分割模型訓(xùn)練時(shí)采用的訓(xùn)練集通過(guò)以下方式獲取：采集訓(xùn)練圖像，圖像與圖像之間在某一焊接區(qū)域鄰域存在重合，對(duì)采集的各訓(xùn)練圖像進(jìn)行數(shù)據(jù)增強(qiáng)，形成最終的訓(xùn)練集，有效提高訓(xùn)練精度，在較少采集圖像的情況下能夠獲得更準(zhǔn)確的語(yǔ)義分割模型，提高訓(xùn)練效率。

進(jìn)一步地，所述語(yǔ)義分割模型采用Unet網(wǎng)絡(luò)。

進(jìn)一步地，所述初步焊接區(qū)域通過(guò)掩碼與原始圖像的對(duì)應(yīng)元素相乘提取獲得。

進(jìn)一步地，采用Hough變換進(jìn)行所述直線(xiàn)檢測(cè)。

進(jìn)一步地，所述角點(diǎn)通過(guò)ORB特征檢測(cè)算法提取。