[發(fā)明專(zhuān)利]一種施工違規(guī)行為檢測(cè)模型的構(gòu)建方法及其應(yīng)用

有效

• 申請(qǐng)?zhí)枺?/td>: 202010601260.X
• 申請(qǐng)日: 2020-06-28
• 公開(kāi)（公告）號(hào): CN111832443B
• 公開(kāi)（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 韓守東;陳國(guó)榮;馬迪;劉巾英;陳陽(yáng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華中科技大學(xué)
• 主分類(lèi)號(hào): G06V20/40
• 分類(lèi)號(hào): G06V20/40;G06V10/40;G06V10/75;G06V10/774;G06V10/82;G06K9/62;G06N3/08
• 代理公司: 華中科技大學(xué)專(zhuān)利中心 42201
• 代理人: 尹麗媛;李智

1.一種施工違規(guī)行為檢測(cè)模型的構(gòu)建方法，其特征在于，包括：

獲取施工違規(guī)行為原始圖像樣本集；

對(duì)所述原始圖像樣本集中的圖像進(jìn)行相似度配對(duì)，得到多組圖像對(duì)，并對(duì)每組所述圖像對(duì)進(jìn)行前景交換，以及對(duì)交換后的所有圖像進(jìn)行風(fēng)格渲染，以消除交換帶來(lái)的邊緣效應(yīng)，得到擴(kuò)展圖像樣本集；

基于所述原始圖像樣本集和所述擴(kuò)展圖像樣本集，訓(xùn)練單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)，得到違規(guī)行為檢測(cè)模型，其中在訓(xùn)練時(shí)根據(jù)圖像上下文信息以及檢測(cè)網(wǎng)絡(luò)中的類(lèi)別預(yù)測(cè)分支和位置預(yù)測(cè)分支的預(yù)測(cè)結(jié)果對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)優(yōu)；

所述前景交換的實(shí)現(xiàn)方式為：

分別裁剪每組所述圖像對(duì)中各圖像的目標(biāo)前景，并對(duì)各圖像中經(jīng)裁剪留下的空洞進(jìn)行填補(bǔ)，得到各圖像的圖像背景圖；

計(jì)算圖像A的目標(biāo)前景A₁黏貼到與圖像A配對(duì)的圖像B所對(duì)應(yīng)的圖像背景圖B₂上的黏貼置信度圖B₃；隨機(jī)挑選該黏貼置信度圖B₃中置信度值超過(guò)閾值的任一像素點(diǎn)，并在該圖像背景圖B₂中將該目標(biāo)前景A₁黏貼在以該像素點(diǎn)為中心的區(qū)域，其中圖像A為所述多組圖像對(duì)中的每張圖像。

2.根據(jù)權(quán)利要求1所述的一種施工違規(guī)行為檢測(cè)模型的構(gòu)建方法，其特征在于，所述相似度配對(duì)的實(shí)現(xiàn)方式為：

采用所述原始圖像樣本集中的部分樣本，訓(xùn)練違規(guī)行為多分類(lèi)網(wǎng)絡(luò)；

從所述原始圖像樣本集中隨機(jī)抽取兩張圖像，采用已訓(xùn)練的所述多分類(lèi)網(wǎng)絡(luò)中的特征提取單元，分別對(duì)該兩張圖像提取特征并計(jì)算兩張圖像特征間的余弦相似度；若相似度大于閾值，則配對(duì)成功；否則，配對(duì)失敗，并重新從所述原始圖像樣本集隨機(jī)抽取新的兩張圖像，重復(fù)上述過(guò)程，直至達(dá)到停止要求，得到配對(duì)成功的多組圖像對(duì)。

3.根據(jù)權(quán)利要求1所述的一種施工違規(guī)行為檢測(cè)模型的構(gòu)建方法，其特征在于，所述空洞為囊括目標(biāo)輪廓的矩形框。

4.根據(jù)權(quán)利要求1所述的一種施工違規(guī)行為檢測(cè)模型的構(gòu)建方法，其特征在于，所述并在該圖像背景圖B₂中將該目標(biāo)前景A₁黏貼在以該像素點(diǎn)為中心的區(qū)域，之后，所述前景交換的實(shí)現(xiàn)方式還包括：

在黏貼有目標(biāo)前景A₁的所述圖像背景圖B₂中，對(duì)A₁黏貼邊緣進(jìn)行高斯模糊處理，以弱化黏貼帶來(lái)的邊緣效應(yīng)。

5.根據(jù)權(quán)利要求1所述的一種施工違規(guī)行為檢測(cè)模型的構(gòu)建方法，其特征在于，所述風(fēng)格渲染的實(shí)現(xiàn)方式為：

將前景交換后的所有圖像視作域I、所述原始圖像樣本集視作域II，作為環(huán)形生成對(duì)抗網(wǎng)絡(luò)的輸入，訓(xùn)練該環(huán)形生成對(duì)抗網(wǎng)絡(luò)，使得環(huán)形生產(chǎn)對(duì)抗網(wǎng)絡(luò)將域I的圖像遷移成域II的圖像的風(fēng)格，消除交換帶來(lái)的邊緣效應(yīng)；

將每個(gè)前景交換后的圖像再次輸入已訓(xùn)練的環(huán)形對(duì)抗網(wǎng)絡(luò)，得到風(fēng)格遷移后的圖像，所有所述遷移后的圖像構(gòu)成所述擴(kuò)展圖像樣本集。

6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的一種施工違規(guī)行為檢測(cè)模型的構(gòu)建方法，其特征在于，所述根據(jù)圖像上下文信息以及檢測(cè)網(wǎng)絡(luò)中的類(lèi)別預(yù)測(cè)分支和位置預(yù)測(cè)分支的預(yù)測(cè)結(jié)果對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)優(yōu)，實(shí)現(xiàn)方式為：

所述單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)中FPN特征提取單元的每層卷積層所輸出的特征圖均連接一個(gè)類(lèi)別預(yù)測(cè)分支和一個(gè)位置預(yù)測(cè)分支，同時(shí)最后一層卷積層所輸出的特征圖還連接一個(gè)上下文信息分支，所述上下文信息分支用于進(jìn)行全圖分類(lèi)預(yù)測(cè)；

基于各分支預(yù)測(cè)損失值的加和反傳訓(xùn)練所述FPN特征提取單元參數(shù)。

7.根據(jù)權(quán)利要求6所述的一種施工違規(guī)行為檢測(cè)模型的構(gòu)建方法，其特征在于，所述上下文信息分支為全圖多分類(lèi)支路，具體用于：

對(duì)所述最后一層卷積層所輸出的特征圖分別經(jīng)過(guò)全局平均池化和全局最大池化，得到兩個(gè)特征向量；

將這兩個(gè)特征向量的和作為最終的特征向量，或者，將經(jīng)所述全局平均池化所得到的特征向量作為最終的特征向量，或者，將這兩個(gè)特征向量的拼接向量作為最終特征向量；

使所述最終特征向量依次經(jīng)兩層全連接層和一層sigmoid層，得到全圖分類(lèi)預(yù)測(cè)結(jié)果。