[發明專利]一種實時檢測施工現場圖像中多類實體對象的方法及設備

在審

• 申請號: 201711241150.1
• 申請日: 2017-11-30
• 公開（公告）號: CN108052881A
• 公開（公告）日: 2018-05-18
• 發明（設計）人: 駱漢賓;丁烈云;方偉立;鐘波濤;劉佳靜;張永成
• 申請（專利權）人: 華中科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智;曹葆青

1.一種實時檢測施工現場圖像中多類實體對象的方法，其特征在于，包括如下步驟：

步驟1：通過預先標記出實體對象的施工現場圖像訓練卷積神經網絡，利用訓練完成的卷積神經網絡從施工現場的原始圖像中提取特征圖像；

步驟2：使用區域建議網絡從特征圖像中提取候選區域；

步驟3：將步驟2提取出的候選區域輸入快速卷積神經網絡進行訓練，得到檢測網絡；在快速卷積神經網絡中對候選區域的最后一個卷積層的特征圖像進行池化處理，為每個候選區域生成固定長度的特征向量roi_pool5；將roi_pool5輸入到快速卷積神經網絡中的全連接層，以生成最終應用于多任務學習和計算多任務損失的特征，并使區域建議網絡與快速卷積神經網絡共享卷積層；

步驟4：利用步驟3建立的檢測網絡將區域建議網絡初始化，然后固定區域建議網絡和快速卷積神經網絡共享的卷積層，先微調區域建議網絡獨有的層，再微調快速卷積神經網絡的全連接層，得到實時卷積神經網絡；

步驟5：利用步驟4得到的實時卷積神經網絡，對待檢測的施工現場圖像進行檢測，識別出其中的實體對象。

2.根據權利要求1所述的一種實時檢測施工現場圖像中多類實體對象的方法，其特征在于，對于卷積神經網絡中的卷積層，將上一層的輸出作為下一層的輸入，步驟1中，提取特征圖像的方法如下：

首先，向首層卷積層輸入原始圖像，由不同的卷積核向原始圖像的x軸方向和y軸方向移動，進行卷積處理，得到初步特征圖像；之后，用線性修正函數對初步特征圖像進行修正，得到修正特征圖像；然后，對修正特征圖像進行池化操作、歸一化處理，獲得該卷積層的基本特征圖像，作為下一卷積層的輸入；對卷積神經網絡中的所有卷積層重復上述過程，獲取最終的特征圖像。

3.根據權利要求2所述的一種實時檢測施工現場圖像中多類實體對象的方法，其特征在于，步驟2中使用區域建議網絡從特征圖像中提取候選區域的方法如下：

使用ImageNet預訓練的模型將區域建議網絡初始化，使用初始化后的區域建議網絡在步驟1獲得的特征圖像上進行滑動窗口處理，每個滑動窗口被映射成d維向量，作為框分類層和框回歸層的輸入；當滑動窗口到達卷積特征矩陣的末尾時，框分類層輸出對象/非對象的概率，框回歸層則輸出表示真實目標框架的變換參數，從而提取出候選區域。

4.根據權利要求3所述的一種實時檢測施工現場圖像中多類實體對象的方法，其特征在于，步驟2包括如下子步驟：

2.1使用ImageNet預訓練的模型對區域建議網絡進行初始化，并對初始化后的區域建議網絡進行端到端微調；利用調整后的區域建議網絡在步驟1獲得的特征圖像上進行滑動窗口處理，每個滑動窗口映射為一個d維特征向量；在區域建議網絡中，原始圖像的候選區域被稱為錨框，滑動窗口在特征圖象上滑動的每個位置都在原始圖像上對應k個不同的錨框，k個錨框對應p種不同尺度以及q種不同長寬比，k＝p*q；

2.2將d維特征向量輸入框分類層和框回歸層；框分類層輸出2k維向量，表示錨框屬于前景和背景的概率，框回歸層輸出4k維向量，表示真實目標框的變換參數，從而完成候選區域的提取。

5.根據權利要求3或4所述的一種實時檢測施工現場圖像中多類實體對象的方法，其特征在于，步驟3包括如下子步驟：

3.1得到區域建議網絡提取的候選區域后，將候選區域輸入快速卷積神經網絡進行訓練，得到檢測網絡；利用ImageNet預訓練的模型將檢測網絡初始化；使用ROI池化層對候選區域在快速卷積神經網絡的最后一層卷積層的特征圖像進行處理獲得結果特征圖，進而為每個候選區域生成固定長度的特征向量roi_pool5；

3.2將roi_pool5輸入到快速卷積神經網絡中的全連接層，以生成最終應用于多任務學習和計算多任務損失的特征，使區域建議網絡與快速卷積神經網絡共享卷積層；全連接層的輸出包括SoftMax損失和回歸損失；

SoftMax損失是用于計算i+1個類的分類函數，其中，i表示目標類別數量；

回歸損失是與i+1分類結果相對應的候選區域的邊界框的四角坐標。