[發明專利]一種用于自動駕駛車輛的道路裂縫檢測方法及裝置

有效

• 申請號: 202010581566.3
• 申請日: 2020-06-23
• 公開（公告）號: CN111723750B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 劉近平;李曉娜;李松;王俊昌;王飛
• 申請（專利權）人: 安陽工學院
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/774;G06V10/82;G06N3/0464;G06T7/00
• 代理公司: 安陽市智浩專利代理事務所(普通合伙) 41116
• 代理人: 楊紅軍

1.一種用于自動駕駛車輛的道路裂縫檢測方法，其特征在于，所述方法包括：

獲取待處理圖像；

將所述待處理圖像輸入預先訓練得到的道路裂縫檢測網絡中，所述道路裂縫檢測網絡包括：雙網絡提取輸入圖像特征圖子網絡、金字塔池化子網絡、特征圖外積子網絡、以及特征圖級聯子網絡；所述雙網絡提取輸入圖像特征圖子網絡包括兩個卷積神經網絡，所述兩個卷積神經網絡相同或不同；所述兩個卷積神經網絡分別對所述待處理圖像進行特征提取得到第一初始特征圖和第二初始特征圖；所述金字塔池化子網絡對所述第一初始特征圖進行下采樣及卷積操作得到多個預設尺度的第一候選特征圖，并對所述第二初始特征圖進行下采樣及卷積操作得到所述多個預設尺度的第二候選特征圖；所述特征圖外積子網絡將所述第一候選特征圖和所述第二候選特征圖中同種尺度的特征圖進行外積運算，得到多個外積特征圖；所述特征圖級聯子網絡根據所述多個外積特征圖、所述第一初始特征圖、以及所述第二初始特征圖進行裂縫檢測，得到所述待處理圖像中各像素點的預測類別；所述預測類別包括裂縫或背景；所述道路裂縫檢測網絡是根據各樣本圖像，以及所述各樣本圖像的裂縫標注結果訓練得到的；

所述特征圖級聯子網絡根據所述多個外積特征圖、所述第一初始特征圖、以及所述第二初始特征圖進行裂縫檢測，得到所述待處理圖像中各像素點的預測類別的步驟包括：

所述特征圖級聯子網絡分別對所述多個外積特征圖進行上采樣，得到和所述第一初始特征圖大小相同的各目標特征圖；將所述第一初始特征圖、所述第二初始特征圖、以及所述各目標特征圖進行級聯拼接，得到拼接特征圖；對所述拼接特征圖進行上采樣及卷積操作，得到和所述待處理圖像大小相同的目標圖像，對所述目標圖像進行分類，得到所述待處理圖像中各像素點的預測類別。

2.根據權利要求1所述的方法，其特征在于，所述第一候選特征圖包括三種不同尺度的特征圖X₁，X₂，X₃，所述第二候選特征圖包括三種不同尺度的特征圖Y₁，Y₂，Y₃；所述特征圖外積子網絡將所述第一候選特征圖和所述第二候選特征圖中同種尺度的特征圖進行外積運算，得到多個外積特征圖的步驟包括：

根據以下公式，計算得到多個外積特征圖Z₁、Z₂、Z₃：

X₁^T為X₁的轉置，X₂^T為X₂的轉置，X₃^T為X₃的轉置。

3.根據權利要求1所述的方法，其特征在于，所述道路裂縫檢測網絡的訓練過程包括：

構建初始網絡；所述初始網絡包括：雙網絡提取輸入圖像特征圖子網絡、金字塔池化子網絡、特征圖外積子網絡、以及特征圖級聯子網絡；

獲取樣本圖像，并確定各所述樣本圖像的裂縫標注結果；

將所述各樣本圖像以及各所述樣本圖像的裂縫標注結果輸入所述初始網絡，所述初始網絡對各所述樣本圖像進行裂縫檢測，并根據預測結果與所述裂縫標注結果計算交叉熵損失函數的取值，當所述交叉熵損失函數的取值變化值小于閾值時，將當前的初始網絡作為所述道路裂縫檢測網絡。

4.根據權利要求3所述的方法，其特征在于，所述交叉熵損失函數為：

其中，w為各所述樣本圖像的寬度值，h為各所述樣本圖像的高度值，Y_ij為各所述樣本圖像中第i行第j列像素點的裂縫標注結果，為0或1；sigmoid(F_ij′)為所述第i行第j列像素點的預測結果。