[發明專利]一種基于局部圖像分類的渣土車頂蓋狀態確定方法及系統

有效

• 申請號: 202110358539.4
• 申請日: 2021-04-02
• 公開（公告）號: CN112801056B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 林亦寧;趙之健
• 申請（專利權）人: 上海閃馬智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 陸惠中;趙旭

1.一種基于局部圖像分類的渣土車頂蓋狀態確定方法，其特征在于：所述方法包括：

監控模塊獲取實時監控圖像并將其傳輸至檢測和屬性分類聯合模塊；

所述檢測和屬性分類聯合模塊對所述實時監控圖像進行識別處理，輸出車輛的位置、類別及屬性，其中，所述類別為渣土車/非渣土車，所述屬性包括遮擋、朝向信息；

調整模塊基于所述屬性摳取所述渣土車頂蓋位置的區域作為所述渣土車的局部圖像，具體包括：判斷所述渣土車是否存在被其它渣土車遮擋的情況，若是，則：檢測所述渣土車與遮擋渣土車的車型比，若所述車型比為th1-th2，則以所述遮擋渣土車的頂蓋區域大小來延展所述渣土車的頂蓋區域，并將延展后的區域作為所述渣土車的用于狀態識別的頂蓋區域即所述局部圖像；若所述車型比小于th1，則將所述渣土車的頂蓋區域中未被遮擋的區域作為用于狀態識別的頂蓋區域即所述局部圖像，其中，th1小于th2；然后，將所述渣土車的位置和所述局部圖像送入渣土車4分類模塊；

所述渣土車4分類模塊，基于所述渣土車的位置和所述局部圖像輸出4分類結果；

所述方法還包括：

當車型比大于th2時，給所述渣土車及遮擋渣土車分別做臨時標記，并在后續若干幀內持續對附加了臨時標記的所述渣土車以及所述遮擋渣土車分別進行跟蹤，當所述渣土車露出的頂蓋區域面積大于閾值th3時，將所述露出的頂蓋區域作為所述渣土車的用于狀態識別的頂蓋區域即所述局部圖像。

2.根據權利要求1所述的方法，其特征在于：所述閾值 th3的計算公式如下：

；

式中，為車型比，S為所述渣土車的頂蓋區域面積，δ為調整系數且δ1；其中，車型比分別為遮擋渣土車和所述渣土車的頂蓋區域長度，或后斗區域車輪數，或車輛全長，或是基于車型的不同而分別預先設定的；。

3.根據權利要求1所述的方法，其特征在于：所述調整模塊基于所述屬性摳取所述渣土車頂蓋位置的區域作為所述渣土車的局部圖像，還包括：

若判斷所述渣土車不存在被其它渣土車遮擋的情況，則：判斷檢測到的渣土車朝向與所述監控模塊預先標定的方向是否相同，若相同，則將渣土車圖像以朝向起點為起點的局部區域摳取為所述局部圖像；否則，將渣土車圖像以朝向終點為起點的局部區域摳取為所述局部圖像。

4.根據權利要求1所述的方法，其特征在于：所述檢測和屬性分類聯合模塊包含一個公用的主干網絡和兩個分支網絡；其中，所述主干網絡由逐層池化的特征提取網絡和一個特征融合用的特征圖金字塔網絡組成；兩個分支網絡一個是檢測用的網絡分支,用于將特征轉換成目標框的位置和類別,即輸出車輛的位置和類別； 一個是屬性分支包含多個類別的屬性分類器，即輸出車輛的屬性。

5.根據權利要求4所述的方法，其特征在于：所述渣土車4分類模塊輸出4分類結果，包括：

將所述渣土車位置和所述局部圖像送入所述渣土車4分類模塊；其中所述渣土車4分類模塊包含通過神經網絡結構搜索得到的卷積核結構和參數, 使用多個softmax模塊實現4分類任務,輸出所述4分類結果。

6.根據權利要求5所述的方法，其特征在于：在所述渣土車存在被其它渣土車遮擋的情況時，所述softmax模塊執行如下分類原則：

當所述車型比為th1-th2時：若所述渣土車的頂蓋區域未被遮擋的區域為覆蓋狀態，且未被遮擋的區域占延展后的用于狀態識別的頂蓋區域即局部圖像的比例大于閾值th0，則輸出分類為已覆蓋渣土車；若所述渣土車的頂蓋區域未被遮擋的區域為未覆蓋狀態，且未被遮擋的區域占延展后的用于狀態識別的頂蓋區域即局部圖像的比例大于閾值th0，則判定為未覆蓋渣土車，進一步識別空/非空狀態；

當所述車型比小于th1時：若所述渣土車的用于狀態識別的頂蓋區域即局部圖像為覆蓋狀態，則輸出分類為已覆蓋渣土車；若所述渣土車的用于狀態識別的頂蓋區域即局部圖像為未覆蓋狀態，則判定為未覆蓋渣土車，進一步識別空/非空狀態。