[發明專利]基于小樣本學習神經網絡的違規行為的圖像識別方法

有效

• 申請號: 202011089614.3
• 申請日: 2020-10-13
• 公開（公告）號: CN112183438B
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 張世雄;李楠楠;龍仕強;安欣賞;李革;張偉民
• 申請（專利權）人: 深圳龍崗智能視聽研究院
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/82;G06V10/774;G06V10/776;G06V10/94;G06V10/26;G06V10/764
• 代理公司: 北京京萬通知識產權代理有限公司 11440
• 代理人: 萬學堂;魏振華

1.基于深度學習神經網絡的人員違規行為的圖像識別方法，包括如下步驟：

步驟一、收集數據：首先收集有關違規行為數據集，并對數據集進行過濾篩查；

步驟二、人工標注：通過人工處理的方式對收集到的數據集進行標注和處理，將數據按照需求分成若干個類，每個類中使得數據集可以應用到神經網絡的訓練，收集完數據后，需要對違規行為進行標準，標注的方法是利用手動的方式框取畫面中違規人物所在位置，然后提取矩形框圖四個角的坐標已完成標注；

步驟三、訓練網絡：利用標注好的數據集訓練設計好的小樣本學習網絡，小樣本在訓練過程中會學習到這種特征間的度量方法，這種度量方法能夠較好的判斷兩個樣本間的相似性；

步驟四、測試網絡：用新的樣本測試小樣本網絡，看是否達到預期準確率；

步驟五、合格判斷：測試網絡不合格，則重復步驟三和步驟四，直到測試合格進入第6步；

步驟六、部署應用：測試合格后，將算法部署在由監控攝像機和芯片邊緣端并應用在不同的特定的區域場所；

步驟七、獲取圖像：監控攝像頭獲取到圖像后，將圖像輸入到小樣本學習網絡中；

步驟八、分割圖塊：對圖像進行人體骨架提取獲得人體骨架關鍵位置圖，并按區域分割圖塊，具體是：利用posenet骨架提取網絡提取人體骨架，按照骨架提取的關鍵點，以脖子和腰部為界，將圖像分為：頭部，左上半身，右上半身，左下半身，右下半身，然后將這五個部分送入步驟二中提取特征；

步驟九、提取特征：利用預訓練好的網絡提取圖塊特征，并將特征轉換為特征向量；

步驟十、度量距離：計算特征向量與之前訓練樣本的距離，判斷特征屬于那一類，并輸出結果；

步驟十一、輸出結果：判斷特征屬于那一類，并輸出結果。

2.根據權利要求1所述的基于深度學習神經網絡的人員違規行為的圖像識別方法，其特征在于：所述的步驟一、收集數據的具體過程或方法是：對于違規行為的數據集收集主要來源于場景的日常監控，從日常監控中收集到相關違規行為的圖像信息，如果日常監控中違規行為太少或沒有，則通過人工模擬違規行為進行拍攝，來收集數據。

3.根據權利要求1所述的基于深度學習神經網絡的人員違規行為的圖像識別方法，其特征在于：所述的步驟九、提取特征：是利用預訓練好的模型提取特征，采用預訓練好的ResNet-101來對每個圖塊分別進行特征的提取，提取完特征后再進行距離計算；將高維的特征轉換為一維的特征向量。

4.根據權利要求3所述的基于深度學習神經網絡的人員違規行為的圖像識別方法，其特征在于：所述的計算是利用EMD方法，首先為不同圖塊分配不同的權重如公式(1)所示，其中j，k分別表示圖塊的特征，w表示圖塊的權重，為顯著區域分配的權重多一些，然后通過線性規劃的方式尋找各個圖塊之間的距離，距離計算如公式(3)所示，其中z表示圖塊與圖塊最優匹配的值，而v則表示圖塊特征向量之間匹配的代價，從而計算出兩組圖塊之間的距離；計算

在公式(1)中，J表示的測試圖塊集，j表示測試圖塊集里的圖塊特征，w表示圖塊的不同權重；在公式(2)中K表示的是支持圖塊集，k表示支持圖塊集的圖塊特征，w也是表示著圖塊的不同權重；公式(3)中則是計算J測試圖塊集和K支持圖塊集之間的距離； 距離越小表示二者歸屬于同一類的概率越大，z表示圖塊與圖塊最優匹配的值，v則表示圖塊特征向量之間匹配的代價。