[發明專利]基于互信息配準消除冗余背景的模型加速方法

在審

• 申請號: 202110689843.7
• 申請日: 2021-06-22
• 公開（公告）號: CN113409276A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 李忠濤;袁朕鑫;趙帥;趙富;肖鑫
• 申請（專利權）人: 濟南大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/30;G06K9/38;G06K9/62;G06N3/04
• 代理公司: 山東國誠精信專利代理事務所(特殊普通合伙) 37312
• 代理人: 吳佳佳

本發明提出了基于互信息配準消除冗余背景的模型加速方法，在采集設備固定的基礎上，生產環境光線多樣性下，采集工業場景下目標檢測任務的數據集；選取批量數據集，在現場確定攝像頭位置后，選取一張圖像為參照，其中，以下均稱為參照圖，將數據集中樣本與參照圖進行互信息圖像配準；互信息圖像配準時，將參照圖和某個樣本圖轉換為灰度圖像，構建兩個灰度圖像的二維向量；參照圖和樣本圖為剛性配準，使用直方圖估計法計算兩個灰度圖像二維向量的聯合概率密度，以確定并跳過冗余背景進行推理計算。本發明提高卷積神經網絡的計算效率，滿足工業生產線目標檢測的實時性。

技術領域

本發明涉及工業計算機應用技術領域，具體為基于互信息配準消除冗余背景的模型加速方法。

背景技術

工業化和信息化不斷融合發展，物聯網、人工智能技術為工業生產注入了新鮮血液。工業現場環境的復雜性和生產線產品檢測實時性的需求給人工智能技術應用帶來了挑戰。人工智能技術的部署邊緣設備需滿足可靠、安全、具備一定的計算能力等要求，特別是滿足一定計算性能和低延時的條件，算法模型目標檢測的推理速度直接影響了生產線的效率。模型輸入采集的工業現場實時圖像，需要進行一些數學計算，如卷積、積分變換、范數等。其中卷積在數字圖像處理發揮提取目標特征的重要作用，同時也是推理時間的主要組成部分之一，尤其是面對復雜目標的特征提取時，需要更深層次的卷積神經網絡才能更好的提取特征，同時這也大大增加了推理的時間，為滿足生產線實時性需求的算法模型部署帶來了諸多挑戰。

發明內容

本發明的目的在于提供基于互信息配準消除冗余背景的模型加速方法，為實現上述目的，本發明提供如下技術方案：基于互信息配準消除冗余背景的模型加速方法，包括，包括以下步驟：

S1、采集工業場景下目標檢測任務的數據集，圖像采集設備的位置固定，在滿足工業生產線現場的需求下，被檢測目標所在的產品在圖像中所占比例盡可能的大；數據集的采集需在采集設備固定的基礎上，需在不同光線條件下，如在不同的生產時段下包括白天和晚上燈光下等生產環境光線多樣性的數據集；

S2、選取批量數據集，在現場確定攝像頭位置后，選取一張圖像為參照，其中，以下均稱為參照圖，將數據集中樣本與參照圖進行互信息圖像配準；互信息圖像配準時，將參照圖和某個樣本圖轉換為灰度圖像，構建兩個灰度圖像的二維向量；

S3、由于參照圖和樣本圖為剛性配準，則使用直方圖估計法，計算兩個灰度圖像的二維向量的聯合概率密度；

S4、根據直方圖估計法的結果，當概率密度達到一定值時，表示樣本圖和參照圖重疊度較高；對識別為同一背景的樣本圖，與參照圖對應位置作差，根據差判斷是否在一定范圍內，確定冗余背景，并使用矩陣二值化表示，得到二值化矩陣T(T∈C^n×n)；

S5、對采集的數據集進行目標標注，將數據集輸入卷積神經網絡中進行訓練，訓練讀取數據集時，與二值化矩陣T′對應相乘，以加速訓練過程；

S6、將訓練后的模型部署于邊緣計算設備上處理單張圖像輸入的推理，在單張圖像輸入后，通過二值化矩陣T′過濾輸入圖像的冗余背景，加速模型的計算推理。

優選的，步驟S1中圖像采集設備固定和被檢測目標所在的產品在圖像中所占比例盡可能的大，其特征在于，包括：

S11、工業生產線由一系列確定的工序組成，生產線上的產品位置變化相對較小，因此圖像采集設備的位置也可以確定；

S12、圖像采集設備的位置影響著圖像中目標的清晰度，所采集圖像中目標所占整個圖像比例越大，噪點對目標檢測任務的影響越小，對目標特征提取越容易，即采集的圖像盡可能充實的成像目標產品；

S13、數據集的采集需在生產階段不同時段進行，包括白天時段和晚上燈光時段，以確保數據集的豐富性。