[發明專利]基于深度學習和目標跟蹤的大輸液異物檢測方法、系統、介質及設備

在審

• 申請號: 202010632625.5
• 申請日: 2020-07-03
• 公開（公告）號: CN111882579A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 張輝;王群;易俊飛;毛建旭;周顯恩;朱青;王耀南
• 申請（專利權）人: 湖南愛米家智能科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/44;G06T7/90;G06T7/10;G06T7/00;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學習和目標跟蹤的大輸液異物檢測方法，其特征在于，包括以下步驟：

步驟1：采集大輸液生產線上通過高速旋轉-急停后的序列圖像；

步驟2：對采集的大輸液序列圖像進行格式轉換，并裁剪掉邊界干擾區域；

步驟3：將大輸液藥液歷史序列圖像的中央感興趣區域中包含的異物目標進行最小外接矩形的方框標記，同時記錄XML文件，并對XML文件進行腳本轉換，獲取TFRrecord文件；

所述XML文件記錄每個異物目標的方框標記ground-truth box、角點坐標、所屬圖像名稱、大小、通道數、圖像格式與存儲路徑；

步驟4：構建基于Faster R-CNN深度神經網絡的異物位置預測標記模型；

利用歷史序列圖像按照步驟2-步驟3處理，獲得訓練集的TFRecord文件，利用訓練集的TFRrecord文件輸入Faster R-CNN深度神經網絡模型進行訓練，獲得基于Faster R-CNN深度神經網絡的異物位置預測標記模型，訓練時，配置文件的分類數設置為1，迭代批處理數據數目batch_size置為1，總的迭代次數num_steps設置為40000；

步驟5：按照步驟2-步驟3對實時采集的大輸液醫藥藥液生產線上的大輸液藥液序列圖像進行處理，之后把第一幀圖像的TFRecord文件所述的基于Faster R-CNN深度神經網絡的異物位置預測標記模型，獲得第一幀所有疑似異物目標的位置坐標點；

步驟6：將實時采集的序列圖像和基于步驟5獲得的第一幀所有的疑似異物目標坐標位置所在區域作為CSR-DCF目標跟蹤算法的感興趣區域輸入部分，跟蹤得到實時采集的序列圖像中每個疑似異物目標的位置坐標；

步驟7：依據噪聲與異物目標的運動軌跡差別，基于目標運動軌跡特征，利用貝葉斯原理的自適應分類算法從實時采集的序列圖像中所有疑似目標的運動軌跡上區分出異物目標和噪聲。

2.根據權利要求1所述的方法，其特征在于，所述對采集的大輸液序列圖像進行格式轉換，裁剪邊界干擾區域，過程如下：

步驟2.1：通過python中的字符串的拼接，將CCD相機獲得的大輸液藥液序列圖像BMP位圖格式的圖像為JPG格式；

步驟2.2：采用雙線性插值將JPG格式的大輸液藥液圖像的分辨率壓縮成1000*750的分辨率；

步驟2.3：將經過壓縮后的大輸液藥液圖像進行resize操作，圖像寬度裁剪范圍為115至885的區域，高裁剪為75至675的區域，圖像分辨率為770*600。