[發明專利]基于深度學習和目標跟蹤的大輸液異物檢測方法、系統、介質及設備

在審

• 申請號: 202010632625.5
• 申請日: 2020-07-03
• 公開（公告）號: CN111882579A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 張輝;王群;易俊飛;毛建旭;周顯恩;朱青;王耀南
• 申請（專利權）人: 湖南愛米家智能科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/44;G06T7/90;G06T7/10;G06T7/00;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于深度學習和目標跟蹤的大輸液異物檢測方法、系統、介質及設備，該方法對采集的連續多幀圖像進行圖像預處理后，結合了目標檢測算法和目標跟蹤算法，實現了目標檢測與目標跟蹤的融合、異物精準定位跟蹤；首先通過對序列圖像進行預處理，然后先運用Faster R?CNN神經網絡對第一幀圖像進行目標檢測，得到每個疑似目標的初始位置，然后通過CSR?DCF目標跟蹤算法跟蹤每個目標在之后幾幀的位置，得到每個疑似目標的運動軌跡，最后根據軌跡特征用基于半樸素貝葉斯原理的自適應分類算法進行分類，排除噪音干擾。實驗表明，該方法不但可以極大提高檢測速度而且檢測精度也提高了許多，達到了工業生產精度和實時性要求。

技術領域

本發明屬于醫藥圖像檢測領域，涉及一種基于深度學習和目標跟蹤的大輸液異物檢測方法、系統、介質及設備。

背景技術

我國大輸液生產量和銷售量早已位居世界第一，在制藥生產過程中，由于各種原因導致藥液中混入直徑大于50微米的微小異物，其中包括空氣中的纖維，工人掉落的毛發，玻璃瓶碰撞產生的玻璃屑，橡膠塞脫落的橡膠塊等。由于大輸液藥劑直接將藥物輸入靜脈并進入人體血液，一旦這些異物進入人體血液循環，直接關系到人的生命安全，更重要的是，大輸液是給病人使用的，而病人相對于正常人的抵抗能力要弱很多，帶有異物的藥業一旦輸入血液，跳過人體安全的第一，第二防線，不但無法治病，還有可能致命。所以，大輸液異物檢測是重中之重，是維護人民生命安全的最重要一道防線。在傳統中小制藥企業采用的人工燈檢法，這種方式依靠人力，伴有檢測標準無法統一，導致視力疲勞，檢測速度慢，漏檢率高等缺點。而國外等先進設備，價格昂貴，維護成本極高，因此研究開發一套高效安全的大輸液異物檢測方法，是當務之急。對人民安全，工業生產，國家發展具有重大意義。

發明內容

本發明提供了一種基于深度學習和目標跟蹤的大輸液異物檢測方法、系統、介質及設備，其目的在于，對大輸液藥液中的異物跟蹤識別，并建立了自適應分類算法以排除氣液體泡，瓶身劃痕，光斑等噪音干擾，實現異物目標準確檢測與跟蹤。

本發明提供的技術方案如下：

一方面，一種基于深度學習和目標跟蹤的大輸液異物檢測方法，包括以下步驟：

步驟1：采集大輸液生產線上通過高速旋轉-急停后的序列圖像；

步驟2：對采集的大輸液序列圖像進行格式轉換，并裁剪掉邊界干擾區域；

步驟3：將大輸液藥液歷史序列圖像的中央感興趣區域中包含的異物目標進行最小外接矩形的方框標記，同時記錄XML文件，并對XML文件進行腳本轉換，獲取TFRrecord文件；

所述XML文件記錄每個異物目標的方框標記ground-truth box、角點坐標、所屬圖像名稱、大小、通道數、圖像格式與存儲路徑；

將所有的標注XML文件先后利用xml_to_csv.py與generate_tfrecord.py腳本進行轉換，最后依據約9比1的比例構建訓練集和驗證集的TFRecord文件；

步驟4：構建基于Faster R-CNN深度神經網絡的異物位置預測標記模型；

利用歷史序列圖像按照步驟2-步驟3處理，獲得訓練集的TFRecord文件，利用訓練集的 TFRrecord文件輸入Faster R-CNN深度神經網絡模型進行訓練，獲得基于Faster R-CNN深度神經網絡的異物位置預測標記模型，訓練時，配置文件的分類數設置為1，迭代批處理數據數目batch_size置為1，總的迭代次數num_steps設置為40000；

步驟5：按照步驟2-步驟3對實時采集的大輸液醫藥藥液生產線上的大輸液藥液序列圖像進行處理，之后把第一幀圖像的TFRecord文件所述的基于Faster R-CNN深度神經網絡的異物位置預測標記模型，獲得第一幀所有疑似異物目標的位置坐標點；