[發明專利]一種雙階段物品檢測方法及裝置

有效

• 申請號: 202111069114.8
• 申請日: 2021-09-13
• 公開（公告）號: CN113505771B
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 徐雪松;于波;付瑜彬
• 申請（專利權）人: 華東交通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06N3/08
• 代理公司: 南昌賢達專利代理事務所(普通合伙) 36136
• 代理人: 金一嫻

本發明公開一種雙階段物品檢測方法及裝置，方法包括響應于獲取采集的實時圖像，將實時圖像輸入至前景檢測模型中，使獲得前景定位信息，并基于前景定位信息確定實時圖像中包含物品的至少一個預測框的位置；根據至少一個預測框的位置對實時圖像進行截取，使獲得至少一個預測框圖像，并將至少一個預測框圖像輸入至類別判斷模型中，輸出至少一個物品的類別；響應于獲取的前景定位信息，基于雙目圖像視差計算獲得至少一個物品的位置信息。通過將物品檢測分成前景分析和類別判斷兩個過程，有效避免了經典的深度檢測算法在應用中難以采集足夠樣本完成訓練的問題，并且有效解決了導盲裝置便攜性與深度學習模型計算復雜性之間的矛盾。

技術領域

本發明屬于物品檢測技術領域，尤其涉及一種雙階段物品檢測方法及裝置。

背景技術

數據顯示，隨著人口的增長和老齡化程度的加深，到2050年，全球預計會有 7.03億人面臨中重 度視力損害或失明。根據中國殘聯的數據，目前我國至少有500萬盲人，且盲人數量正在以每年45萬的速度 迅速增加。視覺是人類最重要的感知手段，人類約90%的感知信息來自眼睛。盲人因為缺失了視覺感知手段，生活極為不便，同時也給社會帶來了沉重的負擔。如何增強盲人的自主環境感知能力一直是科研人員努力的方向。

手杖和導盲犬是最常用的導盲工具。手杖簡單實用，但是獲得的信息也少；導盲犬導盲效果好，但是訓練不易，成本高昂。隨著科技水平的提高，近年來人們開始將先進的信息處理技術用于導盲，開發出許多新的導盲裝置。Pravin M 等人用固定的白色LED燈作為發射器，用戶手持PIN二極管接收器讀取不同頻率光線對應的信息以確定位置。宋玉娥等人基于STM32單片機設計了一款新型的智能導盲手杖，利用超聲波傳感器、溫度傳感器及積水探測傳感器分別探測盲人前方障礙物、環境溫度、路面積水情況等信息，并通過語音播報預警信息反饋給盲人。Chuang T K等人研發了一款循跡機導盲器人，通過同時對車身左30°、正前方、右30°進行拍攝，可識別黃藍條帶軌跡和美國波士頓的“自由軌跡”。隨著人工智能技術和機器視覺技術的不斷進步，如何將先進的深度學習、圖像處理等技術應用于導盲領域，為視覺障礙者帶來第二雙“眼睛”，進一步擴大盲人的信息感知范圍，成為重要的研究內容。

雖然導盲工具研究取得了很多成果，為盲人出行提供了許多便利，但是現有方法仍然存在以下問題：1、一些裝置只能感知障礙物的存在，卻無法獲知障礙物類型，使得感知信息單一；2、現有的物品識別方法，尤其是基于深度學習的方法，需要大量的樣本進行復雜的訓練，才能達到較好的效果，所識別的物品一般需要在設計時預先設定，難以滿足不同用戶的個性化需求。

發明內容

針對傳統基于深度學習模型的物品檢測模型需要采集大量樣本才能完成訓練，為了使用戶能夠自己根據個性化需求定制待檢測物品，有必要降低檢測模型的訓練難度，并提高其在小樣本集條件下的訓練精度。為此本發明提供一種雙階段物品檢測方法，該方法考慮到傳統檢測方法采用單神經網絡模型一次獲得待檢測物品的位置和類別，訓練難度大，小樣本條件下容易過擬合的問題，將位置檢測和類別判別分成兩個模型分別訓練，前景檢測模型只訓練可能的物品位置信息，類別判別模型僅用于對可能物品進行分類，由于每個模型只完成檢測過程的部分任務，因此能夠有效降低模型訓練的難度，同時在模型訓練過程中采用遷移學習方式，兩個子模型的訓練都在成熟的千分類網絡模型參數基礎上進行，并盡可能保留千分類網絡的特征提取功能，保證了特征提取的有效性；此外，通過選用合適的類別判別網絡模型，減少未訓練物品的誤識別率，從而提高了檢測模型在小樣本集條件下訓練的成功率。具體內容如下：