[發(fā)明專利]果蔬自動驗貨方法、系統(tǒng)、電子設(shè)備以及計算機可讀介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011008779.3
• 申請日: 2020-09-23
• 公開（公告）號: CN112966541A
• 公開（公告）日: 2021-06-15
• 發(fā)明（設(shè)計）人: 王勃;宋柏林;王云吉;晉京;王鋒鋒;孔祥鑫;孫建成;戈明亮;李藝夢
• 申請（專利權(quán)）人: 北京豆牛網(wǎng)絡(luò)科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G06Q30/06
• 代理公司: 北京奉思知識產(chǎn)權(quán)代理有限公司 11464
• 代理人: 鄒軼鮫;石紅艷

一種果蔬自動驗貨方法，包括：果蔬視頻獲取步驟，獲取包括待驗貨的果蔬的視頻；視頻處理步驟，將視頻處理為多個圖片；初級識別步驟，使用初級識別神經(jīng)網(wǎng)絡(luò)選擇出多個圖片之中的包含果蔬的圖片；特征提取步驟，對于選擇的包含果蔬的圖片，使用特征提取神經(jīng)網(wǎng)絡(luò)提取果蔬的圖像的特征圖；以及質(zhì)量檢測步驟，利用質(zhì)量檢測神經(jīng)網(wǎng)絡(luò)基于特征圖對果蔬的多個屬性進行檢測。收集包含多種果蔬品類的圖像信息以生成訓(xùn)練數(shù)據(jù)集，基于訓(xùn)練數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)以分別獲得初級識別神經(jīng)網(wǎng)絡(luò)、特征提取神經(jīng)網(wǎng)絡(luò)和質(zhì)量檢測神經(jīng)網(wǎng)絡(luò)。本發(fā)明的上述果蔬自動驗貨方法，能夠通過使用手機拍攝視頻而對農(nóng)產(chǎn)品進行智能驗貨，節(jié)省了驗貨成本，提高了自動驗貨的適用范圍。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺識別領(lǐng)域，尤其涉及一種基于機器視覺識別果蔬自動驗貨的方法、系統(tǒng)、電子設(shè)備以及計算機可讀介質(zhì)。

背景技術(shù)

雖然產(chǎn)量巨大，但是農(nóng)產(chǎn)品在電子商務(wù)領(lǐng)域占比較低，這是因為網(wǎng)上交易的非直接性、非面對面性導(dǎo)致交易過程中信息不對稱，貨品質(zhì)量與銷售價格匹配程度不高，限制了農(nóng)產(chǎn)品在電子商務(wù)領(lǐng)域的發(fā)展。

目前在農(nóng)產(chǎn)品交易過程中，主要依賴人工驗貨來確定農(nóng)產(chǎn)品的質(zhì)量等，驗貨的結(jié)果存在主觀性，浪費人力且驗貨結(jié)果不可靠。隨著人工智能的發(fā)展，出現(xiàn)了一些自動驗貨或者分揀的方法，但其具有驗貨設(shè)備結(jié)構(gòu)復(fù)雜、造價高等缺點，不適合在農(nóng)產(chǎn)品交易過程中大規(guī)模使用。

例如在一種已知的蘋果分級方法中，需要將蘋果放到果盤上，將果盤放到傳輸帶上，然后傳輸帶開始輸送蘋果，到達暗箱，再利用LED燈和相機拍攝蘋果的清晰圖像，之后圖像傳輸?shù)接嬎銠C，使用分類模型分析蘋果的等級。

此外，在另一種已知的蔬菜識別方法中，在裝有安卓系統(tǒng)的電子秤上部署訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，通過攝像頭采集電子秤上所稱蔬菜的圖片，自動識別所稱蔬菜的品類并獲取對應(yīng)品類的單價，從而計算稱重蔬菜的總價。

發(fā)明內(nèi)容

技術(shù)問題

然而，在上述蘋果分級方法中使用了9種硬件設(shè)施，造價成本高，實際部署困難，無法在農(nóng)產(chǎn)品交易過程中使用。此外，通過拍攝圖像對水果進行分級，拍攝的圖像基于一個暗箱的封閉環(huán)境，而在實際驗貨的時候環(huán)境更復(fù)雜，使得該方法無法實施。而且該方法分級的依據(jù)是顏色、果形、果徑和表面缺陷，在實際農(nóng)產(chǎn)品交易過程中還涉及果蔬包裝、果蔬內(nèi)部情況(切面圖)、果皮厚度、蟲眼等等，而該方法并不涉及上述指標(biāo)。

另外，上述另一種蔬菜識別方法只考慮了蔬菜的品類，但是實際相同品類的不同規(guī)格價格差異是比較大的，該方法無法做到對不同規(guī)格的識別。此外該方法是將模型部署在裝有安卓系統(tǒng)電子秤上運行，目前移動設(shè)備的計算能力有限，該方法在識別速度和識別準(zhǔn)確率上都有待提升。

針對以上問題，本發(fā)明提供了一種基于手機拍攝視頻的果蔬自動驗貨方法及系統(tǒng)，可在批發(fā)市場、產(chǎn)地等嘈雜環(huán)境下使用手機對交易的農(nóng)產(chǎn)品進行驗貨，具有使用便捷、驗貨結(jié)果可靠的優(yōu)點。

解決問題的方案

根據(jù)本發(fā)明的一個方面，提供一種果蔬自動驗貨方法，包括：

果蔬視頻獲取步驟，獲取包括待驗貨的果蔬的視頻；

視頻處理步驟，將所述視頻處理為多個圖片；

初級識別步驟，使用初級識別神經(jīng)網(wǎng)絡(luò)選擇出所述多個圖片之中的包含果蔬的圖片；

特征提取步驟，對于選擇的所述包含果蔬的圖片，使用特征提取神經(jīng)網(wǎng)絡(luò)提取所述果蔬的圖像的特征圖；以及

質(zhì)量檢測步驟，利用質(zhì)量檢測神經(jīng)網(wǎng)絡(luò)基于所述特征圖對所述果蔬的多個屬性進行檢測，并輸出檢測結(jié)果，

其中，收集包含多種果蔬品類的圖像信息以生成訓(xùn)練數(shù)據(jù)集，基于所述訓(xùn)練數(shù)據(jù)集訓(xùn)練多個神經(jīng)網(wǎng)絡(luò)以分別獲得所述初級識別神經(jīng)網(wǎng)絡(luò)、所述特征提取神經(jīng)網(wǎng)絡(luò)和所述質(zhì)量檢測神經(jīng)網(wǎng)絡(luò)。