[發(fā)明專利]果蔬自動(dòng)驗(yàn)貨方法、系統(tǒng)、電子設(shè)備以及計(jì)算機(jī)可讀介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011008779.3
• 申請(qǐng)日: 2020-09-23
• 公開（公告）號(hào): CN112966541A
• 公開（公告）日: 2021-06-15
• 發(fā)明（設(shè)計(jì)）人: 王勃;宋柏林;王云吉;晉京;王鋒鋒;孔祥鑫;孫建成;戈明亮;李藝夢(mèng)
• 申請(qǐng)（專利權(quán)）人: 北京豆牛網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08;G06Q30/06
• 代理公司: 北京奉思知識(shí)產(chǎn)權(quán)代理有限公司 11464
• 代理人: 鄒軼鮫;石紅艷

1.一種果蔬自動(dòng)驗(yàn)貨方法，其特征在于，包括：

果蔬視頻獲取步驟，獲取包括待驗(yàn)貨的果蔬的視頻；

視頻處理步驟，將所述視頻處理為多個(gè)圖片；

初級(jí)識(shí)別步驟，使用初級(jí)識(shí)別神經(jīng)網(wǎng)絡(luò)選擇出所述多個(gè)圖片之中的包含果蔬的圖片；

特征提取步驟，對(duì)于選擇的所述包含果蔬的圖片，使用特征提取神經(jīng)網(wǎng)絡(luò)提取所述果蔬的圖像的特征圖；以及

質(zhì)量檢測(cè)步驟，利用質(zhì)量檢測(cè)神經(jīng)網(wǎng)絡(luò)基于所述特征圖對(duì)所述果蔬的多個(gè)屬性進(jìn)行檢測(cè)，并輸出檢測(cè)結(jié)果，

其中，收集包含多種果蔬品類的圖像信息以生成訓(xùn)練數(shù)據(jù)集，基于所述訓(xùn)練數(shù)據(jù)集訓(xùn)練多個(gè)神經(jīng)網(wǎng)絡(luò)以分別獲得所述初級(jí)識(shí)別神經(jīng)網(wǎng)絡(luò)、所述特征提取神經(jīng)網(wǎng)絡(luò)和所述質(zhì)量檢測(cè)神經(jīng)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述方法，其特征在于，基于訓(xùn)練數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)包括：

訓(xùn)練數(shù)據(jù)集生成步驟，生成所述訓(xùn)練數(shù)據(jù)集；

初級(jí)識(shí)別神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟，使用所述訓(xùn)練數(shù)據(jù)集訓(xùn)練所述初級(jí)識(shí)別神經(jīng)網(wǎng)絡(luò)，使得對(duì)于任意多個(gè)實(shí)例圖片，所述初級(jí)識(shí)別神經(jīng)網(wǎng)絡(luò)能夠識(shí)別所述多個(gè)實(shí)例圖片中是否包含果蔬，果蔬在圖片中的位置、果蔬的具體類別以及果蔬的包裝情況，并選擇出所述包含果蔬的圖片；

特征提取神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟，訓(xùn)練所述特征提取神經(jīng)網(wǎng)絡(luò)，使得對(duì)于所述初級(jí)識(shí)別神經(jīng)網(wǎng)絡(luò)輸出的所述包含果蔬的圖片，所述特征提取神經(jīng)網(wǎng)絡(luò)能夠提取所述果蔬圖像的特征圖；以及

質(zhì)量檢測(cè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟，訓(xùn)練所述質(zhì)量檢測(cè)神經(jīng)網(wǎng)絡(luò)，使得所述質(zhì)量檢測(cè)神經(jīng)網(wǎng)絡(luò)能夠基于所述特征圖對(duì)所述果蔬的所述多個(gè)屬性進(jìn)行檢測(cè)。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，其中，

所述質(zhì)量檢測(cè)神經(jīng)網(wǎng)絡(luò)包括包裝識(shí)別神經(jīng)網(wǎng)絡(luò)、果徑識(shí)別神經(jīng)網(wǎng)絡(luò)、外觀識(shí)別神經(jīng)網(wǎng)絡(luò)、剝切圖識(shí)別神經(jīng)網(wǎng)絡(luò)和瑕疵品識(shí)別神經(jīng)網(wǎng)絡(luò)，以對(duì)所述果蔬的包括包裝、果徑、外觀、剝切圖和瑕疵品的多個(gè)屬性進(jìn)行識(shí)別。

4.根據(jù)權(quán)利要求2所述方法，其特征在于，生成所述訓(xùn)練數(shù)據(jù)集具體包括：

收集分別包括多個(gè)品類的果蔬的多個(gè)視頻；

將每個(gè)所述視頻分別處理成多個(gè)樣本圖片；

擴(kuò)展所述多個(gè)樣本圖片的數(shù)量；

針對(duì)每個(gè)樣本圖片進(jìn)行人工標(biāo)注，以生成數(shù)據(jù)集；以及

隨機(jī)抽取預(yù)定數(shù)量的數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，生成所述訓(xùn)練數(shù)據(jù)集還包括：

所述人工標(biāo)注為標(biāo)注每個(gè)所述樣本圖片中的果蔬的位置、大小、品相或是否有瑕疵的信息。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，其中，

擴(kuò)展所述多個(gè)樣本圖片的數(shù)量的方法包括對(duì)所述樣本圖片進(jìn)行旋轉(zhuǎn)、縮放和剪裁的操作。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，其中，

所述初級(jí)識(shí)別神經(jīng)網(wǎng)絡(luò)部署在移動(dòng)終端上；

所述質(zhì)量檢測(cè)神經(jīng)網(wǎng)絡(luò)部署在服務(wù)端上，并且

其中，所述方法還包括圖片輸送步驟，將所述包含果蔬的圖片從所述移動(dòng)終端輸送至所述服務(wù)端。

8.根據(jù)權(quán)利要求7所述方法，其特征在于，其中，

所述移動(dòng)終端為手機(jī)、平板電腦或其它便攜驗(yàn)貨設(shè)備。

9.一種果蔬自動(dòng)驗(yàn)貨系統(tǒng)，其特征在于，包括：

果蔬視頻獲取模塊，獲取包括待驗(yàn)貨的果蔬的視頻；

視頻處理模塊，將所述視頻處理為多個(gè)圖片；

初級(jí)識(shí)別模塊，使用初級(jí)識(shí)別神經(jīng)網(wǎng)絡(luò)選擇出所述多個(gè)圖片之中的包含果蔬的圖片；

特征提取模塊，對(duì)于選擇的所述包含果蔬的圖片，使用特征提取神經(jīng)網(wǎng)絡(luò)提取所述果蔬的圖像的特征圖；以及

質(zhì)量檢測(cè)模塊，利用質(zhì)量檢測(cè)神經(jīng)網(wǎng)絡(luò)基于所述特征圖對(duì)所述果蔬的多個(gè)屬性進(jìn)行檢測(cè)，并輸出檢測(cè)結(jié)果，

其中，收集包含多種果蔬品類的圖像信息以生成訓(xùn)練數(shù)據(jù)集，基于所述訓(xùn)練數(shù)據(jù)集訓(xùn)練多個(gè)神經(jīng)網(wǎng)絡(luò)以分別獲得所述初級(jí)識(shí)別神經(jīng)網(wǎng)絡(luò)、所述特征提取神經(jīng)網(wǎng)絡(luò)和所述質(zhì)量檢測(cè)神經(jīng)網(wǎng)絡(luò)。