[發(fā)明專利]基于米粒識別結(jié)果確定烹飪模式的方法、裝置和烹飪器具

在審

• 申請?zhí)枺?/td>: 201910033082.2
• 申請日: 2019-01-14
• 公開（公告）號: CN111435426A
• 公開（公告）日: 2020-07-21
• 發(fā)明（設(shè)計(jì)）人: 黃智剛;陳翀;周幸;肖文軒;譚齊寧
• 申請（專利權(quán)）人: 珠海格力電器股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;A47J36/00
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 趙囡囡;肖璐

1.一種基于米粒識別結(jié)果確定烹飪模式的方法，包括：

采集拍攝得到的米粒圖像，其中，所述米粒圖像為內(nèi)置在烹飪器具內(nèi)的拍攝裝置拍攝待烹飪的米粒得到的圖像；

使用深度神經(jīng)網(wǎng)絡(luò)模型Faster RCNN對米粒圖像進(jìn)行識別，得到識別結(jié)果，其中，所述識別結(jié)果包括：所述米粒的種類以及特征參數(shù)；

基于所述識別結(jié)果，查詢得到對應(yīng)的烹飪模式。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，使用深度神經(jīng)網(wǎng)絡(luò)模型Faster RCNN對米粒圖像進(jìn)行識別，得到識別結(jié)果，包括：

通過所述深度神經(jīng)網(wǎng)絡(luò)模型Faster RCNN將所述米粒圖像輸入至VGG16卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行卷積計(jì)算，得到所述米粒圖像的特征圖；

將所述米粒圖像的特征圖輸入至RPN網(wǎng)絡(luò)進(jìn)行篩選，得到篩選結(jié)果，其中，所述篩選結(jié)果包括：所述米粒圖像中存在米粒的概率值，以及每個(gè)米粒的外接矩形的參數(shù)；

將所述RPN網(wǎng)絡(luò)的篩選結(jié)果和所述米粒圖像的特征圖輸入至池化層，進(jìn)行分類處理；

將分類處理結(jié)果輸入至全連接層，其中，所述全連接層將所述分類處理結(jié)果進(jìn)行轉(zhuǎn)換，得到所述米粒圖像中每個(gè)米粒的圖像特征；

通過所述深度神經(jīng)網(wǎng)絡(luò)模型的softmax層分析所述每個(gè)米粒的圖像特征，得到所述米粒的種類和特征參數(shù)，其中，所述米粒種類包括如下至少之一：大米、秈米、粳米和糯米，所述特征參數(shù)包括如下至少之一：米粒大小、顏色和長寬比。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在使用深度神經(jīng)網(wǎng)絡(luò)模型Faster RCNN對米粒圖像進(jìn)行識別，得到識別結(jié)果之前，所述方法還包括：

獲取訓(xùn)練樣本集，其中，所述訓(xùn)練樣本集包括多種類型的米粒樣本圖像；

標(biāo)注所述訓(xùn)練樣本集中米粒樣本圖像的米粒信息，其中，所述米粒信息包括：輪廓信息、種類以及特征參數(shù)；

將標(biāo)注后的訓(xùn)練樣本集輸入至初始化的Faster RCNN神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到所述深度神經(jīng)網(wǎng)絡(luò)模型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，標(biāo)注所述訓(xùn)練樣本集中米粒樣本圖像的米粒信息，包括：

從所述米粒樣本圖像中提取米粒的輪廓圖；

根據(jù)所述米粒的輪廓圖計(jì)算得到最小外接矩形，并基于所述最小外接矩形確定所述米粒的長寬比；

獲取所述最小外接矩形中預(yù)定位置的坐標(biāo)值；

將所述米粒的長寬比、大小、顏色和坐標(biāo)值作為標(biāo)注信息標(biāo)注至所述米粒樣本圖像中。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，將標(biāo)注后的訓(xùn)練樣本集輸入至初始化的Faster RCNN神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到所述深度神經(jīng)網(wǎng)絡(luò)模型，包括：

使用所述標(biāo)注后的訓(xùn)練樣本集分別訓(xùn)練RPN網(wǎng)絡(luò)和Fast-RCNN網(wǎng)絡(luò)，其中，訓(xùn)練所述RPN網(wǎng)絡(luò)輸出米粒樣本圖像中米粒的矩形框，且所述矩形框作為檢測網(wǎng)絡(luò)的數(shù)據(jù)輸入至所述Fast-RCNN網(wǎng)絡(luò)；

再次訓(xùn)練所述RPN網(wǎng)絡(luò)，并使用Fast-RCNN網(wǎng)絡(luò)的訓(xùn)練結(jié)果微調(diào)所述RPN網(wǎng)絡(luò)，其中，微調(diào)過程中，所述RPN網(wǎng)絡(luò)中的公共參數(shù)固定不變，更新所述RPN網(wǎng)絡(luò)中的獨(dú)有參數(shù)；

再次訓(xùn)練所述Fast-RCNN網(wǎng)絡(luò)，并使用再次訓(xùn)練所述RPN網(wǎng)絡(luò)的訓(xùn)練結(jié)果微調(diào)所述Fast-RCNN網(wǎng)絡(luò)，其中，微調(diào)過程中，所述Fast-RCNN網(wǎng)絡(luò)中的公共參數(shù)固定不變，更新所述Fast-RCNN網(wǎng)絡(luò)中的獨(dú)有參數(shù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，使用預(yù)訓(xùn)練模型向所述RPN網(wǎng)絡(luò)和Fast-RCNN網(wǎng)絡(luò)加載網(wǎng)絡(luò)參數(shù)，其中，所述網(wǎng)絡(luò)參數(shù)包括：固定參數(shù)和獨(dú)有參數(shù)。

7.根據(jù)權(quán)利要求1至6中任意一項(xiàng)所述的方法，其特征在于，基于所述識別結(jié)果，查詢得到對應(yīng)的烹飪模式，包括：

基于所述識別結(jié)果，從烹飪曲線中匹配得到對應(yīng)的烹飪模式，其中，依據(jù)不同種類的米粒的至少一個(gè)米粒信息和對應(yīng)的烹飪模式，獲取所述烹飪曲線；

控制烹飪器具按照匹配得到的煲飯模式進(jìn)行工作。