[發(fā)明專利]基于深度學(xué)習(xí)的多傳感器智能冰箱控制方法和智能冰箱

在審

• 申請?zhí)枺?/td>: 201710283190.6
• 申請日: 2017-04-26
• 公開（公告）號: CN107024073A
• 公開（公告）日: 2017-08-08
• 發(fā)明（設(shè)計(jì)）人: 張衛(wèi)山;孫浩云;趙德海;徐亮;盧清華;李忠偉;宮文娟
• 申請（專利權(quán)）人: 中國石油大學(xué)（華東）
• 主分類號: F25D29/00
• 分類號: F25D29/00;G06K9/00;G06K9/66
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司37221
• 代理人: 黃海麗

1.一種基于深度學(xué)習(xí)的多傳感器智能冰箱控制方法，所述冰箱具有冰箱本體和多個門，冰箱本體和每個門均形成冰箱儲藏室，其特征在于，包括：

獲取向冰箱儲藏室內(nèi)放置食材前的第一圖像與放置食材后的第二圖像，基于所述第一圖像和第二圖像采用視覺檢測方法獲取待測食材圖像，采用預(yù)訓(xùn)練好的第一卷積神經(jīng)網(wǎng)絡(luò)模型對上述待測食材圖像進(jìn)行識別，得到冰箱儲藏室內(nèi)的待測食材種類；

獲取向冰箱儲藏室內(nèi)放置食材前儲藏室的第一壓力與放置食材后儲藏室的第二壓力，基于所述第一壓力和第二壓力，得到待測食材重量；

獲取語音開門或閉門指令，采用預(yù)訓(xùn)練好的第二卷積神經(jīng)網(wǎng)絡(luò)模型對上述待語音開門或閉門指令進(jìn)行識別，用于控制冰箱門開啟與關(guān)閉。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于：所述第一卷積神經(jīng)網(wǎng)絡(luò)模型與第二卷積神經(jīng)網(wǎng)絡(luò)模型采用三層結(jié)構(gòu)，分別為輸入層、隱含層和輸出層。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于：當(dāng)向冰箱儲藏室內(nèi)放置食材后，關(guān)聯(lián)所述待測食材種類和待測食材重量，同時顯示所述信息，存儲歷史食材種類和相應(yīng)的重量。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于：所述第一圖像或第二圖像包括靜態(tài)圖像與視頻流圖像，當(dāng)為視頻流圖像時，對其進(jìn)行解碼得到一系列靜態(tài)圖像，取一系列靜態(tài)圖像的中間圖像作為待測圖像。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于：對所述第一圖像和第二圖像進(jìn)行預(yù)處理，提取圖像的ROI區(qū)域。

6.一種基于權(quán)利要求1的多傳感器智能冰箱，其特征在于，包括處理器和與處理器相連的：

多個攝像裝置，用于獲取冰箱儲藏室內(nèi)部各個區(qū)域的圖像；

壓力傳感器，用于獲取冰箱儲藏室內(nèi)部來自全部食材的壓力；

語音采集器，用于獲取語音開門或閉門指令；

驅(qū)動機(jī)構(gòu)，用于驅(qū)動冰箱門開啟與關(guān)閉；

所述處理器具有無線通信模塊，處理器將所述多個攝像裝置、壓力傳感器和語音采集器獲取的數(shù)據(jù)發(fā)送至云計(jì)算平臺，所述云計(jì)算平臺內(nèi)置有視覺檢測算法、重量算法、第一卷積神經(jīng)網(wǎng)絡(luò)模型和第二卷積神經(jīng)網(wǎng)絡(luò)模型，云計(jì)算平臺采用視覺檢測算法獲取待測食材圖像，采用第一卷積神經(jīng)網(wǎng)絡(luò)模型對所述待測食材圖像進(jìn)行識別，得到冰箱儲藏室內(nèi)的待測食材種類；基于所述第一壓力和第二壓力，得到待測食材重量；采用第二卷積神經(jīng)網(wǎng)絡(luò)模型識別語音開門或閉門指令；將所述待測食材種類的識別結(jié)果、待測食材重量的計(jì)算結(jié)果和語音識別結(jié)果返回至處理器，處理器通過驅(qū)動機(jī)構(gòu)控制冰箱門開啟與關(guān)閉。

7.根據(jù)權(quán)利要求6所述的多傳感器智能冰箱，其特征在于：在所述冰箱門外側(cè)還具有觸敏顯示器，用于顯示歷史食材種類和相應(yīng)的重量，并可選擇得刪除記錄的食材種類及相應(yīng)的重量。

8.根據(jù)權(quán)利要求6所述的多傳感器智能冰箱，其特征在于：在所述攝像裝置的取景窗前涂有防霧層，用于在冰箱運(yùn)行溫度下獲取清晰的待測食材圖像。

9.根據(jù)權(quán)利要求6所述的多傳感器智能冰箱，其特征在于：所述驅(qū)動機(jī)構(gòu)包括在冰箱門與冰箱本體之間設(shè)置的控制器和電機(jī)驅(qū)動模塊，控制器分別與電機(jī)驅(qū)動模塊和處理器相連，包括有電機(jī)和電機(jī)驅(qū)動芯片，電機(jī)的轉(zhuǎn)軸與冰箱門的旋轉(zhuǎn)軸連接。

10.根據(jù)權(quán)利要求6所述的多傳感器智能冰箱，其特征在于：對所述云計(jì)算平臺內(nèi)置的視覺檢測算法、重量算法、第一卷積神經(jīng)網(wǎng)絡(luò)模型和第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行修改或更換，用以適應(yīng)不同的待測食材與語音。