[發明專利]基于深度學習的多傳感器智能冰箱控制方法和智能冰箱

在審

• 申請號: 201710283190.6
• 申請日: 2017-04-26
• 公開（公告）號: CN107024073A
• 公開（公告）日: 2017-08-08
• 發明（設計）人: 張衛山;孫浩云;趙德海;徐亮;盧清華;李忠偉;宮文娟
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: F25D29/00
• 分類號: F25D29/00;G06K9/00;G06K9/66
• 代理公司: 濟南圣達知識產權代理有限公司37221
• 代理人: 黃海麗

技術領域

本發明屬于智能冰箱領域，具體涉及一種基于深度學習的多傳感器智能冰箱控制方法和智能冰箱。

背景技術

隨著智能時代和互聯網時代的到來，人民的生活水平不斷提高，生活節奏也不斷加快，智能冰箱作為智能家電的代表，已經成為各大企業爭相開發的突破性產品，物品自動識別技術無疑是一項非常重要的關鍵技術，只有獲取物品種類，才談得上其他服務功能，深度學習的出現使高效率、高準確率的物品識別成為了可能。

目前智能冰箱的功能主要包括食品管理功能、物聯云服務功能和各種冰箱控制系統，其中食品管理功能包括針對冰箱內食物信息的查詢功能，但是針對這一功能目前市場上普遍采用RFID射頻標簽以及圖像識別來進行查詢，這兩種方法的識別率都不高，原因在于食品種類繁多，沒有相對規則的形態，受限于技術本身，目前的方案無法具有相對高的食品識別率。

深度學習是目前機器學習發展的最高度，人工神經網絡作為深度學習中的一種方法，在物體識別、圖像處理、音頻識別等領域有著較高的效果。對目標識別和語音識別，人工神經網絡有著可以自動學習目標特征和寓意特征的優勢，減少人工干預，提取出高質量的特征，從而為提高目標識別和語音識別的準確率打下了堅實的基礎。

云計算是一種新的計算模式，它運用先進的存儲架構和分布式計算為用戶提供成本低廉、方便快速的體驗。云計算技術的出現使得海量的視頻數據處理、挖掘成為可能。

發明內容

針對現有技術中存在的不足，本發明提出了一種基于深度學習的多傳感器智能冰箱控制方法，結合圖像處理、深度學習、云計算實現了冰箱內部食材的種類識別、重量計算和語音識別。

本發明采用下面的技術方案：

一種基于深度學習的多傳感器智能冰箱控制方法，所述冰箱具有冰箱本體和多個門，冰箱本體和每個門均形成冰箱儲藏室，該方法包括：

獲取向冰箱儲藏室內放置食材前的第一圖像與放置食材后的第二圖像，基于所述第一圖像和第二圖像采用視覺檢測方法獲取待測食材圖像，采用預訓練好的第一卷積神經網絡模型對上述待測食材圖像進行識別，得到冰箱儲藏室內的待測食材種類；

獲取向冰箱儲藏室內放置食材前儲藏室的第一壓力與放置食材后儲藏室的第二壓力，基于所述第一壓力和第二壓力，得到待測食材重量；

獲取語音開門或閉門指令，采用預訓練好的第二卷積神經網絡模型對上述待語音開門或閉門指令進行識別，用于控制冰箱門開啟與關閉。

進一步的，所述第一卷積神經網絡模型與第二卷積神經網絡模型采用三層結構，分別為輸入層、隱含層和輸出層。

進一步的，當向冰箱儲藏室內放置食材后，關聯所述待測食材種類和待測食材重量，同時顯示所述信息，存儲歷史食材種類和相應的重量。

進一步的，所述第一圖像或第二圖像包括靜態圖像與視頻流圖像，當為視頻流圖像時，對其進行解碼得到一系列靜態圖像，取一系列靜態圖像的中間圖像作為待測圖像。

進一步的，對所述第一圖像和第二圖像進行預處理，提取圖像的ROI區域。

本發明還提出了一種基于深度學習的多傳感器智能冰箱，包括處理器和與處理器相連的：

多個攝像裝置，用于獲取冰箱儲藏室內部各個區域的圖像；

壓力傳感器，用于獲取冰箱儲藏室內部來自全部食材的壓力；

語音采集器，用于獲取語音開門或閉門指令；

驅動機構，用于驅動冰箱門開啟與關閉；

所述處理器具有無線通信模塊，處理器將所述多個攝像裝置、壓力傳感器和語音采集器獲取的數據發送至云計算平臺，所述云計算平臺內置有視覺檢測算法、重量算法、第一卷積神經網絡模型和第二卷積神經網絡模型，云計算平臺采用視覺檢測算法獲取待測食材圖像，采用第一卷積神經網絡模型對所述待測食材圖像進行識別，得到冰箱儲藏室內的待測食材種類；基于所述第一壓力和第二壓力，得到待測食材重量；采用第二卷積神經網絡模型識別語音開門或閉門指令；將所述待測食材種類的識別結果、待測食材重量的計算結果和語音識別結果返回至處理器，處理器通過驅動機構控制冰箱門開啟與關閉。

進一步的，在所述冰箱門外側還具有觸敏顯示器，用于顯示歷史食材種類和相應的重量，并可選擇得刪除記錄的食材種類及相應的重量。

進一步的，在所述攝像裝置的取景窗前涂有防霧層，用于在冰箱運行溫度下獲取清晰的待測食材圖像。