[發明專利]基于圖像識別模型的圖像識別方法和裝置

有效

• 申請號: 201711396751.X
• 申請日: 2017-12-21
• 公開（公告）號: CN108038509B
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 季濤;戴江;唐紅強
• 申請（專利權）人: 合肥美的智能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種基于圖像識別模型的圖像識別方法，其特征在于，包括以下步驟：

根據冰箱的不同運行環境和食材擺放策略的組合，對冰箱內的食材進行成像，得到多張食材圖像；其中，所述運行環境包括適宜溫濕度條件下的運行環境和非適宜溫濕度條件下的運行環境，在所述非適宜溫濕度條件下的運行環境下，每次成像之前冰箱門開啟并關閉至少一次；

通過對調整冰箱的運行環境進行調整以符合適宜溫濕度條件或非適宜溫濕度條件，其中，當冰箱的運行環境調整為符合適宜溫濕度條件時，將冰箱靜置預設的第一時間，以及在冰箱的運行環境調整為符合非適宜溫濕度條件，將冰箱靜置預設的第一時間后，將冰箱門打開至最大角度，并控制冰箱門開啟預設的第二時間之后再關閉冰箱門；每次對冰箱內的食材進行成像后，在冰箱的冷藏室恢復到初始設定值后，再對冰箱內的食材進行下一次成像；

根據每一張食材圖像中成像的食材，對所述食材圖像進行標注；

根據多張經過標注的食材圖像生成訓練樣本；

采用所述訓練樣本，對圖像識別模型進行訓練；

采用經過訓練的圖像識別模型進行圖像識別。

2.根據權利要求1所述的圖像識別方法，其特征在于，所述根據冰箱的不同運行環境和食材擺放策略的組合，對冰箱內的食材進行成像，得到多張食材圖像，包括：

調整冰箱的運行環境符合適宜溫濕度條件；

在所述適宜溫濕度條件下，對所述冰箱內根據各食材擺放策略放置的單一食材和/或至少兩種食材進行成像；

調整所述冰箱的運行環境符合非適宜溫濕度條件；

在所述非適宜溫濕度條件下，對所述冰箱內根據各食材擺放策略放置的至少兩種食材進行成像。

3.根據權利要求2所述的圖像識別方法，其特征在于，

適宜溫濕度條件包括：溫度取值范圍為25℃±0.5℃，濕度取值范圍為45％RH±5％；

非適宜溫濕度條件包括：溫度取值范圍為38℃±0.5℃，濕度取值范圍為85％RH±5％。

4.根據權利要求1所述的圖像識別方法，其特征在于，所述食材擺放策略，包括：

對每一種食材，在所述冰箱的每一個擺放位置上以不同姿態進行擺放；

其中，所述擺放位置包括所述冰箱每一層擱架的四角和中央；

所述姿態包括各食材的目標姿態，以及在預設坐標系內，沿所述坐標系各軸以預設角度調整所述目標姿態得到的候選姿態。

5.根據權利要求4所述的圖像識別方法，其特征在于，所述預設角度包括0度、90度、180度和270度中的一個或多個組合。

6.根據權利要求4所述的圖像識別方法，其特征在于，若同時對至少兩種食材成像，所述食材擺放策略，還包括：

對同時成像的至少兩種食材，以不同遮擋面積占比和/或遮擋的相對位置關系進行擺放；

其中，所述遮擋面積占比取值范圍包括1/2至2/3；

所述遮擋的相對位置關系包括遮擋食材位于被遮擋食材左側，以及遮擋食材位于被遮擋食材右側。

7.根據權利要求1-6任一項所述的圖像識別方法，其特征在于，所述采用所述訓練樣本，對圖像識別模型進行訓練之后，還包括：

根據多張未經過標注的食材圖像生成測試樣本；

采用經過訓練的圖像識別模型對所述測試樣本進行識別；

根據識別出的食材與對應食材圖像成像的食材，確定準確率；

其中，所述準確率包括擺放單一食材情況下的單品識別準確率、單品識別錯誤率和單品漏識率，以及擺放至少兩種食材情況下的平均識別準確率、平均識別錯誤率和平均漏識率。