[發(fā)明專利]冰箱瓶座內(nèi)物品信息識(shí)別方法、冰箱和計(jì)算機(jī)存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210345593.X
• 申請(qǐng)日: 2022-03-31
• 公開（公告）號(hào): CN114708503A
• 公開（公告）日: 2022-07-05
• 發(fā)明（設(shè)計(jì)）人: 高洪波;孔令磊
• 申請(qǐng)（專利權(quán)）人: 青島海爾電冰箱有限公司;海爾智家股份有限公司
• 主分類號(hào): G06V20/10
• 分類號(hào): G06V20/10;G06V20/62;G06T7/80;G06N3/04;G06N3/08;G06V10/26;G06V10/82
• 代理公司: 蘇州威世朋知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32235
• 代理人: 沈曉敏

1.一種冰箱瓶座內(nèi)物品信息識(shí)別方法，其特征在于，包括步驟：

獲取同一水平線上多個(gè)拍照位拍攝的冰箱瓶座內(nèi)空間的鳥瞰圖像；

根據(jù)拍照位及對(duì)應(yīng)于拍照位的預(yù)存瓶座像素信息，在對(duì)應(yīng)的鳥瞰圖像中劃分出多個(gè)物品放置區(qū)域；

識(shí)別每張鳥瞰圖像中每個(gè)物品放置區(qū)域內(nèi)的物品信息；

將多個(gè)拍照位拍攝的鳥瞰圖像中同一物品放置區(qū)域的識(shí)別結(jié)果相互驗(yàn)證；

根據(jù)驗(yàn)證結(jié)果，輸出所述冰箱瓶座內(nèi)放置的物品信息。

2.根據(jù)權(quán)利要求1所述的冰箱瓶座內(nèi)物品信息識(shí)別方法，其特征在于，“獲取同一水平線上多個(gè)拍照位拍攝的冰箱瓶座內(nèi)空間的鳥瞰圖像”具體包括：

獲取遠(yuǎn)程控制指令，控制可移動(dòng)攝像頭在同一水平線上多個(gè)拍照位拍攝冰箱瓶座內(nèi)空間的鳥瞰圖像；

所述攝像頭安裝于所述冰箱頂部的滑軌上，可從所述滑軌一端移動(dòng)至另一端，自上而下拍攝所述冰箱瓶座內(nèi)空間。

3.根據(jù)權(quán)利要求2所述的冰箱瓶座內(nèi)物品信息識(shí)別方法，其特征在于，“控制可移動(dòng)攝像頭在同一水平線上多個(gè)拍照位拍攝的冰箱瓶座內(nèi)空間的鳥瞰圖像”具體包括：

所述遠(yuǎn)程控制指令具體為冰箱門閉合信號(hào)；

控制所述攝像頭在所述滑軌一端拍攝第一鳥瞰圖像；

控制所述攝像頭移動(dòng)至所述滑軌中間位置處拍攝第二鳥瞰圖像；

控制所述攝像頭移動(dòng)至所述滑軌另一端拍攝第三鳥瞰圖像。

4.根據(jù)權(quán)利要求3所述的冰箱瓶座內(nèi)物品信息識(shí)別方法，其特征在于，“根據(jù)拍照位及對(duì)應(yīng)于拍照位的預(yù)存瓶座像素信息，在對(duì)應(yīng)的鳥瞰圖像中劃分出多個(gè)物品放置區(qū)域”具體包括：

利用邊緣檢測(cè)算法，識(shí)別出所述鳥瞰圖像中冰箱瓶座底部區(qū)域；

根據(jù)對(duì)應(yīng)于拍照位的預(yù)存瓶座像素信息，定位劃分所述冰箱瓶座底部區(qū)域?yàn)槎鄠€(gè)放置區(qū)域。

5.根據(jù)權(quán)利要求4所述的冰箱瓶座內(nèi)物品信息識(shí)別方法，其特征在于，“根據(jù)對(duì)應(yīng)于拍照位的預(yù)存瓶座像素信息，定位劃分所述冰箱瓶座底部區(qū)域?yàn)槎鄠€(gè)放置區(qū)域”具體包括：

根據(jù)在所述第一鳥瞰圖像中預(yù)存的冰箱瓶座像素信息，定位劃分出第一物品放置區(qū)域和第二物品放置區(qū)域；

根據(jù)在所述第二鳥瞰圖像中預(yù)存的冰箱瓶座像素信息，定位劃分出第一物品放置區(qū)域、第二物品放置區(qū)域和第三物品放置區(qū)域；

根據(jù)在所述第三鳥瞰圖像中預(yù)存的冰箱瓶座像素信息，定位劃分出第二物品放置區(qū)域和第三物品放置區(qū)域；

所述第一物品放置區(qū)域、第二物品放置區(qū)域和第三物品放置區(qū)域構(gòu)成整個(gè)所述冰箱瓶座底部區(qū)域。

6.根據(jù)權(quán)利要求5所述的冰箱瓶座內(nèi)物品信息識(shí)別方法，其特征在于，“識(shí)別每張鳥瞰圖像中每個(gè)物品放置區(qū)域內(nèi)的物品信息”具體包括：

采用Yolo V3目標(biāo)檢測(cè)算法，標(biāo)定出所述鳥瞰圖像中每個(gè)物品所對(duì)應(yīng)的檢測(cè)框；

識(shí)別每張鳥瞰圖像中每個(gè)物品放置區(qū)域內(nèi)的物品數(shù)量信息。

7.根據(jù)權(quán)利要求5所述的冰箱瓶座內(nèi)物品信息識(shí)別方法，其特征在于，“識(shí)別每張鳥瞰圖像中每個(gè)物品放置區(qū)域內(nèi)的物品信息”具體包括：

采用OCR算法，識(shí)別每張鳥瞰圖像中每個(gè)物品放置區(qū)域內(nèi)物品的頂面文字信息。

8.根據(jù)權(quán)利要求6或7所述的冰箱瓶座內(nèi)物品信息識(shí)別方法，其特征在于，“將多個(gè)拍照位拍攝的鳥瞰圖像中同一物品放置區(qū)域的識(shí)別結(jié)果相互驗(yàn)證”具體包括步驟：

將第一鳥瞰圖像和第二鳥瞰圖像中第一物品放置區(qū)域的識(shí)別結(jié)果相互驗(yàn)證，若識(shí)別結(jié)果相同，則判斷該識(shí)別結(jié)果為最終輸出信息；若識(shí)別結(jié)果不相同，則以第一鳥瞰圖像中第一物品放置區(qū)域的識(shí)別結(jié)果作為最終輸出信息；

將第一鳥瞰圖像、第二鳥瞰圖像和第三鳥瞰圖像中第二物品放置區(qū)域的識(shí)別結(jié)果相互驗(yàn)證，若識(shí)別結(jié)果相同，則判斷該識(shí)別結(jié)果為最終輸出信息；若識(shí)別結(jié)果不相同，則以第二鳥瞰圖像中第二物品放置區(qū)域的識(shí)別結(jié)果作為最終輸出信息；

將第二鳥瞰圖像和第三鳥瞰圖像中第三物品放置區(qū)域的識(shí)別結(jié)果相互驗(yàn)證，若識(shí)別結(jié)果相同，則判斷該識(shí)別結(jié)果為最終輸出信息；若識(shí)別結(jié)果不相同，則以第三鳥瞰圖像中第三物品放置區(qū)域的識(shí)別結(jié)果作為最終輸出信息。