[發(fā)明專利]基于RGB-D相機(jī)的飲水機(jī)智能控制裝置及其控制方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810306420.0
• 申請(qǐng)日: 2018-04-08
• 公開(kāi)（公告）號(hào): CN108742159B
• 公開(kāi)（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 徐育
• 申請(qǐng)（專利權(quán)）人: 徐育
• 主分類號(hào): A47J31/46
• 分類號(hào): A47J31/46;G06K9/00;G06K9/46
• 代理公司: 浙江杭州金通專利事務(wù)所有限公司 33100
• 代理人: 許可唯;徐關(guān)壽

1.基于RGB-D相機(jī)的飲水機(jī)智能控制裝置，其特征在于：所述基于RGB-D相機(jī)的飲水機(jī)出水智能控制裝置（1）包括：RGB-D相機(jī)（2）、控制及信息儲(chǔ)存/處理單元（3）和電源（4）；電源（4）的輸出端連接控制及信息儲(chǔ)存/處理單元（3）的電源輸入端，用于直接或間接為控制及信息儲(chǔ)存/處理單元（3）和RGB-D相機(jī)（2）提供工作電源；控制及信息儲(chǔ)存/處理單元（3）與RGB-D相機(jī)（2）電連接；

RGB-D相機(jī)（2）固定安置在飲水機(jī)機(jī)體上、臨近飲水機(jī)出水口；RGB-D相機(jī)（2）設(shè)置拍攝的目標(biāo)區(qū)域，目標(biāo)區(qū)域內(nèi)包括多個(gè)位于飲水機(jī)上固定的標(biāo)志點(diǎn)，作為建立三維坐標(biāo)系標(biāo)定點(diǎn)；RGB-D相機(jī)（2）用來(lái)檢測(cè)杯子并實(shí)時(shí)檢測(cè)杯子中注入的水位高度；

RGB-D相機(jī)中包括彩色相機(jī)和深度相機(jī)：彩色相機(jī)拍攝RGB彩色圖像，深度相機(jī)拍攝深度圖像；其中的深度相機(jī)的工作原理是以下三種原理中的一種：I）結(jié)構(gòu)光測(cè)量原理、II）雙目視差測(cè)量原理、III）TOF飛行時(shí)間測(cè)量原理。

2.根據(jù)權(quán)利要求1所述的基于RGB-D相機(jī)的飲水機(jī)智能控制裝置，其特征在于：還包括輔助照明單元（5），電源（4）為其提供工作電源；輔助照明單元（5）固定安裝在目標(biāo)區(qū)域上部的飲水機(jī)機(jī)體上。

3.基于RGB-D相機(jī)的飲水機(jī)智能控制方法，特征在于：包括以下步驟：

S1.建立目標(biāo)區(qū)域的配準(zhǔn)后背景模型：目標(biāo)區(qū)域沒(méi)有外來(lái)物體,控制及信息儲(chǔ)存/處理單元（3）通過(guò)RGB-D相機(jī)（2）同步獲得目標(biāo)區(qū)域的背景彩色圖像和深度圖像并加以處理，將圖像轉(zhuǎn)換為背景點(diǎn)云圖像，對(duì)彩色圖像和深度圖像進(jìn)行配準(zhǔn)，建立彩色圖像像素點(diǎn)和深度圖像深度信息之間的對(duì)應(yīng)關(guān)系，從而得出彩色圖像的像素位置和深度圖像變換模型；控制及信息儲(chǔ)存/處理單元（3）根據(jù)配準(zhǔn)得出的像素位置和深度變換模型，配準(zhǔn)方法包括：采用基于特征點(diǎn)匹配的配準(zhǔn)，其中用尺度不變特征變換算法(SIFT)或者其他相關(guān)的特征點(diǎn)算法來(lái)檢測(cè)RGB-D相機(jī)同步獲得的彩色圖像和深度圖像的特征點(diǎn)，并對(duì)上述圖像的特征點(diǎn)進(jìn)行匹配；用隨機(jī)一致性算法(RANSAC)或者其他算法去除上述圖像錯(cuò)誤的匹配點(diǎn)對(duì)，得到正確匹配的特征點(diǎn)對(duì)；根據(jù)正確匹配的特征點(diǎn)對(duì)的位置和深度信息，得到它們之間的對(duì)應(yīng)關(guān)系，計(jì)算出這兩幀圖像之間的像素位置和深度變換模型，從而獲得更高分辨率的配準(zhǔn)后深度圖像；

根據(jù)已知的標(biāo)志點(diǎn)和出水口的位置三維坐標(biāo)信息以及RGB-D相機(jī)（2）的參數(shù)，建立目標(biāo)區(qū)域的配準(zhǔn)后背景模型，控制及信息儲(chǔ)存/處理單元（3）存儲(chǔ)該配準(zhǔn)后背景模型；

S2.提取目標(biāo)區(qū)域配準(zhǔn)后前景深度圖像：目標(biāo)區(qū)域放置外來(lái)物體，飲水機(jī)出水口沒(méi)有出水的情況下，控制及信息儲(chǔ)存/處理單元（3）通過(guò)RGB-D相機(jī)（2）同步實(shí)時(shí)獲得目標(biāo)區(qū)域的彩色圖像和深度圖像，對(duì)彩色圖像和深度圖像做噪聲閾值處理、平滑處理等，進(jìn)行S1步驟所述的配準(zhǔn)，實(shí)現(xiàn)前景和背景分割，選擇有效算法提取前景輪廓，即目標(biāo)區(qū)域外來(lái)物體的輪廓，選擇有效算法提取外來(lái)物體的特征點(diǎn)，獲得外來(lái)物體諸如局部區(qū)域像素高度極點(diǎn)：局部區(qū)域極高點(diǎn)、局部區(qū)域極低點(diǎn)等，像素最高點(diǎn)、像素最低點(diǎn)等特征點(diǎn)的三維坐標(biāo)信息；

S3.判斷配準(zhǔn)后前景深度圖像中外來(lái)物體是否是杯子：判斷依據(jù)為配準(zhǔn)后前景深度圖像中外來(lái)物體所有像素點(diǎn)的全集合中是否存在具有如下特征的一個(gè)像素點(diǎn)子集：1）所述像素點(diǎn)子集包括所述全集合中最高像素點(diǎn)或局部區(qū)域像素極高點(diǎn)，2）所述子集中像素點(diǎn)在xy平面上的投影點(diǎn)分布在一個(gè)窄帶圍成的閉合環(huán)上，窄帶的寬度為dW，3）所述像素點(diǎn)全集合不包含所述子集中那些在xy平面上投影點(diǎn)落在所述閉合環(huán)中心區(qū)域的像素點(diǎn)在三維坐標(biāo)系z(mì)坐標(biāo)軸上的高度值遠(yuǎn)遠(yuǎn)小于所述子集中像素點(diǎn)在三維坐標(biāo)系z(mì)坐標(biāo)軸上的高度值；

所述子集中的像素點(diǎn)包括那些在提取配準(zhǔn)后前景深度圖像過(guò)程中，運(yùn)用有效算法進(jìn)行消除噪聲、平滑處理等手段通過(guò)數(shù)學(xué)擬合補(bǔ)上的奇點(diǎn)，奇點(diǎn)的像素點(diǎn)數(shù)量在所述子集中所占的比例不超過(guò)一定的閾值；

如果所述外來(lái)物體的配準(zhǔn)后深度圖像滿足上述特征，提取的配準(zhǔn)后前景深度圖像中的外來(lái)物體則被確定為具有完整杯子口沿，具有一定深度的杯子；

控制及信息儲(chǔ)存/處理單元（3）從杯子的配準(zhǔn)后深度圖像中通過(guò)使用有效的算法分割、提取杯子口沿及其內(nèi)部區(qū)域深度圖像，作為監(jiān)控區(qū)域；

S4.判斷杯子口沿是否對(duì)準(zhǔn)飲水機(jī)出水口：根據(jù)已經(jīng)建立的目標(biāo)區(qū)域的配準(zhǔn)后背景模型及出水口在三維坐標(biāo)系中的位置參數(shù)，控制及信息儲(chǔ)存/處理單元（3）判斷出水口在xy平面上投影是否落在杯子口沿對(duì)應(yīng)的像素點(diǎn)在xy平面上的投影圍成的閉合環(huán)內(nèi)部，且離開(kāi)閉合環(huán)邊緣最近的距離超過(guò)某一預(yù)定值L；

進(jìn)一步，控制及信息儲(chǔ)存/處理單元（3）根據(jù)已知的坐標(biāo)信息，通過(guò)分析運(yùn)算，獲得出水口和杯子口沿中心區(qū)域?qū)?zhǔn)的程度, 據(jù)此對(duì)準(zhǔn)程度，設(shè)定在不同的特定水位高度關(guān)閉飲水機(jī)出水，給杯子注入特定量的水；

S5.飲水機(jī)向杯子里注水：通過(guò)以上步驟，所述控制及信息儲(chǔ)存/處理單元（3）確定出水口在xy平面上投影的確落在杯子口沿對(duì)應(yīng)的像素點(diǎn)在xy平面上的投影圍成的閉合環(huán)內(nèi)部，且離開(kāi)閉合環(huán)的邊緣最近的距離超過(guò)某一預(yù)定值L，即飲水機(jī)出水口的確對(duì)準(zhǔn)了杯子的口沿，控制及信息儲(chǔ)存/處理單元（3）發(fā)出指令：開(kāi)啟飲水機(jī)出水口水流，向杯子里注水；

S6.杯子中注入的水位高度實(shí)時(shí)檢測(cè)：在飲水機(jī)向杯子里注水過(guò)程中，控制及信息儲(chǔ)存/處理單元（3）控制RGB-D相機(jī)（2）以每秒一定幀數(shù)的速度同步實(shí)時(shí)獲得所述監(jiān)控區(qū)域的彩色圖像和深度圖像，并實(shí)時(shí)對(duì)所述監(jiān)控區(qū)域彩色和深度圖像加以處理、配準(zhǔn)，分析、計(jì)算出xy平面上閉合環(huán)內(nèi)部點(diǎn)對(duì)應(yīng)的配準(zhǔn)后深度圖像中的像素點(diǎn)在三維坐標(biāo)系z(mì)坐標(biāo)軸上的高度值，所述閉合環(huán)內(nèi)部點(diǎn)對(duì)應(yīng)的配準(zhǔn)后深度圖像中的像素點(diǎn)即為實(shí)時(shí)的杯子水面上的像素點(diǎn)，從而獲得杯子里水位平面的實(shí)時(shí)高度值；

控制及信息儲(chǔ)存/處理單元（3）處理、配準(zhǔn)，分析、計(jì)算杯子中水位平面的彩色圖像和深度圖像過(guò)程包括：通過(guò)有效的算法濾除飲水機(jī)出水口流下的水流帶來(lái)的噪聲，以及剔除水流落下濺起的水花和水蒸氣帶來(lái)的噪聲等干擾因素；

S7.完成用杯子取水過(guò)程：當(dāng)控制及信息儲(chǔ)存/處理單元（3）通過(guò)對(duì)RGB-D相機(jī)（2）獲得的同步實(shí)時(shí)所述監(jiān)控區(qū)域彩色圖像和深度圖像的處理、配準(zhǔn)，分析、計(jì)算出杯子中的水位到達(dá)預(yù)設(shè)定的特定水位高度時(shí)，控制及信息儲(chǔ)存/處理單元（3）發(fā)出指令：關(guān)閉飲水機(jī)出水，停止向杯子中注水，停止拍攝彩色圖像和深度圖像；

S8.更新目標(biāo)區(qū)域的配準(zhǔn)后背景模型：取水者從目標(biāo)區(qū)域移走杯子后，一定時(shí)間內(nèi)，沒(méi)有物體或杯子再次進(jìn)入目標(biāo)區(qū)域，控制及信息儲(chǔ)存/處理單元（3）啟動(dòng)RGB-D相機(jī)（2）同步獲得多幀目標(biāo)區(qū)域的彩色圖像和深度圖像，根據(jù)S1步驟，對(duì)目標(biāo)區(qū)域再次建立更新的配準(zhǔn)后背景模型，并用該新建立的更新配準(zhǔn)后背景模型替代控制及信息儲(chǔ)存/處理單元（3）中存儲(chǔ)的原有背景模型，作為下次取水的S1步驟：建立目標(biāo)區(qū)域的配準(zhǔn)后背景模型。

4.根據(jù)權(quán)利要求3所述的基于RGB-D相機(jī)的飲水機(jī)智能控制方法，其特征在于：控制及信息儲(chǔ)存/處理單元（3）根據(jù)預(yù)設(shè)的所述目標(biāo)區(qū)域的照明條件，判斷開(kāi)啟輔助照明單元（5），用以改善目標(biāo)區(qū)域的光照明條件，提高拍攝彩色圖像和深度圖像的清晰度和細(xì)節(jié)分辨能力等圖像質(zhì)量；開(kāi)啟輔助照明單元（5）后，實(shí)施步驟包括S1-S8，其中在S7步驟完成后，控制及信息儲(chǔ)存/處理單元（3）發(fā)出指令，關(guān)閉輔助照明單元（5）。